왜 AI는 여전히 허구를 만들어낼까?

AI 환각에 속기 전에 이를 감지하는 7가지 실용적인 방법-AI가 자신 있게 말하지만 완전히 틀렸을 때-AI에게 간단한 질문을 던졌는데, 너무나 자신 있고 전문적으로 들리는 답변을 듣고 즉시 믿었다가 나중에 그것이 허구라는 사실을 알게 된 적이 있나요? 이는 현대 인공지능에서 가장 기이한 문제 중 하나인 AI 환각입니다.

AI 환각은 생성형 AI 시스템이 거짓이거나 근거가 없거나 일관성이 없는 정보를 신뢰할 수 있는 것처럼 제시할 때 발생합니다. AI가 틀렸을 때 반드시 “불확실하게 들릴” 필요는 없습니다. 사실, 가장 큰 위험 중 하나는 잘못된 정보가 매우 정교하게 들릴 수 있다는 점입니다. AI 환각을 쉽게 이해하고, AI에 속기 전에 이를 포착할 수 있는 7가지 실용적인 방법을 배워보겠습니다.

1. 확신도와 정확도를 혼동하지 마세요 🧠

AI에게 “이 과학 이론을 누가 발명했나요?”라고 묻다, 답변은 즉시 돌아오며, 인물 이름, 소속 대학, 발표 날짜, 심지어 연구 논문 제목까지 포함되어 있습니다. 겉보기에는 완벽해 보입니다.

하지만 여기서 주의할 점이 있습니다.
자세한 답변이 반드시 정답은 아닙니다.

연구에 따르면, 추가 설명이 정확도를 높이지 않더라도 설명이 길다는 이유만으로 사람들이 AI의 답변에 더 큰 확신을 갖게 될 수 있는 것으로 나타났습니다.

따라서 첫 번째 습관은 놀라울 정도로 간단합니다.
“설득력 있어 보인다”는 것과 “증거가 있다”는 것을 구분하세요.

AI가 중요한 사실을 알려줄 때마다 스스로에게 물어보세요.

이 정보는 어디서 나온 것일까?
원본 출처를 찾을 수 있을까?
그 출처는 진짜일까?
다른 신뢰할 수 있는 출처에서 이를 확인해 주는가?

AI가 하는 말을 들어도 되지만, 여전히 AI가 해온 숙제를 확인해야 합니다. 📚

2. 모든 인용문과 링크를 확인하세요 🔎

이는 AI 환각을 감지하는 가장 쉬운 방법 중 하나입니다.

AI 시스템은 때때로 완전히 합법적으로 보이지만 실제로는 존재하지 않는 인용문을 생성하기도 합니다.
연구자와 언론인들은 AI가 생성한 참고 문헌에 잘못된 저자, 논문, 또는 존재하지 않는 출판물이 포함된 사례를 기록해 왔습니다.

간단한 요령이 있습니다.
AI가 과학 논문을 제시하면 제목만 보지 마세요.
직접 해당 논문을 검색해 보세요.

확인할 사항
저자 → 제목 → 학술지 → 발행일 → 디지털 객체 식별자 또는 공식 웹페이지
이 중 단 하나라도 일치하지 않는다면, 즉시 중단하고 조사하세요. 🚨

이는 과학, 의학, 법학, 금융 및 학술 글쓰기 분야에서 특히 중요합니다.
이 분야에서는 단 하나의 허위 인용만으로도 전체 기사가 오해의 소지가 있을 수 있기 때문입니다.

3. AI에게 사실과 불확실성을 구분하도록 요청하세요 🤔

놀라울 정도로 유용한 명령어입니다.

“답변을 검증된 사실, 불확실한 주장, 가정으로 구분해 주세요.
추측하지 마세요.”

이것이 왜 도움이 될까요?
AI 모델은 자신이 뒷받침할 수 있는 것과 단지 그럴듯해 보이는 것 사이를 내부적으로 항상 신뢰할 수 있게 구분하지는 못합니다.

네이처의 연구에 따르면, 언어 모델은 지식과 사실을 신념과 신뢰성 있게 구분하는 데 어려움을 겪을 수 있습니다.

명령어를 더욱 구체적으로 만들 수도 있습니다.

“모르는 경우, 모른다고 말하십시오.
이름, 통계, 날짜, 연구 결과 또는 출처를 지어내지 마십시오.”

이것이 환각 현상을 마법처럼 없애주지는 않지만, 더 신중한 응답을 유도하고 의심스러운 주장을 더 쉽게 식별할 수 있게 해줍니다.

4. 같은 질문을 다양한 방식으로 물어보세요 🔄

다음은 시도해 볼 수 있는 재미있는 실험입니다.
AI에게 동일한 사실 기반 질문을 세 가지 다른 방식으로 물어보세요.

예를 들어

질문 A: “이 과학적 발견은 몇 년에 이루어졌나요?”
질문 B: “이 발견의 역사를 설명하고 정확한 연도를 포함해 주세요.”
질문 C: “주장된 발견 날짜를 뒷받침하는 증거는 무엇인가요?”

이제 답변을 비교해 보세요.

날짜, 과학자, 또는 뒷받침하는 증거가 갑자기 바뀌면, 이는 큰 경고 신호입니다. ⚠️
연구자들은 환각 현상을 탐지하기 위해 불확실성과 의미적 일관성을 기반으로 한 더 정교한 방법을 개발했습니다.
네이처에 실린 한 연구에 따르면, 답변의 다양한 의미에 걸쳐 불확실성을 측정하면 잠재적으로 신뢰할 수 없는 생성 결과를 식별하는 데 도움이 될 수 있습니다.

이 기본 개념을 활용하는 데는 고도의 수학 지식이 필요하지 않습니다.
AI가 단순한 사실에 대해서도 일관성을 유지하지 못한다면, 신뢰하기 전에 직접 확인해 보세요.

5. 중요한 수치는 직접 확인하세요 📊

숫자는 답변을 과학적으로 보이게 만들기 때문에 특히 위험합니다.

AI가 이렇게 말한다고 생각해 보세요.
“최근 연구에 따르면 73.4%의 사람들이 이 효과를 경험하는 것으로 나타났습니다.”

와, 정말 놀라울 정도로 정확한 수치네요.
하지만 73.4%라는 수치는 도대체 어디서 나온 걸까요?

다음 정보를 요청하세요.

원본 연구,
표본 크기,
연구자,
발표 매체,
날짜,
그리고 정확한 통계 수치.

그런 다음 출처를 직접 확인하세요.
이는 AI 연구, 기후 과학, 건강, 경제, 기술 또는 과학적 발견에 대해 글을 쓸 때 특히 유용합니다.

이 간단한 규칙을 기억하세요.
숫자가 정확할수록 그 수치를 검증하는 것이 더 중요합니다. 📌

6. AI에게 추측을 요구하는 대신 출처를 제공하세요 🌐

환각 현상을 줄이는 가장 현명한 방법 중 하나는 작업 내용을 변경하는 것입니다.

다음과 같이 말하지 말고
“이 과학적 발견에 대해 모든 것을 알려줘.”

이렇게 시도해 보세요.
“여기 연구 논문이 있습니다.
이 논문에 포함된 정보만 요약해 주세요.
언급되지 않은 내용이 있다면 그렇게 말해 주세요.”

이 둘은 엄청난 차이가 있습니다.

첫 번째 요청은 AI가 학습한 패턴을 바탕으로 정보를 생성하도록 요구합니다.
두 번째 요청은 AI에게 작업의 근거가 될 구체적인 증거를 제공합니다.

이 아이디어는 모델이 응답을 뒷받침하기 위해 외부 정보를 활용하는 ‘검색 증강’ 및 ‘지식 기반’ AI 시스템과 밀접한 관련이 있습니다.
연구자들은 시스템이 불확실성을 인식하고 더 신뢰할 수 있는 정보로 생성 내용을 보완할 수 있도록 돕는 기술을 지속적으로 연구하고 있습니다.

간단히 말해
AI에게 점쟁이가 되어 달라고 요구하지 마세요.
교과서를 주고 그 교과서를 설명해 달라고 요청하세요. 📖🤖

7. 중요한 정보에는 “두 출처 원칙”을 적용하세요 🛡️

해당 정보가 중요한 결정에 영향을 미칠 수 있다면, 단 하나의 AI 답변만 믿지 마세요.
적어도 두 곳의 독립적이고 신뢰할 수 있는 출처를 확인하세요.

예를 들어
AI 답변 → 공식 출처 → 독립적인 전문가/연구 출처

세 곳 모두 의견이 일치하면 신뢰도가 높아집니다.
만약 의견이 일치하지 않는다면, 가장 마음에 드는 답변을 즉시 선택하지 마세요.
대신, 왜 의견이 다른지 조사해 보세요.

이 점이 중요한 이유는 AI 환각 현상이 단순히 “나쁜 AI”의 문제가 아니기 때문입니다.
연구자들은 환각 현상이 왜 발생하는지, 그리고 평가 시스템이 이를 어떻게 감지할 수 있는지에 대해 지속적으로 연구하고 있습니다.

미국 국립표준기술원에서 진행 중인 거대언어모델 평가는 특히 신뢰할 수 있는 콘텐츠와 오해의 소지가 있는 콘텐츠의 생성, 그리고 이를 식별하는 탐지 시스템의 능력을 집중적으로 검토하고 있습니다.

황금률: AI는 도구일 뿐, 최종 판단자가 아닙니다 🏆

모든 내용을 기억하는 가장 쉬운 방법은 다음과 같습니다.

AI는 정보를 찾는 데 도움을 줄 수 있습니다.
AI는 정보를 이해하는 데 도움을 줄 수 있습니다.
AI는 정보를 정리하는 데 도움을 줄 수 있습니다.

하지만 중요한 사실은 여전히 검증해야 합니다.

AI 환각 현상은 하룻밤 사이에 사라지지 않습니다.
연구 결과에 따르면, 심지어 첨단 언어 모델조차 확신에 찬 잘못된 답변을 내놓을 수 있는 것으로 계속 밝혀지고 있으며, 최근 연구에서는 일부 평가 방식이 모델로 하여금 불확실성을 인정하기보다는 추측하도록 의도치 않게 부추길 수 있음을 시사합니다.

그러니 AI를 두려워하지 마세요.
대신, AI를 더 잘 활용하는 법을 익히세요.

가장 현명한 AI 사용자는 모든 답변을 믿는 사람이 아닙니다.
바로 어떤 답변을 다시 살펴봐야 할지 아는 사람입니다. 🔍✨