AI 챗봇에게 열 번째 질문을 던졌더니 방금 정정해준 이름을 다시 틀리게 부른다. 이걸 보고 흔히 환각이라 부르지만, 맥락 기억 한계와 환각의 차이를 나눠보면 이 둘은 원인부터 다른 현상이다. 앞의 것은 대화가 길어지며 오래된 정보가 처리 범위 밖으로 밀려나는 문제이고, 뒤의 것은 존재하지 않는 사실을 확신에 차서 지어내는 문제다.
LLM은 애초에 사실을 기억하는 구조가 아니라 다음에 올 단어를 확률적으로 예측하는 기계다. 그래서 사용자의 개인 맥락, 이를테면 오늘 일정 같은 정보는 원래부터 알지 못하고, 학습 데이터에 없는 최신 사안일수록 답이 흔들린다.
핵심 요약
맥락 기억 한계는 대화가 길어지며 오래된 정보가 처리 범위 밖으로 밀려나는 현상이다.
환각은 정보가 부족해도 그럴듯한 문장을 확신에 차서 만들어내는 현상이다.
전자는 대화를 요약해 다시 넣어주면 완화되고, 후자는 출처를 요구해야 걸러진다.
AI는 왜 아까 한 말을 잊는가
성균관대 정보통신대학 전자전기공학부 권민혜 교수 연구팀은 대화 맥락이 길어지면 AI가 이를 제대로 기억하지 못하는 문제에 주목해 METIS와 Multi²라는 해법을 개발했다고 밝혔다. METIS는 여러 전문 모델을 통합하면서도 각 모델의 전문성과 개발 비용 효율을 유지하는 방식이고, Multi²는 장기적인 목표를 유지하도록 설계됐다.
이런 접근이 필요한 이유는 단순하다. LLM은 사용자의 개인 정보나 이전 세션의 맥락을 스스로 붙잡아두는 저장 장치가 없고, 매 대화마다 주어진 입력 범위 안에서만 판단한다. 대화가 길어질수록 초반 내용이 그 범위 밖으로 밀려나면, AI는 잊은 게 아니라 애초에 다시 들여다볼 수 없는 상태가 되는 것이다.
환각은 맥락 문제와 어떻게 다른가
환각은 정보가 없어서 생기는 침묵이 아니라, 정보가 부족해도 그럴듯한 답을 만들어내는 과잉이다. AI에게는 스스로 무엇을 모르는지 인식하는 메타인지 능력이 부족하다는 지적도 있다. 특히 이전에 자신이 답한 내용에 부분적 오류가 있는데 다시 질문받으면, 그 오류가 스노우볼처럼 커지는 경향이 있다.
뉴욕의 한 변호사는 ChatGPT에게 법률 조사를 맡겼다가 6개 판례를 인용받았는데, 6개 판례 모두 실존하지 않는 가짜였고 법원으로부터 징계와 벌금을 받았다. 구글 Bard도 시연 중 천문학 질문에 잘못된 답을 내놓아 Alphabet 주가가 하락하는 결과로 이어졌다.
특히 의료나 법률처럼 고수준의 맥락 이해가 필요한 분야에서는 환각의 위험이 더 크다. 의료 분야에서는 ChatGPT가 완전히 잘못된 처방을 내린 사례가 있었고, 법률 분야에서는 문서의 쉼표 하나가 판결을 뒤집은 사례도 있었다.
맥락 기억 한계와 환각의 차이
| 구분 | 원인 | 대표 증상 | 대응 방향 |
|---|---|---|---|
| 맥락 기억 한계 | 대화가 길어지며 오래된 정보가 처리 범위 밖으로 밀려남 | 앞서 정정한 이름·조건을 다시 물어봐야 함 | METIS·Multi² 같은 구조 개선 연구가 진행 중이다 |
| 환각 | 사실 검증 장치 없이 그럴듯한 다음 단어를 이어붙임 | 존재하지 않는 판례·수치를 확신에 차서 제시 | 그라운딩·RAG로 답을 특정 출처에 고정한다 |
정리하면 맥락 기억 한계는 범위의 문제이고 환각은 검증의 문제다. 전자는 대화를 요약해 다시 넣어주면 완화되지만, 후자는 아무리 대화를 짧게 유지해도 사라지지 않는다.
실제 서비스는 두 문제를 어떻게 줄이나
환각을 줄이는 대표 기법은 그라운딩이다. AI의 답을 검증 가능한 데이터에 연결해 현실 점검을 거치게 하는 방식으로, 대표적 구현이 RAG다. 사용자 질문과 관련된 정보를 먼저 검색하고 이를 프롬프트에 추가한 뒤 AI가 그 정보를 근거로 답을 생성하는 순서로 작동하며, 그래도 판단이 어려운 고위험 영역에서는 사람이 직접 검토하는 인간 참여형 체계까지 더한다.
구글 노트북LM은 이 원리를 소스 기반 방식으로 구현한 사례다. 사용자가 올린 문서 안에서만 답을 찾고 모든 답변에 원본 인용 링크를 붙이는데, 최근에는 100만 토큰 콘텍스트 창이 모든 사용자에게 제공되면서 훨씬 긴 문서를 한 번에 다룰 수 있게 됐다. 다만 사용자가 올린 자료 자체에 오류가 있으면 그 오류까지 그대로 반영된다는 한계는 남는다.
마이크로소프트의 생성형 오케스트레이션 구조에서도 비슷한 발상이 보인다. AI가 답의 근거로 삼는 지식 계층은 읽기 전용으로 두고, 결제나 기록 삭제처럼 되돌릴 수 없는 작업은 아예 AI의 자유 판단 밖에 두는 식으로 통제 계층을 나눈다.
주의할 점
AI가 맥락을 놓친 것과 거짓을 확신하는 것은 다른 문제이니 같은 방식으로 대응하면 안 된다.
논점에서 벗어난 질문을 던지는 행위 자체가 환각을 유발하는 주 원인이 될 수 있다.
다만 성균관대 연구팀이 개발했다는 METIS와 Multi²가 실제 어떤 서비스에 언제 어떤 형태로 적용되는지는 이 자료만으로는 확인되지 않는다.
다음에 AI가 아까 말한 내용을 못 알아들으면, 답변이 확신에 차 있는지부터 살펴보자. 그냥 맥락을 놓친 것이라면 요약해서 다시 넣어주면 되고, 없는 사실을 그럴듯하게 지어낸 것이라면 출처부터 요구해야 한다.