Hallucination (AI)

 ref. https://ko.wikipedia.org/wiki/%ED%99%98%EA%B0%81_(%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5)

인공지능(AI)에서 환각(hallucination,할루시네이션) 또는 인공 환각(artificial hallucination)은 트레이닝 데이터를 통해 판단하지 않는 것처럼 비쳐지는 AI에 의한 확신적 답변이다.^[1] 예를 들어, 테슬라의 소득과 관련한 트레이닝 데이터가 없는 챗봇의 경우 내부적으로 알고리즘이 높은 신뢰도로 순위를 올리는 무작위 숫자(예: "$13.6 billion")를 생성한 다음 사실이 아닌 방향으로 움직이면서 반복적으로 테슬라의 소득이 $13.6 billion으로 언급하며 해당 수치가 생성 알고리즘의 약점의 결과임을 드러내지는 않는다.^[2]

이러한 현상을 이른바 "할루시네이션"이라고 하는데 이는 인간심리학에서의 환각 현상에 빗댄 것이다. 이러한 실수, 즉 "환각"은 모델이 정확하지 않거나 무의미한 정보를 자신 있게 생성할 때 발생한다. 이는 학습 데이터에서 본 패턴에서 도출하기 때문에 실제 정확도나 논리와 항상 일치하지 않을 수는 있지만. 학습을 기반으로 그럴듯한 응답을 만들려고 할 때, 모델은 합리적인 응답을 만들긴 하지만 실제로는 사실이나 논리적 일관성과는 거리가 없는 답변을 표출한다