할루시네이션 (Hallucination - 환각이나 환영, 환청)

할루시네이션은 AI가 존재하지 않거나 잘못된 정보를 마치 사실인 것 처럼 이야기하는 현상입니다. 아마 "세종대왕 맥북프로 던짐 사건"이 초기에 가장 유명한 예시로 많이 언급되었던 것 같습니다.

(없는 이야기를 마치 사실인 것처럼 자연스럽게 이야기 할 수 있다는 점이 사실은 대단한 기능..)

 

ChatGPT와 같은 채팅형 AI를 사용할 때 맹목적으로 정보를 믿어서는 안되는 이유라고 할 수 있습니다.

따라서 ChatGPT를 사용함에 있어 진위 여부를 어느정도 판별할 수 있는 본인의 전문분에서 활용하는 것으로 권장하기도 하는데요. 회피 대안에 대해서도 많은 이야기들이 있는 것 같습니다.

 

[발생 원인]

 

• 학습 데이터의 한계: 잘못된 정보를 학습한 경우.
• 맥락의 오해: 질문을 잘못 이해한 경우.
• 불확실한 답변: (AI는 질문에 대해 최대한 그럴듯한 답변을 하려고 하는 경향이 있다고 합니다.) 해당하는 정보를 정확히 모르는 경우.
• 그 외.

[회피 방안]

 

• 데이터 정제: AI가 더 정확한 정보를 배울 수 있도록 잘못된 정보를 걸러내는 과정.
• 검증 시스템: AI의 답변이 맞는지 검토하는 시스템 만들기.
• 피드백 활용: 사람들이 AI의 답변을 보고 틀린 부분을 알려주기.
• 문맥 이해 강화: AI가 말을 더 잘 이해하도록 만드는 기술 연구.
• 그 외.

 

 

프롬프트를 작성하는 방법과 자세한 정도 등에 따라서도 결과의 정확도가 달라집니다. 프롬프트 엔지니어링 기법들을 공부하고 정리하면서 한번 정리를 해두어야 할 것 같아서 남깁니다.