Chain of Verification prompting (CoVe)

대형 언어 모델(LLM)에서 발생하는 허위 정보 생성(즉, 환각 - https://gangdonggil.tistory.com/17)을 줄이기 위한 "검증 체인(CoVe)" 방법으로, 모델이 응답을 생성한 후, 스스로 그 응답의 정확성을 검증하는 일련의 질문을 계획하고, 그 질문에 독립적으로 답한 후, 최종적으로 검증된 응답을 생성하는 과정.

 

LLM(Large Language Model)에서 생성된 응답을 사용해서 자체적으로 검증할 수 있다는 개념에 근거하고 있다.

 

CoVe 단계:

1. 기본 응답 생성 (시작점)
   • 최초 질문에 대한 초기응답 생성
2. 검증 질문 계획
   • 기본 응답의 사실 확인을 위해 생성되고 초기 응답의 정확성을 확인.
3. 검증 수행
   • 모델이 각 검증 질문에 대하여 독립적으로 답변하도록 한다 (bias 최소화).
4. 최종 검증된 응답 생성.
   • 검증 질문에 대한 답변을 바탕으로 최종 응답을 생성하도록 한다. 이를 바탕으로 더 정확하고 신뢰할 수 있는 답변을 생성하고 환각의 가능성을 줄인다.

 

 

예시 - ChatGPT 4o로 생성한 예시)

1. 기본 응답 생성(Baseline Response)

질문: 로마 제국의 첫 번째 황제는 누구인가요?
응답: 로마 제국의 첫 번째 황제는 아우구스투스입니다.

2. 검증 질문 계획(Plan Verifications) - 모델은 다음과 같은 검증 질문을 생성

1. 로마 제국의 첫 번째 황제는 누구인가요?
2. 아우구스투스는 언제 로마 제국의 황제가 되었나요?

3. 검증 질문 수행(Execute Verifications)  - 모델은 각 검증 질문에 대해 독립적으로 답변

질문: 로마 제국의 첫 번째 황제는 누구인가요?
응답: 로마 제국의 첫 번째 황제는 아우구스투스입니다.

질문: 아우구스투스는 언제 로마 제국의 황제가 되었나요?
응답: 아우구스투스는 기원전 27년에 로마 제국의 황제가 되었습니다.

4. 최종 검증된 응답 생성(Generate Final Verified Response) - 검증된 정보를 바탕으로 최종 응답을 생성

로마 제국의 첫 번째 황제는 아우구스투스입니다. 아우구스투스는 기원전 27년에 로마 제국의 황제가 되었습니다.

 

 

참고자료:
https://arxiv.org/abs/2309.11495

Chain-of-Verification Reduces Hallucination in Large Language Models

 

https://sourajit16-02-93.medium.com/chain-of-verification-cove-understanding-implementation-e7338c7f4cb5

⛓Chain of Verification (CoVe) — Understanding & Implementation💡