Selection-Inference

LLM이 여러단계에 걸친 논리적 추론 작업을 할 때 도움을 주기위한 방법으로, 논리적 추론(여러 단계의 논리적 사고 과정을 통해 결론을 도출하는 과정 ) 능력을 향상시키고 해석가능한 추론과정을 제공(이 제공된 과정을 통해 추론과정에 오류 등을 찾기에도 용이함) 하게 됨.

이로써 모델이 결론을 도출하는 과정을 이해하기도 쉽다.

 

 

Selection-Inference 프레임 워크 동작

 

• 선택(Selection): 주어진 문맥에서 단일 추론 단계에 필요한 정보를 선택하고 이 선택된 정보는 추론 단계로 전달
• 추론(Inference): 선택 단계에서 제공된 제한된 정보를 사용하여 새로운 중간 증거를 추론하고 이 새로운 증거는 문맥에 추가되어 다음 추론 단계에서 사용된다.

 

논리적 추론 문제를 해결하기 위해 선택(Selection)과 추론(Inference)이라는 두 단계를 사용, 각 단계를 모듈화하여 문제를 단계별로 해결한다.

 

프롬프트 구성은 필요한 정보를 선택하게 하고 선택한 정보를 기반으로 추론하도록 하는 방식으로 이해하면 될 것 같다.

 

예시 1)

ChatGPT로 Selection-Inference 예시를 만들어 달라고 요청 해 보았다.

 

프롬프트:

rabbits are afraid of foxes
deers are afraid of lions
foxes are afraid of wolves
lions are afraid of humans
elena is a rabbit
marco is a deer
oliver is a fox
samuel is a lion
질문: elena는 무엇을 두려워하는가?

 

모델의 선택 단계:

elena는 토끼이다. 우리는 토끼가 여우를 두려워한다는 것을 알고 있다.

 

모델의 추론 단계:

elena는 여우를 두려워한다.

 

 

예시 2)

위 예제로 필요한 정보를 선택하고 선택된 정보를 바탕으로 추론해달라고 질문을 해보았다. (영어와 한글이 혼용되어 있어 한글로 번역해서 질문 - ChatGPT 4o)

프롬프트:

Context:
오렌지는 주황색이다.
사과는 빨간색이다.
레몬은 노란색이다.
바나나는 노란색이다.
사라는 오렌지를 가지고 있다.
존은 사과를 가지고 있다.
엠마는 레몬을 가지고 있다.
마이크는 바나나를 가지고 있다.
Question: 엠마가 가지고 있는 과일의 색깔은 무엇인가?

Context에서 필요한 정보를 선택하고, 선택된 정보를 바탕으로 질문의 답을 추론해주세요. 
그리고 추론하는 전체 과정도 보여주세요.

 

답변:

선택된 정보:
1. 레몬은 노란색이다.
2. 엠마는 레몬을 가지고 있다.

추론과정:
엠마가 가지고 있는 과일이 레몬이고, 레몬의 색깔이 노란색이므로 엠마가 가지고 있는 과일의 색깔은 노란색이다.

따라서, 엠마가 가지고 있는 과일의 색깔은 노란색이다.

 

 

 

참고 논문: https://arxiv.org/abs/2205.09712

Selection-Inference: Exploiting Large Language Models for Interpretable Logical Reasoning

 

참고:

https://deepai.org/publication/selection-inference-exploiting-large-language-models-for-interpretable-logical-reasoning

Selection-Inference: Exploiting Large Language Models for Interpretable Logical Reasoning

 

https://paperswithcode.com/paper/selection-inference-exploiting-large-language

Papers with Code - Selection-Inference: Exploiting Large Language Models for Interpretable Logical Reasoning