Least-to-Most

Least-to-Most 기법 설명: 문제를 가장 간단한 단계부터 시작하여 점차적으로 더 복잡한 단계로 나아가는 방식으로 모델이 점진적으로 문제를 해결하며 이전 해결한 문제의 답을 활용해 해결책을 제공할 수 있게 한다. (복잡한 문제를 더 작은 하위 문제로 나누어 순차적으로 해결하는 접근법) - 기존의 CoT 기법을 활용한 기법.

 

---

간단한 문제 부터 어려운 문제로 점차적으로 질문하는 방법

1. 단계 1: 복잡한 문제 제시
   • 질문: "apple, banana, cherry"
   • 목적: 각 단어의 마지막 글자를 연결
2. 단계 2: 하위 문제로 분할
   • 첫 번째 하위 문제: "apple"의 마지막 글자 찾기
     • 질문: "apple"
     • 답: "e"
   • 두 번째 하위 문제: "banana"의 마지막 글자 찾기
     • 질문: "banana"
     • 답: "a"
   • 세 번째 하위 문제: "cherry"의 마지막 글자 찾기
     • 질문: "cherry"
     • 답: "y"
3. 단계 3: 하위 문제 결합하여 최종 문제 해결
   • 이전 단계의 답을 결합:
     • 답: "e" + "a" + "y" = "eay"

 

프롬프트 예시 (ChatGPT 생성):

문제: 2차 세계대전의 주요 원인을 설명해 주세요.

1단계: 2차 세계대전 이전의 주요 사건들을 나열해 주세요.
모델: 1차 세계대전, 베르사유 조약, 대공황

2단계: 베르사유 조약이 2차 세계대전에 미친 영향을 설명해 주세요.
모델: 베르사유 조약은 독일에게 가혹한 조건을 강요하여 독일 경제를 약화시키고 불만을 야기했습니다.

3단계: 대공황이 2차 세계대전에 미친 영향을 설명해 주세요.
모델: 대공황은 전 세계적으로 경제 불황을 초래하였고, 이는 각국의 정치적 불안정과 군사적 확장을 부추겼습니다.

4단계: 이 사건들이 어떻게 2차 세계대전의 주요 원인이 되었는지 종합해 주세요.
모델: 베르사유 조약과 대공황은 독일과 다른 나라들에서 정치적 불안을 초래하였고, 이는 결국 군사적 충돌로 이어져 2차 세계대전을 일으켰습니다.

 

---

어려운 질문을 주고 LLM에게 하위 질문을 생성하도록 한 뒤 하위 질문에 대한 질문을 하고 어려운 질문에 답하게 하기.

 

아래는 Gemini에게 예를 생성하도록 요청 해봤다.

 

목표: 기후 변화에 대한 심층적인 이해와 대응 방안 모색

1단계: 어려운 질문 제시

• "기후 변화가 인류에게 미치는 영향은 무엇이며, 우리는 어떻게 대응해야 할까요?"

2단계: LLM에게 하위 질문 생성 요청

• "이 질문에 답하기 위해 어떤 하위 질문들을 고려해야 할까요?"

3단계: LLM이 생성한 하위 질문 검토 및 선택

• LLM이 생성한 하위 질문 예시:
  • 기후 변화의 주요 원인은 무엇인가요?
  • 기후 변화가 이미 어떤 영향을 미치고 있나요?
  • 기후 변화가 미래에 어떤 영향을 미칠 것으로 예상되나요?
  • 개인, 기업, 정부 차원에서 기후 변화에 어떻게 대응할 수 있나요?
  • 기후 변화 대응을 위한 국제 협력은 어떻게 이루어지고 있나요?
• 이 중에서 가장 궁금하거나 중요하다고 생각되는 질문을 선택하여 LLM에게 질문합니다.

4단계: 선택한 하위 질문에 대한 답변 탐색

• 예시: "기후 변화가 이미 어떤 영향을 미치고 있나요?"
• LLM은 폭염, 가뭄, 홍수, 해수면 상승 등 기후 변화로 인해 발생하는 다양한 현상과 그 영향에 대한 정보를 제공할 것입니다.

5단계: 필요에 따라 추가 질문 생성 및 답변 탐색

• LLM의 답변을 바탕으로 추가 질문을 생성하고 답변을 탐색합니다.
• 예시: "해수면 상승이 우리나라에 미치는 영향은 무엇인가요?"

6단계: 답변 종합 및 문제 해결 방안 모색

• LLM에게 얻은 정보를 종합하여 기후 변화에 대한 이해를 높이고, 개인 또는 사회 차원에서 대응 방안을 모색합니다.

하위 질문에 대해서도 필요하면 추가 질문 생성할 수도 있을 것 같고, 생성된 질문을 모두 다룰수도 있으나 적절한 수준에서 질문을 활용하면 될 것 같다. 결과적으로 필요하지 않다면 모든 질문을 할 필요는 없을 것 같다.

---

 

논문 출처: [2205.10625] Least-to-Most Prompting Enables Complex Reasoning in Large Language Models (arxiv.org)

Least-to-Most Prompting Enables Complex Reasoning in Large Language Models

 

참고:

https://www.promptingguide.ai/techniques

Prompting Techniques – Nextra

https://www.edureka.co/blog/top-prompt-engineering-techniques/

Top 15 Prompt Engineering Techniques [Advanced Tips and Use Cases]

https://www.altexsoft.com/blog/prompt-engineering/

Prompt Engineering, Explained