IP주소 체계를 설명하기 위해 우선 Big-endian, Little-endian에 대해 정리 합니다.Big-endian: 큰 바이트가 먼저 저장됩니다. 예를 들어, 0x12345678이라는 숫자는 메모리에 0x12 0x34 0x56 0x78 순으로 저장됩니다.Little-endian: 작은 바이트가 먼저 저장됩니다. 예를 들어, 0x12345678이라는 숫자는 메모리에 0x78 0x56 0x34 0x12 순으로 저장됩니다.  * 0x12345678이 big-endian과 little-endian으로 저장될 때의 메모리 구조Big-endian:0x00: 0x120x01: 0x340x02: 0x560x03: 0x78Little-endian:0x00: 0x780x01: 0x560x02: 0x34..

대형 언어 모델(LLM)에서 발생하는 허위 정보 생성(즉, 환각 - https://gangdonggil.tistory.com/17)을 줄이기 위한 "검증 체인(CoVe)" 방법으로, 모델이 응답을 생성한 후, 스스로 그 응답의 정확성을 검증하는 일련의 질문을 계획하고, 그 질문에 독립적으로 답한 후, 최종적으로 검증된 응답을 생성하는 과정. LLM(Large Language Model)에서 생성된 응답을 사용해서 자체적으로 검증할 수 있다는 개념에 근거하고 있다. CoVe 단계:기본 응답 생성 (시작점)최초 질문에 대한 초기응답 생성검증 질문 계획기본 응답의 사실 확인을 위해 생성되고 초기 응답의 정확성을 확인.검증 수행모델이 각 검증 질문에 대하여 독립적으로 답변하도록 한다 (bias 최소화).최종 검..

셀프 컨시스턴시는 CoT(문제를 해결하는 과정을 단계별로 설명하는 방식으로 중간과정, 단계를 설명함으로써 모델 답변의 정확도를 향상시키는 방법 - https://gangdonggil.tistory.com/22) 방식의 개선된 버전입니다. 여러가지 사고 과정을 샘플링하고 최종 답을 결정하는 방법으로 모델로 하여금 여러 가지 방법으로 문제를 해결하게 하고, 그 중 가장 일관(공통)된 답을 선택하는 방법이다. 사용방법을 요약해보면 CoT의 사고하는 과정을 다양하게 샘플링해서 답변을 생성하게 하고 이 중 가장 일관된 답을 선택하면 된다.  - 장점: 모델이 다양한 사고 과정을 통해 문제를 더 정확하게 해결할 수 있게 하고, 기존 CoT 방식보다 성능이 크게 향상됨. - 단점: 추론을 다양하게 제공해야하고 이후에..

모델이 특정 예시 없이도 다단계 추론을 수행하도록 유도하는 방법으로 "Let's think step by step" (단계별로 생각해보자) 이라는 문구를 추가해서 단계별 논리를 유도하는 방법. 사용법은 질문 문구에 "단계별로 생각해보자" 라는 문구를 추가해서 질문하면 된다.여러 상황에 따라 질문에 해당 질문을 포함하거나 제외하고 질문을 해보고 성능을 비교해보면 될 것 같다. 적용 문구는 ChatGPT 통해서 적용방법에 대한 예시를 요청한 결과 "하나씩 단계별로 생각해 보자: [질문 내용]""단계별로 나눠서 생각해 보자: [질문 내용]""천천히 단계별로 생각해 보자: [질문 내용]"와 같이 답변을 제공 받았다. 답변을 요청할 때 적용을 해보고 적용전 보다 나은 결과가 나오면 적용해서 사용하면 될 것 같다...

대규모 언어 모델(LLMs)이 복잡한 문제를 해결할 때 여러 단계로 나눠서 생각하게 하는 방법입니다.모델의 추론 능력을 향상시켜 더 복잡한 문제를 해결할 때 도움이 된다고 합니다. [2201.11903] Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (arxiv.org) 의 예시를 보면 [Standard Prompting]Model Input:Q: Roger has 5 tennis balls. He buys 2 more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have now?A: The answer is 11 .Q: The..

In-Context Learning을 사용하여 특정 지시에 맞는 전문가의 상세한 설명을 자동으로 생성한 후 LLM이 생성된 전문가의 배경에 따라서 응답을 하도록 유도하는 기법(Role Prompting과는 차이가 있다.) 상세한 내용은 예시와 함께 추가 정리 예정 입니다. 우선 관련 논문 참조. 관련 논문: https://arxiv.org/abs/2305.14688v1 ExpertPrompting: Instructing Large Language Models to be Distinguished ExpertsThe answering quality of an aligned large language model (LLM) can be drastically improved if treated with prope..