Suzzang's DevLab Suzzang's DevLab

1. RAFT의 등장 배경대형 언어모델은 일반적인 상식, 요약, 추론에서는 강력한 성능을 보이지만, 실제 도메인 문서 기반의 질문에 대해 안정적으로 답변하는 데에는 한계가 존재한다. 특히 RAG(Retrieval-Augmented Generation) 시스템에서는 검색된 문서가 정답을 포함하지 않거나, 정답과 유사해 보이지만 실제로 무관한 문서가 함께 반환되는 경우가 흔하다.이런 상황에서는 모델이 오답을 생성하거나 불안정한 답변을 내놓기 쉽다.RAFT 는 이 문제를 모델 차원에서 해결하기 위해 고안된 방법이다. 질문과 함께 관련 문서와 비관련 문서가 섞인 문서 집합을 제공하고, 모델이 정답 근거 문서를 구분해 답변을 생성하도록 학습하는 방식이다.RAFT의 핵심은 검색 기반 QA 환경(open-book s..

최근 LLM 개발 흐름을 보면“프롬프트 엔지니어링 → 파이프라인 설계 → 자동 개선”이라는 방향으로 점점 진화하고 있다.이런 흐름을 대표하는 도구 중 하나가 DSPy(Declarative Self-improving Python) 이다.DSPy는 어떤 프레임워크인가?DSPy는 스탠포드・애플・워싱턴대 연구자들이 함께 개발한 프레임워크로,기본적인 개념과 구조는 아래 논문에서 제시된다.DSPy: Compilers for Self-Improving Systems with Foundation Models(Stanford, 2024)https://arxiv.org/pdf/2310.03714 논문의 핵심 아이디어는 다음과 같다.프롬프트를 “문자열”로 직접 쓰는 방식은 유지보수가 어렵다대신 입력/출력 구조(Signatu..