ref. https://www.skelterlabs.com/blog/2024-year-of-the-rag
2023년은 ChatGPT, Llama-2와 같은 기초적인 대형 언어 모델(LLM)들에 관한 해였다면, 2024년은 RAG (Retrieval Augmented Generation; 검색 증강 생성) 와 AI Agent(AI 에이전트)의 해가 될 것이라고 다수의 필드 전문가들은 예측합니다.
이번 블로그 포스트에서는 2024년에 RAG가 주목 받는 이유, 작동 방식, 그리고 파인튜닝 방식과의 비교 등 RAG의 기초 상식을 살펴보도록 하겠습니다.
📖 목차
• RAG 란?
• RAG가 주목 받는 이유
• RAG의 장점 3가지
• RAG 작동 방식
• RAG vs. Fine-tuning(파인튜닝)
• RAG의 미래 동향
📍RAG란?
Retrieval-augmented generation(RAG; 검색증강생성)은 외부 지식 베이스에서 사실을 검색하여 대형 언어 모델(LLM)을 가장 정확하고 최신의 정보에 근거하는 AI 프레임워크입니다.
쉽게 말해, LLM이 생성을 할 때, 올바르고 최신의 정보를 사용하도록 도와주는 도구라고 할 수 있습니다. 예를 들어, RAG는 인터넷이나 다른 데이터베이스 같은 ‘외부의 지식 저장소’에서 관련 정보를 빠르게 찾아낸 후, 그 정보를 바탕으로 우리의 질문에 답을 해줍니다.
RAG를 통해 LLM은 항상 최신의 정보를 제공할 수 있고, 또한 우리가 어떻게 그런 답을 얻었는지 이해하는 데 도움을 줍니다. 이것이 바로 RAG가 하는 일입니다.
📍RAG가 주목 받는 이유
RAG의 중요성이 증가하는 이유는 대형 언어 모델(LLM)이 이미 매우 성숙하고 유익한 수준에 도달했기 때문입니다. 마치 원유를 자동차를 움직이는 가솔린으로 변환하는 것처럼, 기업과 소비자 모두에게 생산성 향상을 가져다 줄 준비를 마쳤다는 뜻 으로 해석할 수 있습니다.
RAG가 급부상하면서 고객 지원부터 직원 생산성, AI 워크플로우 강화에 이르기까지 다양한 영역에서 기업과 소비자 모두에게 상당한 수익과 생산성 향상을 가져올 것으로 예상됩니다.
📍RAG의 이점 3가지
RAG의 장점으로는 답변을 생성하는 과정에서 외부 정보 활용이 가능하다는 점(확장성), 사용자에게 더 맞춤화된 답변을 제공할 수 있다는 점(유연성 및 확장성), 그리고 검증 가능한 출처를 기반으로 답변을 제공해 할루시네이션을 최소화할 수 있는 점(정확성) 등이 있습니다.
📍RAG 작동 방식
RAG는 검색에서 시작하여 생성으로 이어지는 프로세스입니다. 기본적인 작동 방식은 다음과 같습니다:
📍RAG vs. Fine-tuning(파인튜닝)
기업들이 LLM을 도입하기에 앞서, 할루시네이션을 줄이고 사용성을 증대하기 위해 크게 두 가지 방식을 고민합니다. RAG를 선택할 것인지, 파인튜닝(미세조정)을 시도할 것인지 말이죠. RAG 와 파인튜닝을 표로 비교해보았습니다:
파인튜닝된 모델의 성능은 기업의 도메인 데이터 품질과 양에 의존적이며, 라벨링된 데이터가 부족하면 이 방법이 최선이 아닐 수 있습니다. 또한, 모델은 훈련을 마친 시점의 정보에 한정되어 있어, 지속적으로 최신 상태를 유지하기 어려운데요. 때문에 변화가 잦은 데이터에 대해서는 파인튜닝 대신 RAG를 사용하는 것이 품질 유지와 비용 측면에서 유리할 수 있습니다.
💡더 자세한 내용은 ‘RAG vs. 파인튜닝 :: 기업용 맞춤 LLM을 위한 선택 가이드’ 블로그 글에서 확인하실 수 있습니다.
📍RAG 미래 동향
RAG의 미래는 개인화와 확장성 그리고 정확성에 초점을 맞추며, 다양한 데이터를 처리하고 실시간으로 반응하는 더 똑똑한 시스템으로 발전할 것으로 전망됩니다.
그러나 이를 위해서는 효율적이고 정확한 검색 메커니즘의 구축과 검색 및 생성 구성 요소의 섬세한 통합이 필요한데요. 이러한 과제들은 RAG 기술의 성공적인 적용을 위해 극복해야 할 중요한 요소들입니다.
이러한 동향과 문제점을 고려했을 때, RAG 기술을 성공적으로 활용하기 위해서는 전문적인 지원이 필수적입니다. 때문에 대화형 AI 분야의 전문 지식을 갖춘 기업의 조력을 구하는 것이 현명한 접근일 수 있습니다.
0 댓글