쉽고 빠르게 익히는 실전 LLM

 

내용

ChatGPT로 뜨거운 LLM(Large Language Model)에 대한 책입니다. LLM의 소개, 활용법에 대해 다루고 있습니다.

특징

LLM을 실질적으로 구축하는 것에 대한 내용을 담고 있습니다.

이 책은 LLM 애플리케이션을 개발하고 운영하는 것에 대해서 집중적으로 다루고 있습니다. 반드시 알아야 하는 개념에 대해서 쉽고 짧게 언급하고 리얼 월드(실제 세계)에서 LLM 애플리케이션을 다룰 때 어떤 것을 고려해야 하고 어떻게 시스템을 설계해야 하는지에 대해서 말합니다.

 

예를 들어 LLM을 사용한 의미 기반 검색 시스템을 개발하려 한다면 일반적으로 다음과 같은 단계를 따른다고 합니다.

1. 문서 저장
   1. 임베딩을 위한 문서 저장
   2. 의미 정보를 인코딩하기 위한 텍스트 임베딩 생성
   3. 나중에 쿼리가 주어졌을 때 검색할 수 있도록 임베딩을 데이터베이스에 저장
2. 문서 검색
   1. 사용자에게 전처리되고 정리할 수 있는 쿼리 입력
   2. 임베딩 유사도를 통해 후보 문서를 검색
   3. 필요한 경우 후보 문서의 순위를 재순위화
   4. 최종 검색 결과를 사용자에게 반환

애플리케이션 개발자 입장에서 특정 시스템을 만들기 위한 일반적인 단계와 필요한 구성 요소를 파악하는 것은 굉장히 중요합니다. 무엇을 만들지 모른다면 만들 수 없기 때문이죠. 나아가 각 단계를 실제로 구현하기 위해서 필요한 기술 및 장단점에 대해서도 다룹니다.

• 텍스트를 임베딩하려면 단어, 구문을 받아 벡터로 변환하는 텍스트 임베더가 필요합니다.
• 임베딩 유사도를 계산하는 방법 코사인 유사도를 사용합니다.
• 큰 문서를 임베딩 하기 위해선 문서 청킹을 사용합니다.
• 임베딩한 문서를 저장하는 저장소로는 파인콘 등의 벡터 데이터베이스를 사용합니다.

이런 식으로 LLM을 이용하는 특정 시스템이 어떤 단계로 구성되는지, 그리고 각 단계에서 필요한 개념과 도구는 무엇인지에 대해서도 다루고 있습니다. 예시로 들어가 있는 파이썬 코드도 내용을 이해하는데 필요한 핵심 부분만 알맞게 들어가 있습니다. 흔히 발품을 팔아야 얻을 수 있는 이런 정보들을 한 권의 책에서 얻을 수 있다는 것이 신기할 따름입니다.

부담스럽지 않고 친절합니다.

비전문가 입장에서 AI 관련 서적은 일반적으로 읽기 난도가 높은 편입니다. 그리고 동시에 많은 개념을 다루어야 하는데 지면의 한계로 특정 개념에 대한 설명이 모호하거나 명확하지 않을 때도 있고, 반대로 너무 자세히 다루고 있어서 어려울 때도 있습니다.

 

하지만 이 책은 부담스럽지 않습니다. 두께도 약 300페이지 정도로 무난하고 내용을 전개할 때 필요한 개념을 적절한 설명과 적당한 분량으로 설명하고 있습니다. 부록에 FAQ와 용어 설명을 따로 지면을 할당해서 넣어 두었는데요 이 부분만 잘 읽고 가져가도 충분할 정도로 훌륭하게 정리가 되어 있습니다.

추천 독자

• LLM을 이용한 애플리케이션이나 시스템 개발에 관심이 있는 개발자
• ChatGPT 등 LLM 기술을 경험해 본 파이썬 개발자

 

한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 제공 받아 작성된 서평입니다.