파인튜닝

01

모델 자체를 더 가르치기

어느 회사가 콜센터 상담 기록을 요약하는 AI를 만들려고 합니다. 요약은 회사 양식을 따라야 합니다. "사유 / 조치 / 후속" 세 칸에, 회사가 쓰는 말투와 용어로 써야 합니다. 이미 학습을 마친 LLM에게 그냥 요약을 시키면 내용은 괜찮지만 양식과 말투가 매번 조금씩 다릅니다.

고치는 방법은 크게 세 가지입니다. 보내는 글에 양식 설명과 예시를 넣는 프롬프트 엔지니어링, 필요한 자료를 찾아 붙이는 RAG, 그리고 모델 자체를 더 학습시키는 파인튜닝입니다. 아래 그림에서 방법을 바꿔 가며 어디가 바뀌는지 보세요.

앞의 두 방법은 모델에게 보내는 글만 바꿉니다. 모델 안의 숫자, 곧 가중치는 그대로입니다. 파인튜닝은 반대로 가중치를 바꿉니다. 이미 사전 학습을 마친 모델을 출발점으로, 내 데이터로 학습을 조금 더 시켜서 숫자를 다듬습니다. 처음부터 모델을 만드는 것보다 훨씬 적은 데이터와 비용으로 원하는 일을 잘하게 만들 수 있습니다. 경력이 있는 사람을 뽑아 우리 회사 방식만 따로 가르치는 것과 비슷합니다.

파인튜닝은 미세 조정이라고도 부릅니다. 모델이 어떻게 학습하는지, 가중치가 무엇인지는 LLM 작동 원리 자료의 학습 장에 있습니다.

가중치를 바꾸려면 무엇을 보고 바꿀지가 있어야 합니다. 파인튜닝의 결과는 거의 전부 학습 데이터가 정합니다.

02

학습 데이터 준비

가장 흔한 파인튜닝은 입력과 정답을 짝지은 예시로 학습합니다. 이 회사라면 상담 기록 하나와, 그 기록을 양식대로 잘 쓴 요약 하나가 예시 한 건입니다. 예시는 보통 한 줄에 한 건씩 적은 파일(JSONL 같은 형식)로 준비합니다.

{"입력": "고객이 요금이 두 번 빠져나갔다고 문의…", "정답": "사유: 이중 결제 / 조치: 환불 접수 / 후속: 3일 내 확인 문자"}
{"입력": "배송 주소를 바꾸고 싶다는 문의…", "정답": "사유: 주소 변경 / 조치: 출고 전 변경 완료 / 후속: 없음"}

모델은 이 예시들을 보고 "이런 입력에는 이렇게 답한다"를 익힙니다. 그래서 예시에 섞인 실수도 그대로 따라 배웁니다. 아래 그림에서 모아 온 예시를 정리해 보세요.

좋은 학습 데이터의 조건

• 형식이 한결같다: 정답의 양식이 예시마다 다르면 모델도 들쭉날쭉하게 배웁니다.
• 정답이 정확하다: 틀린 요약이 섞이면 틀린 방식도 함께 배웁니다. 양보다 질이 중요합니다.
• 실제 입력과 닮았다: 실제로 들어올 상담 기록과 비슷한 길이·종류의 예시여야 합니다.
• 중복이 없다: 같은 예시가 여러 번 들어가면 그 예시만 지나치게 외웁니다.
• 민감한 정보를 지웠다: 모델은 학습 데이터를 외웠다가 다른 사람에게 그대로 내놓을 수 있습니다. 이름, 전화번호 같은 개인정보는 학습 전에 지우거나 가립니다.

얼마나 많아야 할까요? 작업에 따라 다르지만, 형식을 가르치는 정도라면 잘 만든 예시 수백에서 수천 건으로도 효과를 보는 경우가 많습니다. 그리고 모은 예시 중 일부는 학습에 쓰지 않고 따로 떼어 둡니다. 이를 검증용 데이터라고 하는데, 학습이 잘 됐는지 처음 보는 예시로 확인할 때 씁니다. 다음 장에서 쓰임새를 봅니다.

데이터가 준비됐으면 학습을 돌립니다. 이때 몇 가지 값을 정해야 하고, 잘못 정하면 학습이 엇나갑니다.