ファインチューニング

01

モデルそのものを鍛える

ある会社が、コールセンターの応対記録を要約するAIを作ろうとしています。要約は会社のフォーマットに従う決まりで、「用件 / 対応 / フォロー」の3項目に、社内で使っている言い回しと用語で書かなければなりません。学習済みのLLMにそのまま要約を頼むと、内容は悪くないのですが、フォーマットや言い回しが毎回少しずつ違ってしまいます。

直し方は大きく3つあります。プロンプトにフォーマットの説明と例を書き足す「プロンプトエンジニアリング」、必要な資料を検索して付け足す「RAG」、そしてモデルそのものを追加で学習させる「ファインチューニング」です。下の図で方法を切り替えて、どこが変わるのかを見てみましょう。

最初の2つは、モデルに送るテキストを変えるだけです。モデルの中の数値、つまり重みはそのままです。ファインチューニングは逆に、この重みを変えます。事前学習を終えたモデルを出発点にして、自分たちのデータでもう少しだけ学習させ、数値を調整するのです。ゼロからモデルを作るよりずっと少ないデータと費用で、目的の作業を得意にできます。経験のある人を採用して、自社のやり方だけを教えるのに近いイメージです。

モデルがどうやって学習するのか、重みとは何なのかは、「LLMのしくみ」の学習の章で詳しく説明しています。

重みを変えるには、何を手本にして変えるのかが必要です。ファインチューニングの結果は、ほぼすべて学習データで決まります。

02

学習データを用意する

いちばんよく使われるファインチューニングは、入力と正解をペアにした例で学習します。この会社なら、応対記録1件と、それをフォーマットどおりにきちんと書いた要約1件で、例1件になります。例はふつう、1行に1件ずつ書いたファイル（JSONLなどの形式）で用意します。

{"input": "お客さまから、料金が二重に引き落とされたとの問い合わせ…", "output": "用件：二重請求 / 対応：返金手続き済み / フォロー：3日以内に確認のSMS"}
{"input": "配送先の住所を変更したいとの問い合わせ…", "output": "用件：住所変更 / 対応：出荷前に変更済み / フォロー：なし"}

モデルはこうした例を見て、「この入力にはこう答える」を身につけます。だからこそ、例にまぎれたミスまでそのまま真似してしまいます。下の図で、集めてきた例を整理してみましょう。

良い学習データの条件

• 形式がそろっている：正解のフォーマットが例ごとにバラバラだと、モデルもバラバラな書き方を覚えます。
• 正解が正しい：まちがった要約が混ざると、まちがったやり方まで覚えます。量より質が大切です。
• 本番の入力に近い：実際に届く応対記録と、長さや種類が似ている例にしましょう。
• 重複がない：同じ例が何度も入っていると、その例だけを必要以上に覚えてしまいます。
• 機密情報を消してある：モデルは学習データを覚えて、別の人にそのまま出してしまうことがあります。名前や電話番号などの個人情報は、学習の前に削除するかマスキングします。

どれくらいの量が必要でしょうか。作業によりますが、フォーマットを教える程度なら、よくできた例が数百〜数千件あれば効果が出ることが多いです。また、集めた例の一部は学習に使わずに取っておきます。これを検証データといい、学習がうまくいったかを、モデルが一度も見ていない例で確かめるときに使います。使い方は次の章で見ていきます。

データがそろったら、いよいよ学習です。その前にいくつかの値を決めておく必要があり、ここを外すと学習がうまく進みません。