MLOps（機械学習の運用）

01

モデルはデプロイして終わりではない

機械学習のモデルは、一度作ったら終わりのソフトウェアではありません。データを集めて学習し、評価してデプロイしたあとも、性能を見守り、新しいデータで学習し直すことを何度も繰り返します。下の図はそのループです。段階を選んでみましょう。

ふつうのソフトウェアなら、コードが変わらなければ動きも変わりません。ここが引っかかりやすいところですが、機械学習のモデルは、コードがまったく同じでも、入ってくるデータが変われば性能が変わります。だからコードだけでなく、データとモデルもバージョン管理して見守る必要があります。ソフトウェアの開発と運用をつなぐDevOpsの考え方を、機械学習に合わせて広げたものがMLOpsです。

実際の機械学習システムを調べた研究によると、モデルを学習させるコードは全体のほんの一部にすぎません。データの収集と検証、特徴量の作成、デプロイ、モニタリングといった周りの仕事のほうがずっと大きいのです。MLOpsはこの周りの仕事を自動化して記録し、人の手作業から生まれるミスを減らします。

最初の一歩は、人が手作業でやっていた仕事を、決まった順番で動くパイプラインに置き換えることです。

02

パイプラインと再現性

学習パイプラインは、データ検証、特徴量の作成、学習、評価、モデル登録を、決まった順番で自動的に実行する流れです。新しいデータがたまったときや、決まったスケジュールで動き出します。評価のステップには品質の基準（品質ゲート）があり、基準に届かないモデルは次へ進めません。下の図で、このモデルを基準に届かないようにしてみましょう。

登録したモデルを、いよいよ本番のサービスに出します。その出し方はひとつではありません。

03

デプロイ：いつ予測するか、どうモデルを入れ替えるか

まず、予測をいつ行うかによって、出し方は2つに分かれます。バッチ推論は、決まった時間に大量のデータをまとめて予測し、結果を保存しておく方法です。リアルタイム（オンライン）推論は、リクエストが来た瞬間に予測して、すぐに答えを返す方法です。ほかに、端末の上で直接予測するエッジ推論もあります。

新しいモデルに切り替えるときは、一度に全部を切り替えるのではなく、リスクを分けて進めるのが一般的です。下の図で、それぞれの出し方を試してみましょう。

どの方法でも、新しいモデルが本当に前のモデルより良いかを、実際の指標で確かめます。そのやり方が評価指標の解説にあるA/Bテストです。また、前のバージョンをレジストリに残しておき、いつでもロールバックできるようにしておきます。

デプロイしたら安心、とはいきません。モデルが見ている世の中は、変わり続けるからです。