テクノロジー企業各社は、より大規模でより高性能な人工知能（AI）モデルの構築でしのぎを削っている。だが、小型モデルも依然として大きな価値を持っており、Microsoftはそのコンセプトに大きく賭けようとしている。
Microsoftは米国時間4月23日、今後数カ月以内に3つの小型AIモデルをリリースすることを明らかにし、最初のモデルとして「Phi-3-mini」をリリースした。Phi-3-miniは、トレーニングに使用されたパラメーター（AIモデルがより優れた結果を生成するために使用する変数）数が38億と、計画されている3つのモデルの中で最も規模が小さい。同社は、トレーニング用パラメーター数が70億の「Phi-3-small」と140億の「Phi-3-medium」も発表したが、そのリリース時期は明言しなかった。
パラメーター数について見てみると、OpenAIの「GPT-4 Turbo」については、1兆以上のパラメーターがトレーニングに使われていることが複数の報告で示唆されている。また、Metaは2024年内にリリースする「Llama 3」モデルの最終版について、700億のパラメーターでトレーニングする予定だと18日に述べていた。
モデルのトレーニングに使われるパラメーターが増えるほど、ユーザーが望む結果を生成できる能力が高まるが、これには代償が伴う。AIモデルのパラメーターが増えれば、結果の生成に必要な電力やエネルギーも増えてしまう。クエリーが複雑な場合や、医療分野などでミッションクリティカルなAIを実装する場合は、パラメーターが多い方が適しているかもしれないが、必ずしもパラメーター数が多ければいいというわけではない。
実際、Microsoftが発表したような小型のモデルは、スマートフォンなど低電力のデバイスに適している。Microsoftは、モバイルデバイスなど、搭載されるAIのパフォーマンスがチップセットの能力やバッテリー寿命によって制約されるデバイスで、「Phi-3」シリーズのAIを使用する可能性がある。
MicrosoftはPhi-3-miniについて、小型ながら優れたパフォーマンスを発揮すると主張している。同社がThe Vergeの取材に対して語ったところによると、Phi-3-miniは同社が使用したパラメーターの10倍以上の数でトレーニングしたモデルに匹敵するパフォーマンスを実現しており、「GPT-4」やGPT-4 Turboには及ばないものの、GPT-3.5と同程度の能力があるという。
また、このレベルのパフォーマンスを達成するために、児童書などを含む「カリキュラム」でPhi-3-miniをトレーニングしたと、MicrosoftはThe Vergeに対して述べている。さらに、教材の不足を補うために、より大規模なモデルを使ってAIで作成した児童書を使用したという。
Microsoftは現在、クラウドプラットフォーム「Azure」、提携先のHugging Faceのサイト、およびAIモデルサービスを手がけるOllamaのサイトで、Phi-3-miniを無料公開している。
この記事は海外Red Ventures発の記事を朝日インタラクティブが日本向けに編集したものです。
