Choosing Not to Commit to One AI Model Can Be Cheaper and More Powerful, Study Finds

みなさん、こんにちは。田中たなかです。今日きょうは、AIの新しいあたらしい使い方つかいかたについてお伝えおつたえします。

Fireworks AIの実験じっけんによると、AIモデルを一つひとつに決めきめずにタスクごとに選ぶえらぶと、性能せいのうが上がりあがり、コストも大幅おおはばに下がるさがることがわかりました。[1][2]

第1章: 実験の概要

Fireworks AIは、約やく1,000件けんの「エージェント型がたタスク」を使いつかいました。[1][2][3] これは、AIが自分じぶんで考えかんがえて、複数ふくすうの手順てじゅんを進めるすすめるタスクです。[1] タスクの内容ないようは、ソフトウェアの修正しゅうせい、ターミナルの操作そうさ、アルゴリズム、多言たげん語ごのプログラミング、法律ほうりつの問題もんだいなど、様々さまざまなものがありました。[1][3]

第2章: 2つのモデルの得意なこと

実験じっけんでは、オープンモデルの「Kimi K3」と、クローズドモデルの「Fable 5」を比べくらべました。全体ぜんたい的てきな正答せいとう率りつは、どちらもほとんど同じおなじでした。例えばたとえば、ソフトウェア修正しゅうせいのテストでは、Kimi K3が92.4%、Fable 5が92.6%でした。[3]

、分野ぶんやごとに見るみると、得意とくい・不得意ふとくいがあります。Kimi K3は、ターミナルの操作そうさや記号きごう計算けいさん、開発かいはつツールが得意とくいでした。一方いっぽう、Fable 5は、ウェブ開発かいはつやデータの可視かし化か、多言たげん語ごのプログラミングが得意とくいでした。[1][2][3] 特にとくに、ターミナルを長くながく使うつかうタスクでは、Kimi K3だけが解けとけた問題もんだいが11件けんありました。[1][3]

第3章: ルーティングの効果

AIは、タスクごとに最適さいてきなモデルを選ぶえらぶ「ルーティング」という方法ほうほうを試しためしました。正解せいかいしたモデルの中なかで、コストが安いやすい方ほうを選ぶえらぶと、全体ぜんたいの正答せいとう率りつは93%になりました。[1][2][3] これは、1つのモデルだけを使うつかう場合ばあいよりも高いたかい数字すうじです。[2]

、コスト効率こうりつも大きくおおきく改善かいぜんしました。長いながいエージェント型がたタスクでは、Fable 5だけを使うつかう場合ばあいに比べくらべて、最大さいだいで約やく50倍ばいもコスト効率こうりつが良くよくなりました。[1][2][3] すべてのタスクの分野ぶんやで、Kimi K3の方ほうがFable 5よりコストが低くひくくなりました。[2] 最ももっとも良いよい選択せんたくをする「オラクルルーティング」では、タスクの72%から96%がKimi K3に割り当てわりあてられました。[1][2]

第4章: 専門家の意見

AIのブログでは、「1つのモデルだけを使うつかうのは、もう最善さいぜんの方法ほうほうではない」と言っいっています。[2] これは、AIモデルにも得意とくい・不得意ふとくいがあり、それを使い分けるつかいわけることで、性能せいのうとコストの両方りょうほうを良くよくできる、という考え方かんがえかたです。

の分析ぶんせきでは、Kimi K3はトークン単価たんかが安くやすくても、出力しゅつりょくが長くながくなることがあるため、実際じっさいのコストは思っおもったほど安くやすくない場合ばあいもあると指摘してきしています。[6] しかし、今回こんかいの実験じっけんのような長いながいタスクでは、やはりKimi K3の安やすさが大きなおおきな利点りてんになります。[1][4]

第5章: まとめ

の実験じっけんは、オープンモデルとクローズドモデルをうまく使い分けるつかいわけることが大切たいせつだと示ししめしています。皆さんみなさんも、AIを使うつかうときは、1つのモデルにこだわらずに、目的もくてきに合っあったモデルを選んえらんでみてはいかがでしょうか。

、田中たなかがお伝えおつたえしました。また次回じかいお会いあいしましょう。

東京とうきょうのスタジオから生なま中継ちゅうけいの田中たなかです。本日ほんじつは、企業きぎょうのAI活用かつようにおける常識じょうしきを覆すくつがえす研究けんきゅう結果けっかをお伝えおつたえします。生成せいせいAI基盤きばんを提供ていきょうするFireworks AIが、オープンモデル「Kimi K3」とクローズドモデル「Fable 5」を比較ひかくしたところ、単一たんいつモデルに依存いぞんするよりも、タスクに応じおうじて最適さいてきなモデルを選択せんたくする「ルーティング」手法しゅほうが、正答せいとう率りつ93%と最大さいだい50倍ばいのコスト効率こうりつを達成たっせいすることが明らかあきらかになりました。[1][2]

第1章：実験の概要──約1000のエージェント型タスクで徹底比較

Fireworks AIは、ソフトウェアの不具合ふぐあい修正しゅうせい、ターミナルを使っつかったセキュリティ作業さぎょう、競技きょうぎプログラミング、6種類しゅるいのプログラミング言語げんごによる実装じっそう、法律ほうりつ関連かんれんの問題もんだいなど、合計ごうけい約やく1000件けんのエージェント型がたタスクを両りょうモデルに実行じっこうさせました。[1][3] これらのタスクは、AIが複数ふくすうの手順てじゅんを自律じりつ的てきに進めるすすめる高度こうどな内容ないようです。

その結果けっか、全体ぜんたいとしての性能せいのうはほぼ互角ごかくでしたが、詳細しょうさいに分類ぶんるいすると明確めいかくな得意とくい分野ぶんやが浮かび上がりうかびあがりました。[1] SWEベンチマークでは、Kimi K3が92.4%、Fable 5が92.6%と拮抗きっこう。[3] しかし、記号きごう計算けいさんや開発かいはつツール関連かんれんではKimi K3が優位ゆういに立ちたち、ウェブ開発かいはつやデータの可視かし化かではFable 5が高いたかい成績せいせきを収めおさめました。[1][2] さらに、ターミナルを長時間ちょうじかん操作そうさする89件けんの課題かだいでは、Kimi K3だけが11件けんを解決かいけつし、Fable 5だけが7件けんを解決かいけつ。暗号あんごう解析かいせきや脆弱ぜいじゃく性せい調査ちょうさで差さが生じしょうじたと報告ほうこくされています。[1]

第2章：コストが明暗を分ける──最大50倍の効率差

が近いちかい一方いっぽうで、コストには大きなおおきな開きひらきがありました。API料金りょうきんは、Kimi K3が入力にゅうりょく100万まんトークン当たりあたり3ドル、出力しゅつりょく15ドル（キャッシュ利用りよう時じは入力にゅうりょく0.3ドル）であるのに対しにたいし、Fable 5は入力にゅうりょく10ドル、出力しゅつりょく50ドル。[4][9] この定価ていか差さに加えくわえ、タスクあたりの処理しょり回数かいすうやデータ量りょうも総そう費用ひように影響えいきょうします。

AIの分析ぶんせきでは、Kimi K3は5つの全ぜん分野ぶんやでFable 5より低ていコストとなり、長時間ちょうじかんのエージェント型がたタスクでは最大さいだい約やく50倍ばいのコスト効率こうりつを記録きろくしました。[1][2] たとえば、Artificial Analysisによる実測じっそくでは、1タスクあたりの平均へいきん費用ひようはKimi K3が4.65ドル、Fable 5が21.63ドルと、4倍ばい以上いじょうの差さが確認かくにんされています。[4][7] もっとも、Kimi K3は出力しゅつりょくトークンが多くおおくなる傾向けいこうがあり、実質じっしつコストが縮まるちぢまる場合ばあいもあるため、モデル単価たんかだけで判断はんだんできない点てんに注意ちゅういが必要ひつようです。[6]

第3章：鍵を握る「ルーティング」──93%の正答率を実現

AIが提示ていじした解決かいけつ策さくが、タスクごとにモデルを振り分けるふりわける「ルーティング」です。実験じっけんでは、両りょうモデルに問題もんだいを解かとかせた後のち、正解せいかいしたモデルのうち費用ひようが安いやすい方ほうを選ぶえらぶ「オラクルルーティング」と呼ばよばれる手法しゅほうを適用てきようしました。[1] これは理論りろん上じょうの上限じょうげんを示すしめすものですが、分野ぶんやに応じおうじて72%～96%のタスクがKimi K3に割り当てわりあてられ、全体ぜんたいの正答せいとう率りつは93%に達したっし、どちらか単一たんいつモデルを上回るうわまわる結果けっかとなりました。[1][2][3]

成果せいかは、特定とくていタスクに最適さいてきなモデルを動的どうてきに選ぶえらぶことで、品質ひんしつとコストを両立りょうりつできることを示ししめしています。Fireworks AIは、オープンモデルをデフォルトとしつつ、ルーターが継続けいぞく的てきにタスクとモデルの最適さいてきな組み合わせくみあわせを学習がくしゅうするアーキテクチャを推奨すいしょうしています。[3]

第4章：専門家の見解──「万能モデル信仰」の終わり

動向どうこうに詳しいくわしい専門せんもん家かからは、この結果けっかを「単一たんいつモデルに固執こしつする時代じだいの終わりおわり」と評価ひょうかする声こえが上がっあがっています。中国ちゅうごく発はつのオープンモデルであるKimi K3が、性能せいのう面めんでクローズドモデルに迫りせまりつつ、圧倒的あっとうてきなコスト優位ゆうい性せいを示ししめしたことは、企業きぎょうのAI調達ちょうたつ戦略せんりゃくに大きなおおきな影響えいきょうを与えるあたえるとみられています。[4][7] 実際じっさい、一部いちぶのベンチマークではKimi K3が最さい上位じょういに立つたつわけではありませんが、「上位じょういモデルに近いちかい結果けっかを低ていコストで出すだす点てんが本当ほんとうの脅威きょうい」と指摘してきされています。[7]

の展望てんぼうとして、モデル単体たんたいの優劣ゆうれつではなく、複数ふくすうモデルを状況じょうきょうに応じおうじて使い分けるつかいわける「マルチモデル戦略せんりゃく」が主流しゅりゅうになる可能かのう性せいが高まったかまっています。開発かいはつ現場げんばでは、短いみじかい精密せいみつなタスクにはGPT系けい、大だい規模きぼ設計せっけいにはFable 5、超ちょう長文ちょうぶん・反復はんぷく作業さぎょうにはKimi K3といった使い分けつかいわけが現実げんじつ的てきだとされています。[6]

第5章：まとめ──企業が取るべきアクション

の研究けんきゅうから得えられる教訓きょうくんは明快めいかいです。特定とくていのAIモデルに依存いぞんするのではなく、タスクの特性とくせいに応じおうじて最適さいてきなモデルを選択せんたくする仕組みしくみを構築こうちくすることで、高いたかい精度せいどと大幅おおはばなコスト削減さくげんを同時にどうじに実現じつげんできます。Fireworks AIの実験じっけんは理論りろん上じょうの上限じょうげんを示ししめしたものですが、すでに実用じつよう的てきなルーター開発かいはつへの道筋みちすじをつけたと言えるいえるでしょう。[1][2] 各かく企業きぎょうは、自社じしゃの業務ぎょうむ内容ないようを精査せいさし、モデルごとの得意とくい分野ぶんやを活かしいかしたポートフォリオ戦略せんりゃくを早急そうきゅうに検討けんとうする必要ひつようがあります。

のニュース、田中たなかがお伝えおつたえしました。