New Benchmark 'mcpbench' Tests AI Models' Ability to Build MCP Servers

皆さんみなさん、こんばんは。田中たなかです。今夜こんやは、AIモデルの新たあらたなベンチマークテスト「mcpbench」が明らかあきらかにした衝撃しょうげきの結果けっかについてお伝えおつたえします。

第1章: mcpbenchとは？MCPという共通言語

mcpbenchは、AIモデルが「MCP」の仕様しように従ってにしたがってクライアントとサーバーを正しくただしく作れるつくれるかをテストするベンチマークです。[1][2] 開発かいはつしたのは、クラウドフレアのシニアシステムエンジニアで、MCPの開発かいはつにも関わるかかわるマット・ケアリー氏しです。[1][2]

MCPは「Model Context Protocol」の略りゃくで、AIが外部がいぶのツールやデータとつながるための、共通きょうつうのルールです。[1][3] 2024年ねん11月つきにAnthropicが提案ていあんし、今いまはLinux FoundationのAgentic AI Foundationが開発かいはつを進めすすめています。[1][3] MCPには、AIの指示しじを受けうけて動くうごく「MCPクライアント」と、実際じっさいに外部がいぶとやり取りやりとりする「MCPサーバー」があります。[2]

第2章: ドキュメントなしでは0% — 最新版で見えたAIの弱点

2026年ねん7月つき28日にち、MCPの大きなおおきなアップデート「バージョン2026-07-28」が発表はっぴょうされました。[1][2] 最大さいだいの変更へんこう点てんは、セッションIDを使わつかわない「ステートレス」な設計せっけいへの移行いこうです。[1][2] これにより、従来じゅうらいの「initialize/initialized」という握手あくしゅ手順てじゅんが不要ふようになりました。[1][2]

mcpbenchのテストでは、バージョン2026-07-28のMCPサーバーをドキュメントなしで作らつくらせたところ、驚くおどろくべき結果けっかが出でました。[1] GPT-5.6 SolやClaude Opus 4.8など、テストされたすべてのAIモデルが、成功せいこう確率かくりつ0%だったのです。[1][2][3] その原因げんいんは、AIが古いふるいルールのまま握手あくしゅ手順てじゅんを試みこころみてしまい、最初さいしょの段階だんかいで失敗しっぱいしたためと分析ぶんせきされています。[1][2]

しかし、同じおなじテストを最新さいしんの仕様しよう書しょを渡しわたした状態じょうたいで行うおこなうと、状況じょうきょうは一変いっぺんしました。[1] 全ぜんモデルが高いたかい成功せいこう率りつを達成たっせいし、特にとくにClaude Opus 4.8とKimi K2.7 Codeは100%を記録きろくしました。[1][2] MCPクライアントを作るつくるテストでも、ドキュメントがあると以前いぜんのバージョンと同じおなじくらいの性能せいのうを発揮はっきしました。[1][2]

第3章: 「知識の壁」を越えるには — ドキュメントが鍵

ケアリー氏しはこの結果けっかを「知識ちしきの壁かべ」と表現ひょうげんしています。[1] AIの事前じぜん学習がくしゅうデータだけでは、新しいあたらしい技術ぎじゅつの進化しんかに追いつけおいつけない現実げんじつが浮き彫りうきぼりになりました。[1] 特にとくにMCPのように急速きゅうそくに変わるかわる規格きかくでは、最新さいしん情報じょうほうにアクセスできることが、AIを実際じっさいの仕事しごとで使うつかうための重要じゅうような条件じょうけんになります。[1]

このベンチマークのソースコードはGitHubで公開こうかいされており、誰だれでも確認かくにんできます。[1][2] MCPバージョン2026-07-28は、GitHubやクラウドフレアがすでに採用さいようしており、Anthropicも自社じしゃ製品せいひんに導入どうにゅうする計画けいかくです。[1] 企業きぎょうがAIエージェントをビジネスに使うつかう際さい、最新さいしんのドキュメントを理解りかいできるかどうかが、選ぶえらぶ際さいの大切たいせつな基準きじゅんになるかもしれません。[1]

以上いじょう、mcpbenchが示ししめしたAIの現在地げんざいちと、これからの課題かだいについてお伝えおつたえしました。田中たなかがスタジオからお送りおおくりしました。

皆様みなさま、こんばんは。田中たなかです。

本日ほんじつは、AIモデルが急速きゅうそくに進化しんかする技術ぎじゅつ標準ひょうじゅんにどこまで追従ついしょうできるかを浮き彫りうきぼりにした、注目ちゅうもくのベンチマークテスト「mcpbench」についてお伝えおつたえします。このテストは、AIが外部がいぶサービスと連携れんけいするための共通きょうつう規格きかく「MCP」の最新さいしん仕様しように基づいもとづいて、実際じっさいにサーバーやクライアントを構築こうちくできるかを評価ひょうかするものです。結果けっかは、最新さいしんのAIモデルが事前じぜん学習がくしゅうデータだけでは全くまったく太刀打ちたちうちできない「知識ちしきの壁かべ」を露呈ろていするものとなりました。[1][2]

第1章: ベンチマーク「mcpbench」の開発者と背景

mcpbenchを開発かいはつしたのは、Cloudflareのシニアシステムエンジニアで、MCP関連かんれんの開発かいはつに携わるたずさわるMatt Carey氏しです。[1][2] MCP（Model Context Protocol）は、2024年ねん11月つきにAnthropicが提唱ていしょうしたオープン標準ひょうじゅんで、現在げんざいはLinux Foundation傘下さんかのAgentic AI Foundationが開発かいはつを主導しゅどうしています。AIエージェントが外部がいぶのデータやウェブサービスにアクセスするための中核ちゅうかく的てきな橋渡しはしわたし役やくとして、業界ぎょうかい標準ひょうじゅんとして急速きゅうそくに普及ふきゅうしており、月間げっかんSDKダウンロード数すうは既にすでに4億おく回かいを超えこえています。[1]

Carey氏しは、2026年ねん7月つき28日にちにリリースされたMCPの過去かこ最大さいだいのアップデート「バージョン2026-07-28」に合わせあわせて、このベンチマークを公開こうかいしました。[1][2] テストでは、AIモデルに「MCPクライアント」と「MCPサーバー」の両方りょうほうを構築こうちくさせ、その成否せいひをスコア化かします。[1]

第2章: 旧仕様と新仕様で明暗が分かれた結果

テスト対象たいしょうとなったのは、OpenAIの「GPT-5.6 Sol」「GPT-5.6 Luna」「GPT-5.6 Terra」、Anthropicの「Claude Opus 4.8」「Claude Sonnet 5」、そしてMoonShot AIの「Kimi K2.7 Code」という6つの最先端さいせんたんモデルです。[1][2]

まず、旧きゅう仕様しようのバージョン2025-11-25に基づくもとづくクライアント構築こうちくテストでは、ドキュメントなし／ありの両方りょうほうでGPT-5.6 Solが最高さいこう性能せいのうを記録きろくしました。[2][3] サーバー構築こうちくテストでは、ドキュメントなしではGPT-5.6 Lunaが最高さいこうスコアを獲得かくとくし、ドキュメントありではClaude Opus 4.8とKimi K2.7 Codeが100%の成功せいこう率りつを達成たっせいしました。[1][2]

しかし、新しん仕様しようバージョン2026-07-28に基づくもとづくサーバー構築こうちくテストでは、衝撃しょうげき的てきな結果けっかが待っまっていました。ドキュメントを一切いっさい与えあたえなかった場合ばあい、全ぜんモデルの達成たっせい率りつが0%となったのです。[1][2] Carey氏しの分析ぶんせきによれば、原因げんいんは新しん仕様しようで廃止はいしされた「initialize/initialized」ハンドシェイク手順てじゅんを、AIモデルが依然としていぜんとして実行じっこうしようとしたことにあります。[1] バージョン2026-07-28は、セッションIDに依存いぞんするステートフルな設計せっけいから、各かくリクエストが自己じこ完結かんけつするステートレス設計せっけいへと根本こんぽん的てきに移行いこうしたのです。事前じぜん学習がくしゅうデータにこの知識ちしきが含まふくまれていなかったため、最初さいしょの段階だんかいでつまずき、その後そのごの処理しょりに進めすすめなかったのです。[1]

クライアント構築こうちくテストでも、ドキュメントなしのスコアは大幅おおはばに低下ていかし、「モデルにバージョン2026-07-28の知識ちしきがない」ことが明示めいじされました。[2][3]

第3章: ドキュメントが鍵を握る、実用性への示唆

ドキュメントを与えあたえた場合ばあい、状況じょうきょうは一変いっぺんしました。サーバー構築こうちくでは、全ぜんモデルが高いたかい達成たっせい率りつを記録きろくし、クライアント構築こうちくでも旧きゅう仕様しよう時じとほぼ同等どうとうのスコアを維持いじしたのです。[1][2] この結果けっかは、AIモデルが最新さいしんの仕様しよう書しょにアクセスできれば、新しん技術ぎじゅつに迅速じんそくに適応てきおうできることを示ししめしています。[1]

ここで浮かび上がるうかびあがるのは、実用じつよう的てきな教訓きょうくんです。急速きゅうそくに進化しんかするMCPのような技術ぎじゅつ標準ひょうじゅんにおいては、事前じぜん学習がくしゅうデータだけでは不十分ふじゅうぶんであり、外部がいぶドキュメントを参照さんしょうし、最新さいしんの知識ちしきベースと統合とうごうする能力のうりょくこそが、実じつ環境かんきょうへの展開てんかいの鍵かぎとなるのです。[1] mcpbenchのソースコードはGitHub上じょうで公開こうかいされており、今後こんごもMCP仕様しようの進化しんかに合わせあわせて更新こうしんされる予定よていです。[2][3]

第4章: 開発者の狙いと業界への影響

Carey氏しは自身じしんのX（旧きゅうTwitter）で、「仕様しようのどのくらいがモデルの重みおもみに含まふくまれているかを追跡ついせきするためにベンチマークを作っつくった」と述べのべています。[3] 新しん仕様しようのステートレス化かにより、MCPサーバーは標準ひょうじゅん的てきなHTTPサービスと同じおなじインフラ（Kubernetesやサーバーレス、エッジ環境かんきょう）で運用うんよう可能かのうになりました。GitHubとCloudflareは公式こうしきリリースに先立っさきだって採用さいようを完了かんりょうし、AnthropicもClaude製品せいひんラインへの展開てんかいを発表はっぴょうしています。[1]

このベンチマークが示唆しさするのは、AIモデルが「最新さいしんの技術ぎじゅつ文書ぶんしょを理解りかいし、正しくまさしく実装じっそうできるか」という問いといが、単なるたんなる学術がくじゅつ的てき評価ひょうかを超えこえ、企業きぎょうがAIエージェントを本番ほんばん環境かんきょうに導入どうにゅうする際さいの重要じゅうような選択せんたく基準きじゅんとなる未来みらいです。[1]

以上いじょう、新しんベンチマーク「mcpbench」が浮き彫りうきぼりにしたAIの知識ちしきの壁かべと、ドキュメントの重要じゅうよう性せいについてお伝えおつたえしました。今日きょうのニュースはここまでです。この後のちも、テクノロジーの最前線さいぜんせんから最新さいしん情報じょうほうをお届けとどけしてまいります。田中たなかでした。