JustFit
ブログ
Scope公開、コーディングAIの出来を同条件で採点

Scope公開、コーディングAIの出来を同条件で採点

2026.10.21 JustFit編集部（運営：株式会社LEGAREA）

Microsoftが、コーディングAIの働きぶりを同じ課題で試して採点できるオープンソースの基盤「Scope」を公開しました。この記事では、公式リポジトリや報道で確認できた仕組みと動かす条件を整理します。そのうえで、新規事業やシステム開発でどう読めるかを、事実と編集部の見方に分けて書きます。

Scopeは、AIが製品をどう使うかを測る評価基盤

まず、確認できた事実からです。

公式リポジトリの説明では、Scopeは「Agentic Experience」の評価基盤で、研究プレビュー（試験的な公開段階）とされています。目的は、AIエージェントが製品をどう使い、現実的な課題にどう取り組み、フィードバックにどう反応するかを評価することです。コードはMITライセンスで提供されています。10月21日付の開発者向けまとめでも、AIコーディングエージェントの動作を評価するオープンソースのプラットフォームとして紹介されています。

想定されている使い手は、SDK（開発用の部品一式）、ドキュメント、MCPサーバー（AIが外部のツールやデータを呼び出すための接続口）を保守するチームです。コーディングエージェントがどのSDKを使い、どのツールを呼ぶかを自分で決める場面が出てきました。人の開発者にはスムーズでも、エージェントは詰まることがあります。Scopeは、そうした失敗を見つけるために作られたと紹介されています。

採点のしくみ：基準、判定役のAI、残る記録

ここでは、公式リポジトリと報道から分かる動きを3点にまとめます。

成功の基準を、前提のある確認項目として組む

評価基準は有向非巡回グラフ（DAG）で整理し、確認項目どうしに依存関係を持たせます。簡単に言えば、「前の確認に通らなければ次を見ない」という順序をつけられる形です。報道では、Node.jsのサーバーを作らせ、JSONを返すGET /healthの経路があるかを確かめる例が挙げられています。

判定役のAIが採点し、重要な結論は人が確認する

LLMを使った「Judge」というサービスが、各回の結果を基準に照らして採点します。ただし、公式の説明には、自動のJudgeも間違えることがあり、重要な結論には人の確認が必要と書かれています。

記録が残り、設定を入れ替えて再実行できる

各回の実行では、ログ、生成されたファイル、作業環境のスナップショット、ツールの呼び出しが残ります。基準を満たせなかった箇所は、その手順までさかのぼって調べられます。エージェント、モデル、スキル、MCPサーバーなどの組み合わせは「プロファイル」として保存でき、一部を入れ替えて同じ課題をやり直し、比べられます。結果は試すたびに変わるため、繰り返すことで、いつも起きる問題と一度きりの問題を切り分けやすくなります。

結果の読み方についても、公式は試した課題と設定についての結果であり、エージェントの総合順位ではないと書いています。

動かすには、自分たちで環境を用意する

使い始めるための条件も確認できました。

ホスト版（提供元が運用するサービス）はなく、自分で動かすのが唯一の方法です。複数人で使う場合はKubernetesとHelmチャートが使えます。
手元で動かすには、Docker、Node 22、pnpm、mkcert、GitHub CLIが必要です。標準のワーカーにはGitHub Copilotの利用権限、Judgeにはモデル提供元の認証情報も要ります。
評価できるエージェントとして、GitHub CopilotとClaude Codeが挙げられています。9月のリポジトリ内のやりとりには、現時点の対応はCopilotとClaudeで、Codexなどは今後の予定という書き込みもあります（リポジトリ内のPullRequest）。最新の対応状況は、公式リポジトリで確かめる必要があります。

つまり、手軽に試せる評価サービスというより、開発チームが自分たちの環境に組み込んで使う道具です。

編集部の見方：ツール選びが「評判」から「同じ課題での記録」へ寄る

ここからは事実ではなく、私たちJustFit編集部の見方です。

見方1：比較の中心は、どんな課題で測るか

AIコーディングツールは、公開されたベンチマークで比べられることが多くあります。ただ、新規事業のシステムには、その事業ならではの画面や業務の流れがあります。Scopeのような仕組みは、公開の数字とは別に「私たちの課題で、同じ条件なら何が起きるか」を記録として残す方向のものです。公開ベンチマークの読み方は、LSCBench公開、AIのコードは安全と動作の両立が最良25%でも触れています。ツールの特徴はAIコーディングツール比較にまとめています。

見方2：事業が部品を提供するなら、AIが使い手になる

APIやSDKを提供する新規事業では、これまで人の開発者が読みやすいかが焦点でした。Scopeは、AIエージェントがそれらを使って詰まらないかを測る道具として紹介されています。AIが開発者の代わりに部品を選ぶ場面が増えるなら、「AIが迷わず使えるか」も製品の確認項目になりえます。ただし、どの程度そうなるかは、今回の情報だけでは判断できません。

見方3：基準を決める仕事は、人に残る

Scopeで成功の基準を書く作業は、要件を言葉にする作業とよく似ています。Judgeが採点しても、何を成功とするかは人が決めます。基準に書かなかったことは、採点にも現れません。AI要件定義で変わることやAI開発でも品質には人の確認が必要な理由で整理した話と、同じ構造です。先日のClaude Codeのレビューが一般提供の記事でも、レビューが見られるのは決まっている要件までと書きました。

ここまでの情報では、まだ言えないこと

今回確認できた範囲の限界も、書いておきます。

Microsoftの公式ブログや発表ページは、今回の調べでは確認できませんでした。この記事は、公式リポジトリと、報道・まとめ記事に基づいています。
Judgeの採点がどの程度、人の判断と一致するかを示す数字は確認できていません。
研究プレビューとされているため、機能や対応範囲が今後変わる可能性は見ておく必要があります。これは編集部の読みです。
日本語の課題や、日本の開発現場での使い勝手については、確認できる情報がありませんでした。

まとめ

今回の発表で確認できたのは、次の点です。

ScopeはMicrosoftが公開した、コーディングエージェントの評価用オープンソース基盤（研究プレビュー）。
同じ課題を複数のエージェントや設定で試し、依存関係のある基準でJudgeが採点し、ログやスナップショットを残す。
ホスト版はなく、自分たちで環境を用意して動かす。
Judgeの誤りの可能性があり、重要な結論には人の確認が必要。

編集部の見方としては、AIツールを選ぶ判断が、評判や公開の数字から、自分たちの課題での記録へ少しずつ移るきっかけになりうると考えています。そのとき欠かせないのが、何を成功と呼ぶかを人が決めることです。私たちJustFitも、AIを使った開発で、人の役割は何を作るかを決めることと品質の最終判断だと考えています。新規事業のシステムを、動くプロトタイプで確かめながら進めたい場合は、JustFitのサービス紹介もご覧ください。

参考にした情報

← ブログ一覧へ