評価・デモ・AI知識ギャップ

公開評価ダッシュボードの読み方

元の資料：Public eval suite dashboard（Modern Web Guidance Evals）
随時更新（毎夜の実行と1.0基準の評価）

「ガイドがあると本当に良くなるのか」を、同じ課題をガイドあり／なしで解かせて実ブラウザで採点し、結果を公開しているページです。

何を測っているか

• 対象のエージェントは、Claude Code、Codex CLI、Antigravity CLIです。毎夜の実行と、節目の基準評価があります。
• 各課題は、土台のWebアプリと「検索語のハイライトを付ける」のような機能の指示の組です。同じ指示を、Modern Web Guidanceをスキルとして入れた条件と、入れない条件で実行します。
• 採点はPlaywrightが完成したアプリを実際のブラウザで開き、DOM、スタイル、ソースを各要件と照合します。合格率は「通ったチェック数 ÷ 実施したチェック数」です。基盤のエラーや時間切れで採点できなかった試行は、その対になる試行ごと除かれます。
• 伸びはパーセントポイント（pp）で示されます。25%→90%なら+65ppです。

見るときの注意

• 自動のアクセシビリティチェックは、WCAGの監査ではありません。キーボード操作、フォーカスとinert、動きを減らす設定とコントラスト、ARIAの役割と状態、フォームのラベル、という5つの土台項目の自動確認で、支援技術での手作業の確認の代わりにはならない、と明記されています。
• 「ガイドあり」が100%にならない理由も書かれています。課題の指示はModern Web Guidanceに触れないため、エージェントがガイドの適用場面に気づけるか自体が試されます。手順の飛ばし、ガイド検索の取りこぼし、採点の厳しい境界条件が主な外し方です。
• 代替の正しい実装を罰しない方針です。採点はガイド固有の変数名や組み立てではなく、描画された振る舞いと仕様に沿ったアクセシビリティの意味を見ます。代替実装を誤って落とす採点が見つかれば、公開リポジトリで採点を広げて再計算します。
• 所要時間は採点を除いた作業時間の中央値、トークン量はキャッシュ分を除いた未キャッシュ分で報告されます。エージェントごとに実行の仕方が違うため、時間はエージェント別の数字です。
• ガイド、土台アプリ、指示、採点はオープンソースで、GoogleChrome/modern-web-guidance-src にあります。

数字の出どころについて

ブログ記事ごとに「約50%→約90%」「約60%→80〜90%」など集計の範囲が違う数字が出てきます。対象の実行や締め日が違うためで、最新の値はこのダッシュボード側で確認するのが確実です。

評価ダッシュボードを開く