> ## Documentation Index
> Fetch the complete documentation index at: https://translations.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# Auth0 Agent Experience Score

> Auth0 がさまざまなモデルやフレームワークにおける AI エージェントのパフォーマンスをどのように評価しているのか、Agent Experience Score の評価軸、採点方式、方法論を含めて学びます。

[Agent Experience Score](https://auth0.com/agent-experience) は、AI エージェントがさまざまなモデルやフレームワークで Auth0 をどの程度適切に実装できるかを測定する指標です。これにより、開発環境やテスト環境で、多要素認証 (MFA) や Auth0 Actions などの Auth0 のサービスや機能を実装するエージェントの現在のスコアを比較し、Auth0 のツールがエージェントのパフォーマンス向上にどう役立つかを確認できます。

このリソースでは、スコアの算出方法、測定対象となる評価軸、グレードの付与方法など、採点の方法論について学べます。

<div id="test-specifications">
  ## テスト仕様
</div>

AIエージェント — Claude Code、GitHub Copilot、Gemini CLI — は、隔離された開発環境で Auth0 の連携タスクを実行します。各エージェントは、実際の開発環境で開発者が使うのと同じツール、つまりワークスペース、シェル、Auth0 CLI のようなファイル操作ツールを使用します。プロンプトは短く実践的で、「Next.js アプリに認証を追加して」のようなものであり、手順を一つずつ示すレシピ形式ではありません。

各モデルは、Auth0 ツールあり・なしの両方でテストされます ([MCP Server](/docs/ja-jp/get-started/auth0-mcp-server/getting-started-with-auth0-mcp-server) と [Agent Skills](/docs/ja-jp/quickstart/agent-skills)) 。このスコア差によって、開発者体験に対する Auth0 の AI ツールの効果を定量的に測定できます。

<div id="score-dimensions">
  ## スコアの評価軸
</div>

各実行は、プロセス50%、出力50%の2つのカテゴリに分けられた8つの評価軸で採点されます。5つの評価軸は、Auth0ツールを使ったエージェントのエンドツーエンドのプロセスを評価します。残りの3つは最終出力を評価します。各評価軸は個別に0～100点で採点され、その後、重み付けして総合スコアに反映されます。

| 評価軸           | カテゴリ | 重み  | 説明                                                                                                        |
| ------------- | ---- | --- | --------------------------------------------------------------------------------------------------------- |
| **設定の手間**     | プロセス | 12% | エージェントがタスクを自律的に完了できるかに基づいて決まるスコアです。質問のためにエージェントが停止した場合やエラーが発生した場合は、スコアが下がります。                             |
| **設定速度**      | プロセス | 12% | エージェントが実際に実行に要した時間に基づいて決まるスコアです。結果は環境をまたいで比較できます。                                                         |
| **効率性**       | プロセス | 12% | 無駄なツール呼び出し (重複した読み取り、エラーになった呼び出し、再試行、上書きされた書き込み) の割合に基づいて決まるスコアです。無駄な呼び出しが少ないほど、コストと複雑さを抑えられます。           |
| **エラーからの復旧**  | プロセス | 7%  | 実行を妨げたインフラストラクチャエラー (レート制限、タイムアウト) に基づいて決まるスコアです。                                                         |
| **ドキュメントの品質** | プロセス | 7%  | タスク中にエージェントが外部ドキュメントをどれだけ適切に活用したかに基づいて決まるスコアです。有効で関連性のある情報源を調べたか、コンテンツを正常に取得したか、その情報を破棄せず実装に組み込んだかを評価します。 |
| **正確性**       | 出力   | 25% | 生成されたコードが実在するパッケージをimportし、実在するメソッドを呼び出し、コンポーネントを正しく連携させているかに基づいて決まるスコアです。                                |
| **ハルシネーション**  | 出力   | 15% | エージェントが存在しないパッケージを作り出していないか、誤ったSDKバリアントを使用していないかに基づいて決まるスコアです。                                            |
| **セキュリティ**    | 出力   | 10% | エージェントがsecretsをハードコードしたか、tokensを安全でない方法で保存したか、資格情報をソースコードにコミットしたかに基づいて決まるスコアです。                           |

<div id="grades">
  ## グレード
</div>

総合スコアは次のアルファベットグレードに対応します。

| グレード | スコア範囲 | Description                  |
| ---- | ----- | ---------------------------- |
| A    | 90+   | 軽微な問題が1～2件あるものの、実運用できる水準です。  |
| B    | 75–89 | 基礎はしっかりしていますが、見過ごせない不足があります。 |
| C    | 60–74 | 使えますが、大幅な手直しが必要です。           |
| D    | 40–59 | 重大な失敗または深刻なプロセス上の問題があります。    |
| F    | \< 40 | 実用的ではありません。最初からやり直したほうが早いです。 |

グレードは、開発者の感覚に合うように調整されています。91点なら、最小限のレビューで受け入れられるコードだと感じられるはずです。55点なら、修正にかなり手間がかかると感じられるはずです。

<div id="result-validation">
  ## 結果のバリデーション
</div>

すべての grader は、文章や説明ではなく、生成されたコードを検証します。grader は、コードがコンパイル可能であること、実在するパッケージを import していること、実際の SDK メソッドを呼び出していること、そしてセキュリティ上の脆弱性を持ち込んでいないことを確認します。

結果は複数のレベルでバリデーションされます。

* **存在チェック**: 必須の SDK シンボル、import、設定キーが出力に含まれていること。
* **ハルシネーション検出**: 存在しないパッケージ、誤った SDK バリアント、捏造された API メソッドを検出すること。
* **セキュリティチェック**: ハードコードされた資格情報、安全でないストレージに保存されたトークン、ソースコード内のシークレットを検出すること。
* **構造バリデーション**: コードが正しく構成されていること — 適切なコンポーネントが適切なファイルに配置され、ライフサイクル フックが適切に処理され、middleware が正しい順序になっていること。
* **バージョンの正確性**: エージェントが、非推奨のパターンではなく、現在の API を使用していること (確認されるのは、エージェントが最新のドキュメントにアクセスできる場合のみ) 。
* **総合レビュー**: LLM judge が実装全体の正確性を評価すること。

<div id="estimated-cost-and-time">
  ## 推定コストと所要時間
</div>

結果ページには、各構成の推定コストと推定所要時間が表示されます。これらの値は、Auth0 MCP + スキルを有効にした状態での1回の eval 実行に基づいています。

<div id="estimated-cost">
  ### 推定コスト
</div>

コストは、eval 実行中に消費された合計トークン数 (入力トークン + 出力トークン) に、モデルプロバイダーが公開しているトークン単価を掛けて算出されます。Auth0 が eval の実行に課金することはありません。このコストは、同等のトークン使用量に対してモデルプロバイダーへ支払う金額を示しています。

トークンの価格は、モデルやプロバイダーによって異なります。最新の料金については、各プロバイダーの料金ページを参照してください。

* [Anthropic (Claude) の料金](https://docs.anthropic.com/en/docs/about-claude/models#model-comparison-table)
* [OpenAI (GPT) の料金](https://openai.com/api/pricing/)
* [Google (Gemini) の料金](https://ai.google.dev/gemini-api/docs/pricing/)

<div id="estimated-time">
  ### 推定時間
</div>

Time とは、プロンプトの送信から最終出力までの eval 実行における実際の経過時間です。これには、ファイルの読み取り、ツールの呼び出し、API 応答の待機、コードの記述など、エージェントによるすべての活動が含まれます。

Time は、次の要因によって変動することがあります。

* モデルプロバイダー API のレイテンシとレート制限
* 必要なツール呼び出しの回数 (タスクの複雑さによって異なります)
* eval 環境とモデルプロバイダー間のネットワーク状況
* プロバイダー側のキューの深さと負荷

Time はプロバイダー間で正規化されていません。時間が短いほど、モデルの効率とプロバイダーのインフラストラクチャ性能の両方が高いことを示します。

<div id="learn-more">
  ## 詳細を見る
</div>

* [Agent Experience Score](https://auth0.com/agent-experience)
* [Auth0 MCP Server](/docs/ja-jp/get-started/auth0-mcp-server/getting-started-with-auth0-mcp-server)
* [Agent Skills](/docs/ja-jp/quickstart/agent-skills)