AI 導入の説得を AI と練習する — AIB-C01 の変革の分野を役割の演習にして、AI の採点のぶれを数える

語を並べただけの答案に、手元の AI は 3 回続けて同じ 3 点を付けた。温度を 0 にして seed を固定した条件である。作り方から決めた正解は 0 点なので、判定のぶれは消えたのに点は合っていない。AIB-C01 の変革の分野を勉強するなら、説得の計画を書いて AI に採点させたくなる。そのときに確かめるべきなのは、同じ点が返るかどうかだけではない。
AWS Certified AI Business Strategist(AIB-C01)の分野 4 には、経営層の支援・現場の不安・文化の壁を扱うタスク 4.3 がある。本記事は、架空の小さな 3Dプリント工房に造形監視 AI を入れる場面を題材に、AI を相手役にして説得を練習する手順を書く。実測したのは手順ではなく採点のほうだ。当サイトが作った基準 14 行と答案 31 個を、claude -p(Claude Sonnet 5.5)、手元の gemma4:12b の配布の設定、gemma4:12b の温度 0・seed 固定の 3 条件で繰り返し採点させた。
※本記事にはアフィリエイト広告(PR)が含まれます。
先に結果を書く。繰り返しのぶれは小さかった。答案と行の組 434 のうち、全回で同じ判定だった組は claude -p が 430、配布の設定が 428、温度 0・seed 固定が 434 である。良い答案は全条件で毎回 14 点、無関係な答案は毎回 0 点だった。差が出たのは語だけの答案で、claude -p は 10 回とも 0 点、配布の設定は 0〜3 点に割れ、温度 0・seed 固定は 3 回とも 3 点だった。抜いた項目の見落としは、多くが基準の行どうしの重なりで説明がついた。これは基準を作った当サイトの問題と読める。
本番の試験は選択式で、記述の答案は無い。ここで使う基準と答案は当サイトが作った練習用で、AWS の採点基準でも試験の問題でもない。当サイトは AIB-C01 を受験していない。Skill Builder は、ログインせずに読める説明ページまでは確かめた。公式の教材そのものは開いていない。試験の仕組みと準備の全体像は AWS の AI Business Strategist は何を証明する資格なのか — コードを書かない人向けの認定を、2月15日の早期バッジまでの13週で準備する(2026-11-16 公開) にまとめた。公式の情報は 2026 年 11 月時点のものである。
- AIB-C01 の変革の分野は何を問うのか
- AWS の資料で背景を読む — CAF の People の観点と生成 AI の成熟度モデル
- AI を相手役にした役割の演習の手順 — 架空の工房で説得を組み立てる
- 採点の基準 14 行と答案 31 個 — 正解は答案の作り方から決める
- 3 つの条件で繰り返し採点させた
- 結果 1 — 繰り返しのぶれは小さかった
- 結果 2 — 語だけの答案で、ぶれが消えることと正しいことが分かれた
- 結果 3 — 見落としの多くは基準の行の重なりで説明がついた
- 根拠の抜き書きが答案に実在するかは機械で確かめられる
- 公開されている報告と照らす — 位置・長さ・繰り返しは別の測定である
- この実測で言えないこと
- AIB-C01 の変革を AI と練習するときの採点の頼み方
- まとめ — 同じ点が返っても、行と根拠を読む
- 参照
AIB-C01 の変革の分野は何を問うのか

本記事が「変革の分野」と呼ぶのは、試験ガイドの分野 4 である。日本語版の正式な題は「ビジネス準備状況、リーダーシップ、AI トランスフォーメーション」で、配点は採点対象の 24% を占める。分野 4 は 4 タスク・19 スキルからなる。そのうちタスク 4.3 の日本語版の文は「全社規模の変革を主導し、AI に対応できるワークフォース能力を構築する。」で、スキルは 4.3.1〜4.3.6 の 6 つある。試験ガイドが示す配点は分野の単位までで、タスクごとの割合は書かれていない。
6 つのスキルの中身を、当サイトの言葉でまとめると次のようになる。右の列は試験ガイドの英語の語で、文の全文は公式のページで読める。
| スキル | 当サイトの要約 | 試験ガイドの語 |
|---|---|---|
| 4.3.1 | 経営側の支援を固め、責任者の足並みをそろえ、推進役を見つけて支える | executive sponsorship、leadership alignment、AI champions |
| 4.3.2 | 立場の違う人でチームを組み、責任をはっきり割り当てる | cross-functional teams、accountability standards |
| 4.3.3 | 導入の時期・期待する成果・職務への影響を伝える | implementation timelines、outcome expectations |
| 4.3.4 | 文化の壁を見つけ、経営側が取る行動を決める | cultural barriers、leadership interventions |
| 4.3.5 | 全社の AI の知識を高める手段を選ぶ(責任ある AI の研修は手段の例の 1 つ) | hackathons、responsible AI training |
| 4.3.6 | 人の仕事を手作業から監督へ移し、人の強みと AI の能力を分担する | human oversight、human strengths |
どの語も、製品の知識より人と組織の判断を問うている。文化の壁の例として試験ガイドが挙げるリスク回避・変化への抵抗・失敗への恐れ(risk aversion、resistance to change、fear of failure)は、AWS の背景資料には見つからなかった。CAF、AWS CAF-AI の PDF、生成 AI の成熟度モデル(どれも次の節で読む)を文字列で検索した結果である。そのため本記事では、この 3 語を試験ガイドの語として扱う。
本番の出題形式は、正解が 1 つの択一選択問題と、5 つ以上の選択肢から 2 つ以上を選ぶ複数選択問題の 2 種類である。したがって、説得の文章を書く力を本番で直接は問われない。それでも文章で練習する理由は、自分がどの項目を抜かしやすいかが見えるからだ。ただし、これは当サイトの提案で、試験の点が上がるかどうかは測っていない。
判断を問う分野には、暗記のように 1 語で答え合わせできる解が無い。そこで AI に採点させたくなるが、その採点をどこまで信じてよいかは別に確かめる必要がある。勉強の相手にする AI の答えをそのまま使えるかは、AI は「AI を使わない」と答えられるのか — AIB-C01 の導入判断を、ルールで足りる事例で確かめる(2026-11-18 公開) でも別の形で確かめた。答えだけでなく根拠まで読む必要があることは、責任ある AI の判断を公開の原文で採点する — AIB-C01 のガバナンス分野を、原文を渡す場合と渡さない場合で比べる(2026-11-20 公開) の結論でもある。
AWS の資料で背景を読む — CAF の People の観点と生成 AI の成熟度モデル

試験ガイドの推奨知識は、AWS Cloud Adoption Framework(AWS CAF)、AWS 責任共有モデル、AWS Well-Architected Framework(Responsible AI Lens)を挙げる。このうち組織全体の AI の取り組みの計画と拡大に当たるのは AWS CAF である。AWS CAF-AI の語は試験ガイドに無く、スキル 4.1.2 の成熟度の文も特定のモデルを挙げていない。以下の 3 つの資料は、タスク 4.3 の語の背景を読むために並べる。後の節の基準はこれらの語を背景に当サイトが組んだもので、AWS の資料がこの形を定めているわけではない。
CAF の People の観点 — 経営層の支援はここで読む
CAF(発行 2021 年 11 月 22 日)の People の観点は、文化と変化を扱い、Transformational leadership や Change acceleration など 7 つの能力を挙げる。経営層の支援について、この文書は「Gain active and visible executive sponsorship」と書く。技術と事業の両方の部門から、目に見える形で動く支援者を得よ、という文である。支援者は戦略・ビジョン・範囲・資源について重要な判断をし、コミュニケーションと連携づくりに動き、チームに結果の責任を持たせる。
指導層に対しては、人の側の変化に技術と同じだけ力を注ぐよう求める(「your leaders must put as much focus on the people side of change as they do on technology」)。変化の進め方としては、主な利害関係者と変革の障壁を洗い出すこと、明確な指標を追って早い成果を祝うこと、変化を定着させるために継続的な意見の仕組みと報奨を持つことを挙げる。
もっとも、CAF はクラウドの文書で、原文の主語はクラウドである。本記事がこれを造形監視 AI の導入に当てはめるのは当サイトの読み替えで、AWS が AI について書いた文ではない。基準の行 1 が「予算・時間・判断のどれかを出す」と書くのは、この読み替えの例である。
AWS CAF-AI — AWS が過去の資料として残している 2024 年 2 月の文書
AWS CAF-AI(AWS Cloud Adoption Framework for Artificial Intelligence, Machine Learning, and Generative AI)は、AWS が過去の資料(historical reference)として残している 2024 年 2 月の文書である。読むときは PDF を開く。People の観点の 7 つの能力のうち、AI 向けに書き足されたのは ML Fluency(新規)・Workforce Transformation・Organizational Alignment・Culture Evolution である。Transformational Leadership は「This capability is not enriched for AI, refer to the AWS CAF」とあり、書き足されていない。経営層の話を CAF の本体で読むのは、この記述による。
一方で文化の話はこの文書に厚い。AI を前提にした文化を育てるのは、古い考え方を崩すことが多いので長く難しい道のりだと書き、AI の影響への懸念を聞くだけでなく判断に反映させる環境を作るよう勧める(「not just heard but influence the decision-making process」)。さらに、AI は人の労働を自動化すると言われがちだが実際には補うものだ、という見方も示す。これは AWS の見方であり、工房の誰かの仕事が無くならないという保証として読むものではない。
スキル 4.4.1 の 4 語と CAF の 4 段階は同じではない
段階の名前は、資料によって 1 語違う。スキル 4.4.1 はタスク 4.4 の語で本記事の採点の範囲外だが、取り違えやすいので並べておく。
| 資料 | 1 | 2 | 3 | 4 |
|---|---|---|---|---|
| AWS CAF(2021 年) | Envision | Align | Launch | Scale |
| AWS CAF-AI(2024 年、過去の資料) | Envision | Align | Launch | Scale |
| スキル 4.4.1 の例示 | envision | experiment | launch | scale |
| 生成 AI の成熟度モデル(初版 2025 年 6 月 4 日) | Envision | Experiment | Launch | Scale |
4.4.1 の語は、成熟度モデルのレベル名と同じ並びである。語が同じという事実までで、どの資料に基づくかを AWS は書いていない。CAF の Align は、能力の不足と部門をまたぐ依存関係を洗い出し、利害関係者の懸念を表に出す段階で、説得の話はこの段階の語に近い。Launch は試行を本番へ出す段階である。
成熟度モデルを使うときは 2 点に注意が要る。第一に、対象は生成 AI で、造形監視 AI に当てはめるのは当サイトの読み替えになる。第二に、AWS は組織全体を 1 つのレベルに分類する使い方を否定している。そこで工房の説明は「人の面は Level 1 の活動(推進役の特定、社内の研修)にある」のように面ごとに書き、工房全体のレベルは決めない。
AWS CAF の People の観点は、AI を前提に組織の意思決定と人の技能をどう組み直すかの話だ。AI 時代の意思決定と技能の土台を経営の側から扱った本として、次の1冊がある。
AI を相手役にした役割の演習の手順 — 架空の工房で説得を組み立てる

ここからの手順は当サイトが組んだもので、手順そのものは実測しておらず、学習効果も測っていない。題材の工房は架空で、人数や金額はすべて仮定である。夜間の造形の失敗に気づくのが遅いという悩みがあり、導入担当が、造形の失敗らしい様子を見つけて人に知らせる造形監視 AI の導入を説得する、という設定にする。
ステップ 1: 題材を自作する
AI に渡すのは、公開の試験ガイドと自作の題材だけにする。公式の練習問題や教材の文章は貼らない。AWS 認定の規約との関係は AWS の AI Business Strategist は何を証明する資格なのか — コードを書かない人向けの認定を、2月15日の早期バッジまでの13週で準備する(2026-11-16 公開) に書いた。自分の職場を題材にするなら、社名・人名・社内の数字を仮の値に置き換えてから渡す。
ステップ 2: 役を分けて AI に演じさせる
一度に全員を演じさせず、1 回の会話で 1 つの役にする。役によって出てくる反論が違うので、タスク 4.3 のどの項目を練習できるかが分かれる。下の表は当サイトの割り当てで、行の番号は後の節の基準の番号である。
| 役 | 気にしていること | 主に練習する基準の行 |
|---|---|---|
| 経営側(代表) | 費用、納期、誰が判断するか | 行 1・2・3・10 |
| 現場(ベテランの造形担当) | 責任の所在、評価、仕事の変わり方 | 行 6・7・8・9・13・14 |
| 事務 | カメラの映像の扱い、記録、責任の割り当て | 行 4・5・11・12 |
役の指示は次の形でよい。相手に結論を決めさせず、質問か反論を 1 つずつ返させるのがこの指示の要点である。
あなたは小さな 3Dプリント工房の代表である。費用と納期を気にしている。
導入担当の私が、造形の失敗らしい様子を見つけて人に知らせる造形監視 AI の導入を説得する。
あなたは賛成も反対も決めず、代表の立場で質問か反論を一つずつ返す。
数字は私が出したものだけを使い、自分で数字を足さない。
雇用や処遇の約束はしない。法律の判断はしない。
私が「終わり」と書いたら、説得で触れなかった点を三つ挙げる。
雇用の約束と法律の判断を指示で禁じたのは、AI の役の発言を事実のように受け取らないためである。カメラに人が映る場合の個人情報の扱いと、業務の変更の労務の扱いは、AI の役に答えさせず専門家に確かめる。
ステップ 3: 説得の計画を自分で書く
会話で出た質問と反論を踏まえ、説得の計画を自分の言葉で書く。ここが練習の本体なので、計画の文を AI に書かせない。採点に使うモデルに書かせると、自分の出力を高く見る偏りの報告もあるので、採点の面でも避けたい。基準の 1 行に 1 文を対応させて書くと、後で抜けを探しやすい。
ステップ 4: 別のセッションで採点させる
演習の会話を引き継がない新しいセッションで、基準と計画の文だけを渡す。出力は行ごとの 0 か 1 と、根拠の抜き書きにする。採点の依頼文は後の節に全文を載せる。
ステップ 5: 抜き書きを読み、計画を直す
点を見る前に、抜き書きがその行の条件を本当に満たしているかを読む。0 になった行は試験ガイドの語と AWS の資料に戻り、足りない 1 文を書き足す。別の役でステップ 2 からやり直すと、同じ計画が別の立場からどう読まれるかを確かめられる。
公式の Meeting Simulator について
AWS にも、AI の登場人物を相手に会議を練習する AWS Skill Builder Meeting Simulator がある。AWS の説明では、経営層から技術者までの役を相手に、音声か文字で会議の場面を練習し、すぐに講評が返る。2025 年 11 月に登場し、AIB-C01 の認定ページは試験対策の手順の中で「Continue practicing with Meeting Simulator.」と名前を挙げる。サブスクリプションで全部の体験が使え、無料アカウントは多くの体験に制限付きで入れると AWS は書く。
ただし、Skill Builder は、ログインせずに読める説明ページまでは確かめた。Meeting Simulator を含む公式の教材そのものは開いていない。その説明ページでは、AIB-C01 の項目は Domain 2 と Domain 4 の 2 件で、どちらも Subscription Needed の表示があり、言語は英語のみだった(2026 年 11 月 7 日時点)。無料アカウントで何が見られるかは確かめられなかった。上の手順はこの製品の代わりとして書いたものではない。使うなら Immersive learning のページ と 認定ページ を確かめてほしい。
役割の演習の相手役は、Claude のチャットでも務まる。Claude の使い方を手順から押さえるなら、次の本が手元にあると早い。
採点の基準 14 行と答案 31 個 — 正解は答案の作り方から決める

本番に記述の答案は無いので、次の 14 行は AWS の基準ではない。スキル 4.3.1〜4.3.6 の語をもとに当サイトが作った練習用の基準である。各行を 0 か 1 で判定し、合計は 14 点満点とした。
| 行 | 項目 | 満たすとみなす条件 | スキル |
|---|---|---|---|
| 1 | 経営側の支援者 | 支援する経営側の人(工房なら代表)を名指しし、出すもの(予算・時間・判断のどれか)を書いている。「代表の理解を得る」だけは 0 | 4.3.1 |
| 2 | 責任者どうしの足並み | 経営側と現場の責任者が、目的か優先順位をそろえる場(いつ・誰と)を書いている | 4.3.1 |
| 3 | 推進役の特定と支え | 推進役を名指しし、その人に与えるもの(時間・権限)を書いている。「推進役を置く」だけは 0 | 4.3.1 |
| 4 | 立場の違う人で組むチーム | 事業・技術・法務やコンプライアンスのうち 3 つ以上の立場と、誰が担うかを書いている。工房では兼任でよいが、兼任と書いている | 4.3.2 |
| 5 | 責任の割り当て | 決める事項(判定の見直し・設定の変更など)ごとに責任者を書いている。「全員で責任を持つ」は 0 | 4.3.2 |
| 6 | 導入の時期の説明 | いつ何が起きるかを、日付か期間で現場に伝えると書いている | 4.3.3 |
| 7 | 期待する成果の説明 | 何がどの程度良くなると見込むかを現場に伝えると書いている(数でも定性でもよい) | 4.3.3 |
| 8 | 職務への影響の説明 | 誰の仕事のどこが変わり、どこが変わらないかを伝えると書いている | 4.3.3 |
| 9 | 文化の壁の特定 | リスク回避・変化への抵抗・失敗への恐れのどれか(同じ意味の語でよい)を、工房の具体的な場面で文として挙げている | 4.3.4 |
| 10 | 経営側が取る行動 | 経営側が主語の具体的な行動(評価の扱い・時間の確保など)を書いている。現場に「慣れてもらう」だけは 0 | 4.3.4 |
| 11 | 学ぶ機会の手段 | 試行(POC)・ハッカソン・研修のどれか 1 つ以上を、誰が・いつまでにで書いている | 4.3.5 |
| 12 | 責任ある AI の研修 | 責任ある AI(AI の誤り・データの扱いなど)を学ぶ場を、行 11 とは別に書いている | 4.3.5 |
| 13 | 手作業から監督への移行 | 今の手作業(例: 造形の見回り)が、AI の判定を人が確かめる仕事へどう移るかを書いている | 4.3.6 |
| 14 | 人の強みと AI の能力の分担 | 人に残す判断(批判的思考・共感・創造性のどれか)と AI に任せることを、対にして書いている | 4.3.6 |
14 行のうち、スキルの文の本文に由来する行が 6 行、本文と例示の両方が 4 行、例示だけが 4 行である。例示とは原文の for example の中の語で、これを行にしたのは当サイトの判断である。説得力や熱意を 1〜10 点で付ける行は作らなかった。正解が決まらないからだ。法令に沿っているかを問う行も、法的な判断になるので入れていない。
答案は 5 種類で、合計 31 個
正解は AI に決めさせず、答案の作り方から決めた。答案は Claude Opus 5.5 が書き、採点に使うモデルには書かせていない。
| 記号 | 答案 | 作り方 | 作り方から決めた正解 |
|---|---|---|---|
| G | 良い答案 | 行ごとに 1 文ずつ、14 文を決まった順に並べる | 14 点 |
| M01〜M14 | 項目を抜いた答案 | G から行 k の文だけを消す | 行 k が 0、残りが 1 で 13 点 |
| L01〜L14 | 長さをそろえて入れ替えた答案 | 行 k の文を、同じくらいの字数の無関係な文に置き換える | M と同じ |
| N | 無関係な答案(陰性対照) | ノズルの清掃など、説得と関係のない工房の文を G と同じくらいの字数で書く | 0 点 |
| W | 語だけの答案 | 試験ガイドの語を並べ、誰が・いつ・何をを書かない | 0 点 |
L を足したのは、M が短くなるからである。点が下がったときに、項目が無いせいか短いせいかを分けるために、長さをそろえた答案を用意した。W は、基準の語が答案に入っていれば点が付くかを見るためのもので、試験ガイドの語を並べた 1 段落である。わざと壊したものを見つけられるかを確かめる陰性対照の考え方は、ADK の評価セットでエージェントを手元で採点する — デプロイ先の選び方は公式資料で整理する(2026-10-22 公開) と同じである。
良い答案 G の 14 文
G の 14 文を上から順に載せる。番号は基準の行に対応する。金額・時間・日付はすべて架空の工房の仮定である。
- 代表が支援者になり、今期の予算から 30 万円を出すと決める。
- 毎月第一月曜に代表と現場主任が 30 分集まり、今月の優先順位を一つにそろえる。
- 造形担当の一人を推進役に指名し、週に 4 時間の作業時間と、設定を変える権限を渡す。
- 事業は営業担当、技術は造形担当、法務とコンプライアンスは事務担当が兼任し、3 つの立場の 3 人で組む。
- 判定のしきい値の見直しは造形担当、映像の保存期間の変更は事務担当が最終的に決める。
- 現場には、12 月の 1 か月は試行で、1 月 15 日から全台で動かすと伝える。
- 現場には、失敗に朝まで気づかない回数を半分にするのが狙いだと伝える。
- 現場には、夜の当番はなくなるが、段取りと仕上げの仕事は今のまま変わらないと伝える。
- ベテランの造形担当は、機械に止められて納期に遅れたら自分の責任になると恐れ、使いたがらない。
- 代表は、機械が止めたために遅れた納期を担当者の評価に入れないと、全員の前で宣言する。
- 造形担当が 12 月 20 日までに 2 台だけで試行を行い、結果を全員に見せる。
- 1 月の前半に 1 時間の研修を開き、AI の誤判定の例とカメラの映像の扱いを全員で学ぶ。
- 今は人が 2 時間おきに見回っているが、これからは AI が止めた機械だけを人が確かめて再開を決める。
- 傷の見分けは AI に任せ、客の事情を汲んで作り直すかどうかを決める判断は人に残す。
文 9・10・13 は AI が機械を止める形で書いたが、これは採点のために作った架空の文で、その構成を勧めるものではない。実際の計画なら「AI が知らせた機械だけを人が確かめる」の形に置き換える。止める仕事はプリンター自身の安全機能が担い、AI の判定は人に知らせる補助に置く、というのが 造形中のプリンターの状態を AI に読ませる — 温度・進捗・エラーの JSON から止めるかを判定する(2026-10-15 公開) の立場である。どこを人に回すかの考え方は 3Dプリントの監視のしきい値を材料費で決める — 確率のどこで止め、どこを人に回すか(2026-10-17 公開) に書いた。文 8 も架空の工房の仮定で、雇用の約束の例ではない。
3 つの条件で繰り返し採点させた

実行は 2026 年 11 月 7 日である。採点には基準の 14 行と答案だけを渡し、答案の種類を示す語は渡していない。行の並びは全回で同じにして、1 回ごとに新しいセッションで採点させた。
| 条件 | 呼び方 | 温度と seed | 回数 |
|---|---|---|---|
claude -p | Claude Code 2.1.319、--model sonnet、ツールと MCP なし。解決されたモデルは claude-sonnet-5-5(Claude Sonnet 5.5)。思考の設定と --effort は指定していない(Claude Code の文書によると、Sonnet 5.5 では思考を切る設定が効かない) | 指定の項目が見当たらない | G・N・W は各 10 回、M・L は各 5 回で計 170 回 |
| 配布の設定 | Ollama 0.40.15 の gemma4:12b(量子化 Q4_K_M)、REST API、think: false | 指定しない。配布の params の temperature は 1 | 同じ割り当てで計 170 回 |
| 温度 0・seed 固定 | 同じモデルと呼び方 | options に temperature 0 と seed 20261116 を指定 | 全答案 3 回で計 93 回 |
JSON が壊れて集計できなかった回は、どの条件でも 0 回だった。claude -p が報告した費用の見積もり(total_cost_usd)は、170 回の合計で 1.95 USD である。文書はこの値を手元の見積もり(client-side estimates)と書いており、請求額ではない。採点の依頼文は次のとおりで、システムプロンプトには「あなたは採点者である。指示された形式だけで答える。」と書いた。
小さな 3Dプリント工房に造形監視 AI を導入するために、導入担当が書いた社内の説得の計画を採点する。
次の 14 行の基準ごとに、答案が条件を満たすかを 1 か 0 で判定する。1 のときは答案から根拠の文をそのまま抜き書きする。0 のときは根拠を空にする。
基準:
(14 行の項目と条件)
答案:
(答案の本文)
次の JSON だけを返す。
{"rows": [{"row": 1, "score": 0, "evidence": ""}]}
rows には行 1 から行 14 まで 14 個を順に入れる。
温度の扱いは条件ごとに事情が違う。claude -p は、温度を指定する項目が CLI リファレンスと手元の --help に見当たらない。今回のモデルの Claude Sonnet 5.5 は、temperature・top_p・top_k を指定すると API が 400 エラーを返すとモデルのページが書く。移行の文書によると、指定しない要求は既定の temperature 1.0 で動く。しかしこれは Messages API の話で、Claude Code が内部で何を送るかは公式の文書に見つからなかった。
gemma4:12b のほうは手元で設定を変えられる。配布の params の temperature は 1 で、think は既定で有効なので、思考なしは think: false を明示した。seed について Ollama の文書は、値を指定すると同じ入力に同じ文を返す設定だと説明する。なお、claude -p と gemma4:12b の間には、モデルだけでなく動かし方と設定の違いも重なっている。とくに claude -p の Sonnet 5.5 は思考を切れず、gemma4:12b は think: false で動かした。条件の差をモデルの差とだけ読むことはできない。
本記事の採点は Claude Code の claude -p で回した。Claude Code を手を動かしながら覚えるなら、次の入門書がある。
結果 1 — 繰り返しのぶれは小さかった

全答案の点を条件ごとに並べる。括弧の中は回数で、M と L は 14 個の答案の合計である。
| 答案(正解の点) | claude -p | 配布の設定 | 温度 0・seed 固定 |
|---|---|---|---|
| G 良い答案(14 点) | 14 点(10 回) | 14 点(10 回) | 14 点(3 回) |
| N 無関係な答案(0 点) | 0 点(10 回) | 0 点(10 回) | 0 点(3 回) |
| W 語だけの答案(0 点) | 0 点(10 回) | 0〜3 点、平均 1.7 点(10 回) | 3 点(3 回) |
| M 項目を抜いた答案(13 点) | 平均 13.13 点、13〜14 点(70 回) | 平均 13 点、12〜14 点(70 回) | 平均 13 点、すべて 13 点(42 回) |
| L 入れ替えた答案(13 点) | 平均 13.1 点、13〜14 点(70 回) | 平均 12.96 点、12〜13 点(70 回) | 平均 12.93 点、12〜13 点(42 回) |
| 全回で同じ判定だった組 | 430/434 | 428/434 | 434/434 |
組の数は、答案 31 個×行 14 行=434 である。陰性対照の N は全条件の全回で 0 点、G で 1 のはずの行を 0 にした回も全条件で 0 回だった。同じ答案の点の幅は、M と L では claude -p と配布の設定が最大 1 点、温度 0・seed 固定が 0 点で、W は配布の設定だけが 3 点あった。
回によって判定が変わった組は、claude -p が 4 組(M10 の行 10、L10 の行 10、M11 の行 11、M14 の行 14)、配布の設定が 6 組(W の行 12・13・14、M10 の行 10、M11 の行 11、L11 の行 12)である。合わせて 10 組はすべて行 10〜14 に集まり、後で見るように、基準の条件が重なる行と語だけの答案がほとんどを占める。
この一致の割合は、そのまま良さの尺度にはならない。第一に、偶然の一致を引いていない。Rating Roulette も、正解率のような指標は Krippendorff’s α より一致を高く見せると書く。第二に、回数が条件で違う。claude -p と配布の設定の 5〜10 回に対し、温度 0・seed 固定は 3 回なので、判定が変わる機会がそもそも少ない。第三に、答案は 1 文 1 行の整った形で、判定しやすいように作ってある。
結果 2 — 語だけの答案で、ぶれが消えることと正しいことが分かれた

本記事の中心はこの答案である。語だけの答案 W は、基準の語を並べただけで、誰が・いつ・何をするかが無い。作り方から決めた正解は 14 行すべて 0 点である。
| 条件 | 回数 | 合計点 | 1 が付いた行 |
|---|---|---|---|
claude -p | 10 回 | すべて 0 点 | なし |
| 配布の設定 | 10 回 | 0 点が 4 回、2 点が 1 回、3 点が 5 回 | 行 12・13・14 |
| 温度 0・seed 固定 | 3 回 | すべて 3 点 | 行 12・13・14 |
点が付いた回の抜き書きは、「責任ある AI のトレーニングを行う」「人による監督へ移行し」「人の強みと AI の能力のバランスを取る」だった。語そのものが根拠として返っている。配布の設定では同じ答案が 0 点にも 3 点にもなり、温度 0・seed 固定ではそのぶれが消えて 3 点にそろった。31 答案のうち 30 答案で、3 回の返答は文字列まで同じだった。残りの 1 答案(L01)も判定は同じである。
ここから読めるのは、ぶれが消えることと正しいことは別だということだ。温度 0・seed 固定の 3 回の一致は、正解 0 点の答案の 3 点が再現されたことを示しているにすぎない。この実行では、むしろ配布の設定のほうが、点が割れたことで「この答案の判定は怪しい」と気づく手がかりを残していた。なお、claude -p には温度を指定する項目が見当たらず、今回のモデルは API でも温度を指定すると 400 エラーを返すので、同じ操作はそもそも選べない。
ただし、この結果にも基準の側の事情がある。行 1・3・5・10 には、言葉だけの書き方を 0 にする断りを書いたが、点が付いた行 12〜14 には書いていない。この 3 行の条件は「誰が・いつ」も求めていない。とくに行 12 は「学ぶ場を、行 11 とは別に書いている」としか書いておらず、「責任ある AI のトレーニングを行う」を 1 と読む余地が基準の文に残る。厳しく見て誤りと言い切れるのは行 13・14 の 2 点で、行 12 の 1 点は基準の甘さでもある。
また、claude -p の 0 点を見て、モデルの優劣を語ることもできない。W は 1 個の答案で、条件の間にはモデル以外の違いも重なっている。とくに 0 点と 3 点の差には、思考を切れない claude -p と think: false の gemma4:12b の差が重なる。この実行で言えるのは、同じ基準と同じ答案で、判定の分かれ方が条件によって違ったというところまでである。
結果 3 — 見落としの多くは基準の行の重なりで説明がついた

抜いた行に 1 を付けた回を、見落としと呼ぶ。行ごとに、抜いた行を正しく 0 にした回数を並べる。
| 行 | claude -p(M・L) | 配布の設定(M・L) | 温度 0・seed 固定(M・L) |
|---|---|---|---|
| 1 | 0/5・0/5 | 5/5・5/5 | 3/3・3/3 |
| 10 | 3/5・3/5 | 4/5・5/5 | 3/3・3/3 |
| 11 | 4/5・5/5 | 1/5・5/5 | 0/3・3/3 |
| 14 | 4/5・5/5 | 5/5・5/5 | 3/3・3/3 |
| 他の 10 行 | すべて 5/5 | すべて 5/5 | すべて 3/3 |
見落としは claude -p が 16 回、配布の設定が 5 回、温度 0・seed 固定が 3 回で、計 24 回ある。結果のファイルを読むと、24 回すべてが、別の行の文を根拠に点を付けていた。
| 条件 | 答案 | 回数 | 根拠に抜き書きした文 |
|---|---|---|---|
claude -p | M01・L01 | 各 5 回(全回) | 行 10 の文(代表が評価に入れないと宣言する) |
claude -p | M10・L10 | 各 2 回 | 行 1 の文(代表が予算を出すと決める) |
claude -p | M11 | 1 回 | 行 6 の文(12 月の 1 か月は試行) |
claude -p | M14 | 1 回 | 行 13 の文(AI が止めた機械だけを人が確かめて再開を決める) |
| 配布の設定 | M11 | 4 回 | 行 12 の文(1 時間の研修) |
| 配布の設定 | M10 | 1 回 | 行 11 の文(2 台だけで試行) |
| 温度 0・seed 固定 | M11 | 3 回(全回) | 行 12 の文(1 時間の研修) |
行 1 と行 10、行 11 と行 12 の条件が重なっていた
原因の多くは、基準を作った当サイトの側にあると読める。行 1 の条件は「経営側の人を名指しし、予算・時間・判断のどれかを出す」である。行 10 の文の「代表は…全員の前で宣言する」は、代表を名指しし、判断を出している。基準の文だけを読めば行 1 を満たすと読め、claude -p はこの文を根拠に 1 を付けた。反対に、行 1 の文の「代表が…30 万円を出すと決める」は、行 10 の「経営側が主語の具体的な行動」にも読める。
行 11 と行 12 も同じである。行 11 の条件には手段の例として「研修」が入っており、行 12 の文は研修を書いている。gemma4:12b はこの文を根拠に行 11 へ 1 を付けた。つまり行 1・行 10・行 11 を抜いた答案は、正解の 0 が基準の文だけからは決まらない。答案の作り方の都合で 0 と決めただけである。行ごとの見つかりやすさも、この基準と 1 文の書き方に依存する。
重なりで説明がつく見落としを数えると、claude -p が行 1 の 10 回と行 10 の 4 回で 14 回、配布の設定が行 11 の 4 回、温度 0・seed 固定が行 11 の 3 回である。14+4+3=21 回で、24 回のうち残りは 3 回だ。しかも claude -p の行 1 の 10 回と、温度 0・seed 固定の行 11 の 3 回は、全回で同じ判定だった。これらの見落としは採点のぶれではないので、同じ条件で回数を増やしても見つかるとは言えない。
誤った減点と、合計点が合っていても行が違う回
見落としとは別に、1 のはずの行を 0 にした誤った減点もある。G では全条件で 0 回だったが、結果のファイルを数えると、M11 と L11 の行 12 では起きていた。配布の設定は M11 の 5 回と L11 の 3 回で計 8 回、温度 0・seed 固定は M11 の 3 回と L11 の 3 回で計 6 回で、claude -p は 0 回である。この 2 条件で L の平均が 13 点を下回っているのはこのためだ。
これも基準の側から読むと説明がつく。行 12 の条件に「行 11 とは別に」と書いた以上、行 11 の文が無い答案で行 12 をどう読むかは、基準の文だけでは決まらない。この実行では、行が互いを前提にした基準が、片方を抜いた答案で崩れたと読める。
さらに読みにくいのは M11 である。配布の設定の 4 回と温度 0・seed 固定の 3 回では、行 11 に 1、行 12 に 0 が付いた。合計は正解と同じ 13 点で、1 を付けた行だけが入れ替わっている。合計点だけを見ていたら、この採点の誤りには気づかない。
長さの影響は、この実行では見えなかった。M と L の平均は claude -p が 13.13 点と 13.1 点、配布の設定が 13 点と 12.96 点、温度 0・seed 固定が 13 点と 12.93 点で、答案が短いから点が下がったという形にはなっていない。一方で gemma4:12b の行 11 は、文を消した M では見落としが多く、無関係な文に入れ替えた L では全回 0 にした。この差の理由は確かめていない。
根拠の抜き書きが答案に実在するかは機械で確かめられる

1 を付けた行には根拠の抜き書きを必須にしたので、その文字列が答案に実在するかはスクリプトで確かめられる。答案に無かった抜き書きの数は、1 を付けた行の数を分母にすると次のとおりである。
| 条件 | 答案に無かった抜き書き |
|---|---|
claude -p | 0/1976 |
| 配布の設定 | 4/1974 |
| 温度 0・seed 固定 | 2/1140 |
確かめ方は短いコードで足りる。下の関数は、1 を付けた行のうち抜き書きが答案に無い行の番号を返す。手元の結果のファイルに掛けて、上の表と同じ数になることを確かめた。
def missing_quotes(answer: str, result: dict) -> list[int]:
return [r["row"] for r in result["rows"]
if r["score"] == 1 and r["evidence"] not in answer]
見つかった 6 件は、すべて答案 L01 の行 2 の抜き書きで、答案の「優先順位」が「優先位」と 1 文字落ちていた。作り話の文ではなく写し間違いだが、機械の検査はこの 1 文字まで拾う。温度 0・seed 固定で返答の文字列が変わった 1 答案もこの L01 で、Ollama の文書の説明どおりにならない答案が 1 つあったことになる。原因は確かめていない。
一方で、この検査が通ることと、根拠が正しいことは別である。行 1 を見落とした 10 回の抜き書きは答案に実在し、検査は通っている。機械で確かめられるのは文字列の有無までで、その文が行の条件を満たすかどうかは人が読むしかない。したがって順序は、機械で実在を確かめ、残った抜き書きを読む、の 2 段になる。
公開されている報告と照らす — 位置・長さ・繰り返しは別の測定である

AI の採点の偏りには、公開された報告がいくつかある。ただし、以下の数字は測定の形もモデルも本記事と違うので、本記事の値と並べて比べることはできない。
Zheng らの論文(NeurIPS 2023 Datasets and Benchmarks Track)は、位置・長さ・自分の出力への偏りを、2 つの答案を比べる形で調べた。2023 年のモデルで、順序を入れ替えても判定が同じだった割合は、既定のプロンプトで GPT-4 が 65.0%、GPT-3.5 が 46.2%、Claude-v1 が 23.8% である。著者は、答えが似ていて人にも見分けにくい場合があると断っている。同じ内容を言い換えて足す攻撃で採点者が誤った割合(論文の語では failure rate)は、23 件で Claude-v1 と GPT-3.5 が 91.3%、GPT-4 が 8.7% だった。
自分の出力への偏りについては、勝率の差は見えたが、データが少なく差も小さいので判断できないと著者が書く。この論文の結論も添えておく。GPT-4 の判定は人と 80% を超えて一致し、人どうしの一致と同じ水準だった。つまり、この論文は AI の採点が使えないと言っているわけではない。なお、同じ答案を繰り返し採点したときのばらつきの測定は、この論文には見つからなかった。
自分の出力については、Panickssery らの論文(NeurIPS 2024)の要旨が、人が同じ品質とみなす答案でも LLM の評価者が自分の出力を高く採点する偏りを扱い、自分の出力を見分ける力と偏りの強さに線形の相関を見つけたと書く。順序については、Wang らの論文(ACL 2024)が、候補の並びを変えるだけで順位が動くと報告した。どちらも本記事とは別の測定である。
繰り返しのばらつきの出典は、Rating Roulette(Haldar・Hockenmaier、Findings of EMNLP 2025)である。公開の重みの 3 モデル(Llama-3.1-70B-Instruct、DeepSeek-R1-Distill-Qwen、Qwen3-32B)を同じ設定で 3 回動かし、自分自身との一致を測った。SummaC の 2 値の判定での Krippendorff’s α は、順に 0.3263、0.6278、0.7883 だった(論文は 0.8 を一般に受け入れられた基準と呼ぶが、本記事はこれを合否の線にしない)。MT-Bench の比較の形では、Qwen 3 が 3 回とも同じ判定だったのは 61.3% だった。論文は、信頼できるかどうかは評価の指標によって大きく変わると書く。
サンプリングを切る話もここにある。Rating Roulette はサンプリングなしで動かすと性能が少し落ちると報告し、SummaC の人の判定に対する Qwen 3 の balanced accuracy は 1 回の平均 79.4、多数決 80.6、サンプリングなし 79.2 だった。差は小さいが、一致を上げることと精度を上げることは同じではない。多数決が人との一致を上げたという報告もあるが、本記事の実測では多数決を試していない。
Yagubyan の「The Coin Flip Judge?」は、著者 1 名の公開論文で、査読の記載が無く、判定に使ったモデルは OpenAI の 2 種だけである。読んだのは要旨だけだ。要旨によると、比べる形の判定は同じ条件の繰り返しで平均 13.6% 入れ替わり、決定的な復号はばらつきを減らすが無くしはしない。本記事の温度 0・seed 固定で判定が 434/434 そろったのは、3 回の範囲の話である。
LLM に採点させるときの偏りは、LLM アプリの評価をどう設計するかの問題でもある。評価を先に決めて改善を回す考え方は、次の本が詳しい。
この実測で言えないこと

読み違えやすい点を並べておく。
- 答案は Claude Opus 5.5 が書き、
claude -pの Claude Sonnet 5.5 が採点した。別のモデルだが同じ系統で、自分の系統の文を高く見る影響が無いとは言えない - 答案は 1 文 1 行の整った形で、実際の文章より採点しやすい。G が毎回 14 点、N が毎回 0 点だった結果を、長い文章の採点に広げることはできない
- 題材は 1 つ、基準も 1 つ、語だけの答案も 1 個である。行 1・行 10・行 11 を抜いた答案は、正解が基準の文からは決まらない
- これは記述の採点で、本番の選択式とは別物である。点は合否の目安にならない
- 役割の演習の手順は動かしておらず、学習効果も測っていない
- 回数は
claude -pと配布の設定が 5〜10 回、温度 0・seed 固定が 3 回で、そろっていない。一致の割合は偶然の一致を引いていない claude -pと gemma4:12b の差は、モデルの優劣としては読めない。AI の採点一般の性能にも広げられない- 人の採点者との照合はしていない。正解は作り方から決めた値である
- 次の節に書く基準の直し方は試していない。見落としの原因を基準の重なりとする説明も、抜き書きの文から読んだもので、基準を直して採点し直して確かめたものではない
AIB-C01 の変革を AI と練習するときの採点の頼み方

実測の結果から、AI に採点を頼むなら次の 5 点を勧める。いずれもこの 1 回の実行から引いた提案で、効果を確かめたものではない。
- 行どうしの条件を重ねない。1 つの文が 2 つの行を満たせる基準では、抜いた項目の 0 が決まらない。当サイトの基準を直すなら、行 1 から「判断」を外して予算か時間に絞り、行 10 は現場の懸念に答える行動に絞る。行 11 からは「研修」を外し、行 12 の「行 11 とは別に」は消す
- すべての行に「語だけは 0」の断りを書く。誰が・いつ・何をのどれを求めるかを行ごとに書く。語だけの答案で点が付いた 3 行には、この断りが無かった
- 語だけの答案を試しに混ぜる。無関係な答案は全回 0 点で、これだけでは差が見えなかった。基準の語を並べた答案を 1 個作って先に採点させると、基準の甘い行が分かる
- 根拠の抜き書きを出させて読む。機械で実在を確かめたうえで、抜き書きがその行の条件を満たすかを人が読む。別の行の文が根拠に出てきたら、基準の重なりを疑う
- 合計点ではなく行で見て、同じ答案を数回採点させる。合計が合っていても行が入れ替わる回があり、判定が割れた行は基準を見直す候補になる。ただし全回で同じだった見落としは、回数を増やしても見つかるとは限らない
設定で片付けようとしないことも大事である。claude -p には温度の指定の項目が見当たらず、手元のモデルで温度を 0 にしても、この実行では正解 0 点の答案の 3 点がそろっただけだった。先に直すのは設定ではなく基準のほうだ。
同じ考え方は説得以外の練習にも使える。公式の文書から採点の表を作り、AI の案を採点する形は、エージェントの権限とガバナンスを設計問題で鍛える — AI に設計案を出させ、公式のベストプラクティスで採点する(2026-10-24 公開) で試した。自分の案も同じ表で採点できる。そちらの判定は 1 回で、繰り返しのぶれは測っていない。
まとめ — 同じ点が返っても、行と根拠を読む

AIB-C01 の変革の分野は、経営層の支援・現場の不安・文化の壁といった、人を動かす判断を問う。本番は選択式だが、AI を相手役にして説得の計画を書く練習は手元で組める。AI に渡すのは公開の試験ガイドと自作の題材だけにして、計画の文は自分で書く。
採点を AI に任せるなら、この実行の結果は次のように読める。繰り返しのぶれは小さく、全回で同じ判定だった組は 434 組のうち claude -p が 430、配布の設定が 428、温度 0・seed 固定が 434 だった。しかし温度 0・seed 固定の 434 組の中には、正解 0 点の語だけの答案に付いた 3 点が含まれている。3 条件を合わせた見落とし 24 回のうち 21 回は基準の行の重なりで説明がついた。ぶれより基準の作りの問題として読める。
だから、同じ点が返ることに安心せず、行ごとの判定と根拠の抜き書きを読む。まず語だけの答案を自分で 1 個作り、手元の基準を採点させてみるとよい。点が付いた行が、直すべき基準の行である。
参照
- AWS「AWS Certified AI Business Strategist (AIB-C01) Exam Guide」
- AWS 試験ガイド「Content Domain 4」(英語)
- AWS 試験ガイド「コンテンツ分野 4: ビジネス準備状況、リーダーシップ、AI トランスフォーメーション」(日本語版)
- AWS 試験ガイド「Technologies and concepts that might appear on the exam」
- AWS「AWS Certified AI Business Strategist」認定ページ
- AWS「An Overview of the AWS Cloud Adoption Framework」
- 同「Your cloud transformation journey」
- 同「People perspective: culture and change」
- AWS「AWS Cloud Adoption Framework for Artificial Intelligence, Machine Learning, and Generative AI」(PDF、過去の資料)
- AWS Prescriptive Guidance「Levels in the generative AI maturity model」
- 同 level 1: Envision
- 同 Document history
- AWS「Immersive learning」(Meeting Simulator の説明)
- About Amazon の発表記事(Meeting Simulator の登場)
- Domain 2 Practice: Meeting Simulator(AIB-C01)
- Domain 4 Practice: Meeting Simulator(AIB-C01)
- Zheng ほか「Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena」arXiv
- 同 NeurIPS 2023 の掲載ページ
- Haldar・Hockenmaier「Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks」(Findings of EMNLP 2025)
- 同 arXiv の HTML 版
- Yagubyan「The Coin Flip Judge? Reliability and Bias in LLM-as-a-Judge Evaluation」arXiv
- Panickssery ほか「LLM Evaluators Recognize and Favor Their Own Generations」arXiv
- 同 NeurIPS 2024 の掲載ページ
- Wang ほか「Large Language Models are not Fair Evaluators」(ACL 2024)
- Ollama「Modelfile Reference」
- Ollama「Thinking」
- ollama.com の gemma4 の params
- Claude Code「CLI reference」
- Claude Code「Model configuration」
- Claude Agent SDK「Track cost and usage」
- Claude Platform「Claude Sonnet 5.5」のモデルのページ
- Claude Platform「Migrating to API version 2026-10-21」





