知識がなくても始められる、AIと共にある豊かな毎日。
AI 学習・資格

AI に問題を作らせて、公式資料で裏取りする — G検定の大項目ごとに生成した問題の誤り率を実測した

ゲンキ

※本記事にはアフィリエイト広告(PR)が含まれます。

公式例題は 20 問しかない。問題集を 1 冊買っても、自分が弱い大項目の問題は数問で尽きる。そこで AI に「G検定の問題を作って」と頼むと、それらしい四択が何問でも出てくる。しかし、その正答は本当に正しいのか。解説は一次資料と合っているのか。分からないまま解いて、誤った正答を覚えてしまえば、問題を解いた時間が逆に効く。

本記事は、この不安に数字で答える。当サイトは Claude に G検定の 10 大項目すべてについて問題を作らせ、シラバスを渡した場合と渡さない場合で合計 80 問を生成し、全問を公式例題・シラバス・法令などの一次資料と照合して誤りを数えた。結果を先に言えば、シラバスを渡した 50 問で指摘が要ったのは 1 問、渡さない 30 問では 12 問だった。誤りは法律とガイドラインの固有名に集中していた。この差がどこから来るのか、通った問題をどう使うか、裏取りをどう手順に組み込むかを書く。

忍者AdMax

作らせる前に決めること — 形式・単位・出力の形

作らせる前に決めること — 形式・単位・出力の形

AI に問題を作らせる前に、三つを決めておく。

第一は形式だ。G検定の公式例題 20 問は、「最も適切な選択肢を 1 つ選べ」型(12 問。期待値を求める計算問題も含む)、その裏返しの「最も不適切な選択肢を 1 つ選べ」型(4 問)、「空欄に最もよく当てはまる選択肢を 1 つ選べ」型(3 問)、語句の組み合わせを選ぶ型(1 問)の四つで構成され、いずれも 4 択である。不適切型は法律・倫理分野の例題 4 問すべてで使われている。この四型を指示に書けば、生成される問題の型が本番に揃う。当サイトの実測では不適切型を指示に入れ忘れており、法律・倫理の生成問題はすべて「最も適切」型になった。これは実測の限界として後述する。

第二は単位だ。「G検定の問題」とまとめて頼むと、AI は得意な分野に偏る。大項目ごとに頼み、さらにシラバスの中項目とキーワードを渡すと、範囲が固定される。前の工程で作った知識ベースがここで効く。シラバスと公式例題を AI に取り込ませて教材にする(2026-09-29 公開)で述べたとおり、AI は試験範囲を自分では知らない。

第三は出力の形だ。問題文・選択肢・正答・一文解説・中心となる用語・該当する中項目名を、決まった項目名で出させる。後で裏取りするときに、用語がシラバスに存在するか、中項目名が実在するかを機械的に確かめられる。当サイトは JSON で出させたが、表でもよい。

プロンプト — シラバスを渡す版

プロンプト — シラバスを渡す版

当サイトが使った指示の要点を載せる。実際にはシステムプロンプトで役割と「JSON 配列だけを出力」を指定し、出力の項目名(問題文・選択肢・正答・解説・用語・中項目)をスキーマで固定したが、手で使うなら次の文面で足りる。

あなたは G検定の学習を手伝うアシスタントです。
大項目「機械学習の概要」の練習問題を 5 問作ってください。
出題形式は JDLA 公式例題に合わせる: 四択(A〜D)、
「最も適切な選択肢を1つ選べ」型、「最も不適切な選択肢を1つ選べ」型、
空欄補充型、語句の組み合わせ型。
出題範囲は次のシラバス(目標とキーワード)に厳密に限定してください。
キーワードに無い用語を正答にしないでください。
----- シラバス -----
(ここに当該大項目の目標とキーワードを貼る)
----- ここまで -----
各問に、問題文・選択肢 A〜D・正答・一文の解説・中心となる用語・該当する中項目名を付けてください。

「キーワードに無い用語を正答にしない」の一文が、範囲の固定を効かせる。シラバスを渡さない場合は、この一文を書いても AI には照合する相手が無いので意味を持たない。

実測の設計 — 80 問を 4 つの観点で裏取りする

実測の設計 — 80 問を 4 つの観点で裏取りする

条件は二つ。A ではシラバスを渡し、大項目ごとに 5 問、合計 50 問を作らせた。B では大項目名と形式だけを渡し、大項目ごとに 3 問、合計 30 問とした。モデルは claude-sonnet-5 で、ツールもプロジェクト設定も無い素の状態にした。学習者が Claude をそのまま使う状況に近づけるためだ。他社のモデルは、当サイトに API の契約が無いため比較していない。

裏取りは 4 つの観点で行った。

観点方法誤りの型
範囲中心となる用語がシラバス第1.4版のキーワードに存在するか(括弧書きと「の定義」を除いて照合)。シラバス 2024 の新規作成(2024 年 5 月)から第1.4版までの改訂で削除された語(ENIAC、第五世代コンピュータ、ChatGPT など。改訂履歴の一覧は削除例であり網羅ではない)を含まないかキーワード表に無い用語、削除語の使用
体系該当する中項目名が実在するか、大項目の割り当てが正しいか大項目の取り違え
正答正答が一次資料(シラバスの目標記述、公式例題、法令・ガイドラインの原文)と矛盾しないか。選択肢に複数の正解が無いか正答の誤り、事実・帰属の誤り
記述問題文・正答の選択肢・解説に自己矛盾や不正確な記述が無いか軽微な不正確

範囲と体系は、シラバスのキーワード表と突き合わせれば機械的に判定できる。正答と記述は、当サイトが 80 問すべてを読んで判定した。法律分野では個人情報保護法、著作権法 30 条の 4、経済産業省の「AI・データの利用に関する契約ガイドライン」、総務省の「AI 利活用ガイドライン」を参照した。

結果 — シラバスの有無で指摘は 2% と 40%

結果 — シラバスの有無で指摘は 2% と 40%
条件問数正答・事実の誤り何らかの指摘用語がキーワード表内中項目名が実在大項目の取り違え
A: シラバスあり501(2.0%)1(2.0%)50/5045/500
B: シラバスなし302(6.7%)12(40%)24/303/304

「中項目名が実在」の条件 A の 45 は、数理・統計の 5 問が中項目名ではなく目標の文(「基本的な統計情報を計算できる」など)を返したためで、大項目の割り当ては合っている。条件 B の 24 は、括弧書きや「の定義」を除いて照合した値で、残る 6 問のうち 1 問(著作権法 30 条の 4)は表記の違いで機械判定から漏れたもの、5 問はキーワード表に無い用語を主題にしたものだった。

条件 A の 50 問は、用語がすべてシラバスのキーワードにあり、大項目の割り当てもすべて合っていた。指摘が要ったのは 1 問で、正答の選択肢の文が一次資料の趣旨と食い違い、かつ自己矛盾していた(後述)。条件 B の 30 問は、中項目名が 30 問中 3 問しか実在の名前と一致しなかった。AI が自前の体系で分類していたということだ。正答や事実の誤りが 2 問、大項目の取り違えが 4 問、削除された語を選択肢に使った問題が 1 問、そのほか軽微な不正確が 2 問と、キーワード表に無い用語を主題にした問題が 4 問あった。

条件 B の 12 問を型で分けると、次のようになる。

誤りの型件数例
正答の誤り1契約ガイドラインの方式名が一次資料の用語と食い違う
事実・帰属の誤り1ガイドラインの所管省庁を取り違えた
軽微な不正確2概念の提唱者の帰属が曖昧、歴史の因果を単純化
キーワード表に無い用語を主題化4特化型・汎用人工知能、第 1 次 AI ブーム、ベイズの定理、OECD の AI 原則
大項目の取り違え4ドロップアウトと学習率を「要素技術」に、契約とバイアスを「社会実装」に
削除語の使用1ENIAC を選択肢に

合計は延べ 13 件で、12 問より 1 多い。契約ガイドラインの問題が「正答の誤り」と「大項目の取り違え」の両方に当たるためだ。「キーワード表に無い」は「出題範囲外」と同じではない。汎用人工知能や AI ブームはシラバスの目標の文に登場し、公式例題にも第 1 次・第 2 次ブームを問う問題がある。キーワード表に無いことは、用語集や弱点管理の軸から外れることを意味し、出題されないことを意味しない。

大項目別に見ると、条件 B で指摘が出たのは「人工知能とは」で 3 問、「AI の社会実装に向けて」で 3 問、「ディープラーニングの要素技術」で 2 問、そのほか「人工知能をめぐる動向」「数理・統計」「AI 倫理・AI ガバナンス」「ディープラーニングの概要」で 1 問ずつだった。「人工知能とは」の 3 問はキーワード表に無い用語(特化型・汎用人工知能、第 1 次 AI ブーム)と帰属の曖昧さで、「社会実装」の 3 問は、本来なら法律分野に置くべき契約の問題と倫理分野に置くべきバイアスの問題が 2 問紛れ込み、残る 1 問がガイドラインの所管の取り違えだった。AI は大項目の名前から連想で問題を作るので、名前が広い大項目ほど範囲がぶれる。

注意したいのは、技術分野の問題はどちらの条件でもほぼ正しかったことだ。畳み込み層、バッチ正規化、スキップ結合、word2vec、CycleGAN といった技術用語の問題は、正答も解説も一次資料と矛盾しなかった。誤りが出たのは法律・ガイドライン・歴史の固有名である。

誤りの中身 — 三つの例

誤りの中身 — 三つの例

問題文そのものは載せない。要旨だけを示す。

一つ目は条件 B の「AI の社会実装に向けて」で作られた問題で、経済産業省の「AI・データの利用に関する契約ガイドライン」が推奨する契約方式の名前を問うものだった。AI は正答を「多段階契約」とし、別の選択肢に「探索的段階型契約」を置いていた。ガイドラインが提案する方式の名称は「探索的段階型」で、契約をアセスメント・PoC・開発・追加学習の各段階に分けて順に結んでいく考え方である。「多段階契約」という名称の方式はガイドラインに存在しない。つまり、AI が誤答として置いた選択肢のほうが一次資料の名称で、正答と誤答が入れ替わっている。解説は流暢で、知らなければ気づかない。

二つ目も条件 B で、経済産業省が策定したガイドラインの名称を空欄で問い、正答を「AI 利活用ガイドライン」とする問題だった。AI 利活用ガイドラインは総務省の AI ネットワーク社会推進会議が 2019 年 8 月に公表したもので、経済産業省ではない。しかも現在は、総務省と経済産業省が共同で公表する「AI 事業者ガイドライン」(第 1.2 版、2026 年 3 月 31 日)が現行の統合版になっている。所管の誤りと、版の古さが重なった例だ。

三つ目は条件 A で唯一指摘が要った問題で、「カメラ画像利活用ガイドブック」の考え方を問うものだった。正答の選択肢の要旨は、画像を取得した後に必要に応じて利用目的やカメラ設置状況を公表・掲示する、と述べつつ、企画・設計段階からプライバシーへの配慮を組み込む、と続けていて、前半の「取得した後に」と後半の「設計段階から」が矛盾している。ガイドブックの趣旨は撮影前の告知と設計段階からの配慮であり、正答の選択肢としては前半が一次資料と食い違う。選ぶべき選択肢の方向は合っているが、正答の文そのものが一次資料と合わない以上、当サイトは「正答の誤り」に数えた。シラバスを渡しても、記述の質までは保証されない例である。

なぜ法律と固有名で誤るのか

なぜ法律と固有名で誤るのか

三つの例に共通するのは、正誤が「概念の理解」ではなく「固有名と所管と版」で決まることだ。技術用語は、定義が世界中の文章で繰り返し書かれているので、AI の知識と試験の要求が一致しやすい。一方、日本の省庁が出したガイドラインの名称や方式名は、書かれている文章の量が少なく、似た名前の文書が複数あり、改訂で統合や改称が起こる。AI はその中で「もっともらしい」名前を選び、選んだ名前を正答に据える。

シラバスを渡すと、この問題が減る理由も同じ構造にある。シラバスのキーワードには「AI・データの利用に関する契約ガイドライン」「カメラ画像利活用ガイドブック」のように正式名称が書かれている。AI はその文字列を使うので、名前の捏造が起きにくい。しかし、名前が正しくても中身の記述が不正確になることはあり、それが条件 A の 1 問だった。

したがって、法律・倫理分野の生成問題は、正答が合っているように見えても、一次資料で確認する。確認先は、個人情報保護法なら個人情報保護委員会、著作権なら文化庁、契約ガイドラインなら経済産業省のページだ。法律・倫理分野を現行制度に更新する方法は、別の記事で扱う。

裏取りの手順 — 機械で絞り、人が読む

裏取りの手順 — 機械で絞り、人が読む

80 問を人が全部読むのは重い。当サイトは、機械的な判定で絞ってから人が読む二段構えにした。

ステップ1: 機械的に弾く

生成された問題の「中心となる用語」がシラバスのキーワードにあるか、「中項目名」が実在するかを、シラバスの表と突き合わせる。表計算ソフトの検索でもできる。あわせて、削除された語(第1.4版の改訂履歴に列挙されている)が問題文や選択肢に含まれていないかを調べる。この段階で範囲外と体系のずれが見つかる。

ステップ2: 正答と選択肢を読む

残った問題について、正答が一次資料と矛盾しないか、他の選択肢にも正しいものが無いかを読む。ここで最も時間がかかるのは法律分野で、1 問につき数分を見込む。技術分野は、シラバスの目標記述と公式テキストの目次で確認できることが多い。

ステップ3: 解説を読む

解説は短いが、誤りが混じるとそのまま覚えてしまう。正答が合っていても、解説の一文が別の概念を混ぜていないかを見る。条件 B の「軽微な不正確」2 件は、この段階で見つかった。

三段を通った問題だけを「使う問題」に入れる。通らなかった問題は捨てるか、誤りを直して使う。直す場合は、直した箇所を記録しておく。その記録は弱点の記録でもある。

弱い中項目に絞って作らせる

弱い中項目に絞って作らせる

大項目ごとに 5 問作るのは最初の一巡に向くが、二巡目からは弱い中項目に絞る。前の工程の相互説明で貯めた誤りの記録があれば、そこに多く出た中項目が候補になる。当サイトの実測では、相互説明の 7 行と本記事の裏取りで出た 14 行を合わせた誤答ログ 21 行のうち、相互説明由来の「定義の取り違え」7 行は数理・統計とディープラーニングの概要に多く、裏取り由来の「大項目の取り違え」4 行は要素技術と社会実装に集中していた。

絞るときは、プロンプトのシラバス部分を当該中項目だけにする。「中項目 10 モデルの選択・評価のキーワード(正解率、適合率、再現率、F 値、混同行列、真陽性、真陰性、交差検証など)に限定して 5 問」のように書く。範囲が狭いほど、AI は同じキーワードの中で選択肢を組むことになり、混同しやすい対を突く問題が出やすくなる。逆に範囲が狭すぎると、5 問が同じ用語の言い換えになる。3〜5 個のキーワードを含む中項目単位が、経験上ちょうどよい。

生成問題は補充であって、量の土台は市販の問題集が担う。シラバス 2024 に対応した版を大項目別に解き、足りない中項目だけを AI に作らせる組み方が噛み合う。

生成問題と本番問題の距離

生成問題と本番問題の距離

生成問題で練習していると、それが本番の代わりになると錯覚しやすい。距離を測っておく。

同じなのは、四択であること、シラバスのキーワードを問うこと、41 秒で判断する練習になることだ。違うのは、難易度の分布が分からないこと、選択肢の巧妙さが本番と同じとは限らないこと、そして本番の出題比率が公開されていないことである。JDLA は大項目ごとの配点や問数を公表していない。公式例題 20 問の分布(要素技術と応用例が 3 問ずつ、他は 1〜2 問)は参考になるが、本番の比率を示すものではない。

したがって、生成問題は「範囲を漏れなく一巡する」「弱い中項目を集中的に叩く」ための道具と割り切る。本番の感覚は、公式例題と、本番同等の問数で組まれた模試で掴む。生成問題だけで 40 日を過ごすのは、範囲の偏りを自分で作ることになる。

通った問題をどう使うか

通った問題をどう使うか

通った問題は、その場で解かない。1 日置いてから、41 秒の時間制限で解く。作った直後は答えを覚えているので、解いても実力の確認にならない。

解く順序は、公式例題 20 問を先に、生成問題を後に、が原則だ。公式例題で型に慣れてから、生成問題で量をこなす。生成問題は「本番と同じ」ではない。あくまで、シラバスの範囲で作られた練習であり、問題の難しさや選択肢の作り方は本番と同じである保証が無い。この点を承知したうえで使う。

裏取りを通った問題の例を一つ、要旨で示しておく。条件 A の「人工知能とは」で生成された空欄補充問題は、人工知能で新しい技術が実現されると単なる自動化技術とみなされて人工知能の対象から外されてしまう現象、を問い、正答は「AI 効果」だった。選択肢にはシンギュラリティ、フレーム問題、シンボルグラウンディング問題が並ぶ。用語はすべてシラバスの中項目 1・2 のキーワードで、選択肢も同じ中項目の用語で揃っている。こういう問題なら、そのまま使える。

本記事に問題集を載せないのは、二つの理由による。G検定の試験問題は原則非公開で、公式に見られる過去問は JDLA の 20 問だけだ。似た問題を並べて「過去問風」と称する行為は、その非公開の趣旨に反する。もう一つは、問題を自分の弱い大項目に合わせて作ることに価値があるからだ。他人が作った 30 問より、自分が弱い中項目で作らせた 5 問のほうが効く。

裏取りの手間を減らしたいなら、解説つきの問題を先に一定量持っておくほうが早い。翔泳社の合格問題集は 2026年10月28日発売で、厳選450問超を収める。

費用と時間

費用と時間

実測の 20 回の呼び出しは、合計で約 5 分半、費用は 0.35 ドルだった。1 大項目 5 問の生成は 1 回の呼び出しで、十数秒、数円で済む。裏取りに時間がかかるので、生成の費用は無視できる。

裏取りの時間は生成の数十倍かかる。ただし、機械的な判定で範囲と体系を先に弾けば、人が読む時間は法律分野の数問に集中させられる。当サイトの 80 問でも、技術分野は用語表との突き合わせでほぼ片づき、読み込みが要ったのは法律・歴史の問題だった。1 日 45 分の学習なら、生成は 1 大項目 5 問(1 回の呼び出し)を単位にして裏取りまで 30 分、解くのは翌日、という配分になる。

落とし穴

落とし穴

第一に、例題の渡し方だ。当サイトの実測では形式の説明だけを文で渡し、例題本文は渡していない。例題を解答つきで渡すと生成問題が例題の焼き直しになるおそれがあるので、渡すなら形式の説明にとどめる。

第二に、歴史の問題は選択肢が弱くなりやすい。「ダートマス会議」を問う問題の選択肢に、会議ではないもの(チューリングテスト、中国語の部屋)が並ぶと、正答が消去法で分かってしまう。生成された選択肢が「同じ種類のもの」で揃っているかを見る。

第三に、同じ型に偏る。5 問すべてが「最も適切な選択肢」型になることがある。四型の比率を指示に書くか、足りない型(特に法律・倫理の「最も不適切」型)を追加で頼む。

第四に、AI の出力を検証する工程を省くと、この方法は成立しない。生成と検証を分けて考える必要性は、Claude Code のワークフローは台本を固定する(2026-09-23 公開)で扱った「生成する側と検証する側を分ける」設計と同じ発想で、賢くなった代わりに、考えの跡が見えにくくなった(2026-09-19 公開)で述べた「出力の根拠が見えにくい」問題への対処でもある。

第五に、本実測は Claude の一つのモデルで行った結果である。他のモデルで同じ傾向になるかは確かめていない。さらに、指示に「最も不適切な選択肢を選べ」型を入れ忘れたため、法律・倫理分野で本番に多いこの型は実測に含まれていない。

まとめ

まとめ

AI に G検定の問題を作らせるなら、大項目ごとにシラバスを渡し、形式を四型(最も適切・最も不適切・空欄補充・組み合わせ)で指定し、用語と中項目名を出力させる。当サイトの実測では、シラバスを渡した 50 問で指摘が要ったのは 1 問、渡さない 30 問では 12 問だった。誤りは法律・ガイドライン・歴史の固有名に集中し、技術分野はほぼ正しかった。

裏取りは、機械的な判定(範囲と体系)で絞ってから人が読む(正答と解説)。通った問題は 1 日置いて 41 秒で解き、通らなかった問題の誤りは記録する。問題の入手先は AI 生成だけではない。公式例題、公式テキスト、問題集、講座、模試をどう組み合わせるかは、次の工程で整理する。

出典・参考

ブラウザだけでできる本格的なAI画像生成【ConoHa AI Canvas】
ABOUT ME
swiftwand
swiftwand
AIを使って、毎日の生活をもっと快適にするアイデアや将来像を発信しています。 初心者にもわかりやすく、すぐに取り入れられる実践的な情報をお届けします。 Sharing ideas and visions for a better daily life with AI. Practical tips that anyone can start using right away.
記事URLをコピーしました