単なる視聴者として以上にお世話になっている「クイズ！脳ベル SHOW」のマッチ棒クイズだけが 200 問集められたスペシャル冊子が発売されていました：




初級・中級・上級と難易度に応じて３カテゴリーに分けられた 200 問もの「マッチ棒１本だけ動かして正しい式にする」クイズです。自分も（後述のツールを使わずに）自力で挑戦してみました。５日程度かけて、なんとか全問ヒント無しに解くことはできました。が、初級編でもなかなか正解がわからない問題もあったり、中級編あたりになると難しく考えすぎてシンプルな回答に辿り着かなくなったりするなど、結構苦戦したことは白状しておきます。

一方で、詳細はこのブログには書かないことにしますが、自分はこの「マッチ棒１本だけ動かして正しい式にする」クイズを解いたり出題したりする AI 的な要素もあるサービスを（勝手に）作って公開しています。１日１問ある程度の難易度の問題が出題されたり、自分で問題となる式を入力すると自動で回答（１本動かした正しい式）を導き出す、という、↓こんな感じのウェブサービスです（最近はヒントボタンも実装しました。興味ある人はググって調べてみてください）：


↑ "0+5=49" という正しくない式からマッチ棒１本だけ動かして正しい式にする、には "0-5=4-9" にするのが正解である、という答まで表示した時の画面です。


実はこのウェブサービスでは表面化していない隠し機能として、問題の難易度を測定する機能も実装しています。表立っては使っていませんが、AI が問題を出題する際の基準として「人間にとってある程度難しいと感じる問題」だけを出すようにしています。そしてこの「ある程度難しい」かどうかを判断する上で、問題の難易度を（独自ロジックで）数値化して計算できるようにしていて、ある程度以上の難易度基準を満たす問題だけを出題しているのでした。この隠し機能である計算部分は PC 版で回答部分にマウスカーソルを移動すると難易度の数値がポップアップする、という形で確認できるようにしています（下の例の場合、この問題の難易度は 61 であることがわかります。これくらいだとそんなに難しくないレベル）：



↑この機能の実装は結構苦労したのですが、パラメータの調整に調整を重ねた結果、現在の「なんとなく自分の感覚とあった数値を出せるようになってきた」レベルに成長しています。


今回のブログは、この隠し機能を使って「この本で出題されている 200 問のマッチ棒問題の難易度が本当に初級、中級、上級に分類できるようなものになっているか？」を勝手ながら自作 AI で検証する、ということをやってみたので、その結果報告のブログエントリとさせていただきます。なお 200 個の問題の内容についてはここで表示するわけにいかないので、興味ある方は本を購入の上で確認してください。また難易度の判定はあくまで私が作ったロジックによる判定であり、その精度（？）の保証はありません。加えて私自身が 200 問を自力で解いた感想としては「なんとなく後半にいくほど難しくなっていたような気がする・・」という印象を受けました。これを自分の作った AI がどのように判断するのか、おそらく誰よりも自分自身が楽しみな（というか、僕以外の人にとってはあまり興味のわかない？）内容です。


【検証内容】
検証した内容はごく単純なもので、冊子に掲載された 200 問のマッチ棒問題とその模範解答（冊子内で回答として記載されていたもの）をすべて表計算アプリケーションに書き写し、その問題の難易度を自分のツールを使って調べて併記していきました。

（初級編　問題番号 1 ～ 54）


（中級編　問題番号 55 ～ 156）


（上級編　問題番号 157 ～ 200）



そしてこれを折れ線グラフにしました。横軸は一番左が問題１、一番右が問題200となっています：



【検証結果】
この折れ線グラフ全体をパッと見てもなんとなく「全体的に右肩上がり（＝後ろの問題ほど難しくなっている）」になっていることがわかると思います。つまりこの冊子で出題されている問題の初級編は（自分の AI 的にも）比較的簡単な問題で、次いで中級・上級と少しずつ難しくなっていると判定されていることになります。自作の AI が自分の感覚と同じような判定結果を出せたことについては、なによりも自分の AI アプリケーション開発エンジニアとしての自信になりますね（笑）。

もう少し細かく検証してみます。初級・中級・上級の３カテゴリ内それぞれで「最も難易度が低いと判定された問題の難易度」と「最も難易度が高いと判定された問題の難易度」を取り出してみるとこのようになりました：

カテゴリ	最低難易度	最高難易度
初級（#1 ～ #54）	45	68
中級（#55 ～ #156）	68	91
上級（#157 ～ #200）	63	118

上級問題の中に難易度の低い例外的な問題があり、上級編の最低難易度が中級編や初級編の最高難易度を下回ってしまった、という点はご容赦いただきたいのですが、それ以外は初級編の最高難易度と中級編の最低難易度が同じである点も含めて、ほぼカテゴリが上がるごとに難易度があがっていることもわかります。これは自作 AI にとってもできすぎというか、この問題集を監修した人（篠原菊紀先生？）の考える難易度とも一致している点が多いことになるので、自分の想像していた以上に難易度判断ができていることになりました。うわー、これは嬉しい！

ただ自分的にも唯一といっていい、気になった点もありました。この折れ線グラフの最後の３つ、つまり 200 問におよぶ問題集の最後の３問だけ、やけに難易度が低く判定されている、と判定されているのです（自分的にも最後の３問はそれほど難しい問題ではないように感じました）：







ちなみに、この最後の３問を除いて上級編の最低難易度を計算し直すと 86 となり、まだ中級編の最高難易度以下ではあるのですが、比較的近い数字になって「ほぼカテゴリーごとに難易度が分類されている」と言える結果になりました：

カテゴリ	最低難易度	最高難易度
初級（#1 ～ #54）	45	68
中級（#55 ～ #156）	68	91
上級（#157 ～ #197）	86	118

【疑問　なぜ最後の３問だけ難易度が低いのか？】
事前の想定をはるかに超える難易度判定精度が出て私も驚いているのですが、こうなるとどうしても「なぜ最後の３問だけ難易度が（それも極端に）低いのか？」という疑問が出てきます。上級編の最後の３問なので、（この３問以外の）傾向からすると最高難易度レベルの出題になっていてもおかしくないのに、初級レベルの問題が出題されていたことになります。いったいどうして？？？

で、私の考えた仮説は以下の３つです：
（仮説１）制作・監修側が最後の出題を考える際に力尽きた
（仮説２）上級編の最後の問題から挑戦する天邪鬼タイプの人に「簡単だ」と思わせるための戦略
（仮説３）実は本当に難しい問題なのだが、自分の AI の判定基準が甘くて間違っている

真相は闇の中です。自分としては仮説３の可能性を考慮して、これからも判定精度を上げる努力をしていくつもりです。


【おまけ１】
自作 AI で解いていく中で、冊子内で正解として提示されている以外の答がある問題（つまり複数の正解が存在する問題）が 200 問中 18 問見つかりました。これは制作側の気持ちを代弁すると、正解が１つしかないことを確認するのもすごく大変なのです。特に後半の問題自体が長くなるケースは変化パターンも指数関数的に増えていくので、チェックが大変なんですよね。。　ちなみに正解が３つ（！）存在する問題も５問ほど含まれておりました。 (^^;


【おまけ２】
2023 年７月現在、世の中では ChatGPT をはじめとする生成 AI がブームになっています。が、この「マッチ棒を１本動かして正しい式にする」分野に限っては ChatGPT もまだ不得意らしく、自分の作った AI が第一人者であると自負しています。 (^^;


【おまけ３】
私の自作 AI が判断した難易度判定結果によると、この冊子に掲載された全 200 問のうち最も難易度が高いと判定された問題は問題番号 197 のマッチ棒問題でした。問題そのものをここに記載するわけにはいかないのですが、興味ある方は是非購入して挑戦してみてください：

念のため、もう一度リンク貼っておきます（笑）