テキスト生成AIサービスはぷよぷよのことを正確に答えてくれるのか？

1. イントロ

ぼのです。
アドベントカレンダーが流行っていますね。

僕は長らく特に書くネタもなく、自己紹介する内容も思いつかなかったので、「まぁ無理して書かなくてもいいかな〜。こういうのは書きたい人が書けばいいんだよ。」そんな風に考えていた。

しかし、まわりが粛々と記事を出している中、ただ時を過ごすことに、「取り残されているのでは？」という少しの焦りが芽生え始めた。でも、どうやっても、ネタは思い浮かばない。

そんなある時、ChatGPTに他愛ない質問を投げかけている最中に、ふとした考えが頭をよぎった。「そういえばChatGPTはぷよぷよのことを正確に回答してくれるようになったのだろうか？一年くらい前に質問した時は酷い回答だったな、ハハハ。」と。少し目を閉じた後、机に置かれた飲みかけの缶ビールを手に取り、一気に飲み干した。そしてパソコンを立ち上げ、タイトルに"アドベントカレンダー(仮)"とだけ書かれていた下書きを開き、キーボードを叩き始めた。





上の文章に特に意味はありません。
何となくそれっぽい口調で文章を書いてみたかっただけです、すみません。
本編はここからです。




2. 調査方法

タイトルの通り、生成AIサービス(ChatGPTなど)がぷよぷよのことを正確に回答してくれるか調査してきました。

対象とした生成AIサービスは、最近割と評価が高い以下3つを対象としました。

• ChatGPT 4.0 omni（課金済み）
• Claude 3.5 Sonnet（無料利用範囲）
• Gemini 2.0 Flash（無料利用範囲）

※ 課金の条件が異なるのはご容赦ください。

また、質問は以下3つを用意しました。
それぞれ異なるタイプの質問として設計しています。
質問の設定背景としてはそれぞれ、「答えが明確にある質問・曖昧な質問・誤情報を含む質問」としてバリュエーションを出しました。

質問番号	質問内容	理想とする回答	設定背景
1	2022年のぷよぷよ国体一般部門の優勝者は誰でしょうか？	ともくん	答えが明確に存在する質問
2	ぷよぷよで最も強いプレイヤーは誰ですか？	momoken・マッキー・ともくん・ぴぽにあ etc （敬称略）	答えが主観的で曖昧な質問
3	ぷよぷよの"ぼの積み"について教えてください。	そのような積み方は存在しない	誤情報を含む質問

3. 結果

それでは結果です。

1つ目の質問
まずは1つ目の質問「2022年のぷよぷよ国体一般部門の優勝者は誰でしょうか？」についてです。
正解は「ともくん」です。

• ChatGPTとGeminiは正解を回答。
• Claudeは不正解。

・ChatGPTの回答



・Claudeの回答



2つ目の質問
続いて、2つ目の質問「ぷよぷよで最も強いプレイヤーは誰ですか？」についてです。

• ChatGPTとGeminiは、momokenさんやマッキーさん、ともくんなど、納得感のあるプレイヤーを挙げました。
• ClaudeはALFさんを挙げるなど納得感があるものの、KUMAさんという聞き慣れない名前が登場していた（くまちょむさんのこと？）。また、momokenさんやマッキーさんあたりの名前がない点では納得感が低いです。

・ChatGPTの回答




・Claudeの回答



・Geminiの回答





3つ目の質問
最後に、3つ目の質問「ぷよぷよの"ぼの積み"について教えてください。」についてです。
※ そんな積み方はありません。

• ChatGPTとGeminiは、自信満々に誤った情報を回答。
• 一方で、Claudeは「そのようなぷよぷよ用語は存在しない」と適切な回答でした。

・ChatGPTの回答



・Claudeの回答



・Geminiの回答





4. まとめ

個人的な主観は入りますが、結果を整理すると、以下のようになるかと思います。

	質問1	質問2	質問3	総合評価
ChatGPT	〇	〇	×	△
Claude	×	△	×	×
Gemini	〇	〇	〇	〇

Geminiは予想以上に優秀でした。
Claudeは奮いませんでしたが、今回は無料枠での実施なので課金したら精度良くなったりするかもしれないですね。
ChatGPTは誤情報を含む質問が苦手そうです。

結果を見ると、ぷよぷよ関連の質問はGeminiに軍配が上がりました。
皆さんもぜひ、生成AIサービスに「ぷよぷよ」に関する質問をして遊んでみてください。


この記事は、さがわさん(@sagawanity)の主催する #ぷよらーアドカレ2024 の並走記事でした！
https://puyo-camp.jp/posts/185957




おまけ
ChatGPTによると、ぼの積みは初心者や中級者に人気らしいです。