生成AIの「まことしやかな噂」を論文で検証|ありがとうは無意味?ロールはもう古い?

生成AIの「まことしやかな噂」を論文で検証|ありがとうは無意味?ロールはもう古い? AI

この記事でわかること

「AIに『ありがとう』って言うと、性能が落ちるらしいよ」

そんな話を、どこかで見かけたことはないでしょうか。

「ロールを与えるのはもう古い」「チップを渡すと本気を出す」「深呼吸してと言うと賢くなる」。

この手の話は、次から次へと出てきます。

そして困ったことに、どれも「そうかもしれない」と思わせる説得力があります。

私も毎日AIを仕事で使っているので、見かけるたびに気になっていました。

そこで、実際に調べてみました。

結論から言うと、こうした噂の多くは、きちんと実験で検証されています。

ただし、結果は思っていたのと違いました。

「効く」でも「効かない」でもなく、「同じことをしても、問題によってどちらにも転ぶ」というのが実態でした。

この記事では、次のことをお話しします。

  • よく見かける6つの噂に、研究がどう答えているか
  • なぜ、同じテーマの研究で正反対の結果が出るのか
  • 小技を集めるより効果があった、たった3つの書き方

先に断っておくと、ここで紹介する研究は、いずれも特定のモデル・特定の問題セットで測った結果です。

あなたの仕事で同じことが起きるとは限りません。

それでも、「なんとなくそう聞いた」よりは、ずっと確かな手がかりになります。

先に結論(3つ)

  • 噂はだいたい検証されています。そして結果は割れています。同じテーマで、正反対の結論を出した研究が並んでいます。
  • 実態は「効く/効かない」ではありません。同じ小技が、ある問題では正解を増やし、別の問題では正解を減らします。しかも、事前にどちらかは分かりません。
  • 小技より、仕様を書くほうが再現します。何をしてほしいか、どんな形で欲しいか、どうやって良し悪しを判断するか。ここを書くほうが、毎回の結果が安定します。
ネットでよく言われている6つの噂と、研究で分かったことを並べた比較表。
この記事で扱う6つの噂と、研究が出している答えです。

噂① 「ありがとう」と言うと性能が落ちる

いちばんよく見かける噂です。

「丁寧に話しかけると、その分だけ余計な処理が増えて、答えが悪くなる」という話です。

2024年の研究:無礼にすると、下がった

早稲田大学と理化学研究所などのチームが、2024年に発表した研究があります。

英語・中国語・日本語のそれぞれで、丁寧さの度合いを変えたプロンプトを作り、要約・言語理解・偏見の検出という3種類の課題で比べたものです。

結果はこうでした。

無礼な言い方をすると、成績が下がることが多い。

ただし、丁寧にしすぎても良くなるわけではない。

そして、ちょうどいい丁寧さは言語によって違う。

研究チームの提案は「人づきあいと同じくらいの、ほどほどの丁寧さ」でした。

ここまでなら、「やっぱり丁寧に話しかけたほうがいいんだ」で終わります。

2025年の研究:無礼なほうが、正解率が高かった

ところが、その翌年に正反対の結果が出ます。

ペンシルベニア州立大学のチームが、数学・科学・歴史などの選択式問題50問を用意し、それぞれを「とても丁寧」「丁寧」「普通」「無礼」「とても無礼」の5通りに書き換えました。

合計250通りのプロンプトを、同じモデルに解かせています。

正解率は、こうなりました。

  • とても丁寧:80.8%
  • 普通:82.2%
  • 無礼:82.8%
  • とても無礼:84.8%

丁寧なほうが、成績が悪かったのです。

研究チームが挙げている理由は、意外と身も蓋もありません。

丁寧な言い方は、遠回しな表現や、なくてもいい言葉が増えます。

その分、指示そのものがぼやける、というわけです。

「お手数ですが、もしよろしければ、こちらについて教えていただけますと幸いです」より、「これを教えて」のほうが、命令としては明確だということですね。

2026年の追試:結局、モデルによる

では、無礼なほうがいいのか。

同じチームが2026年に、規模を広げて調べ直しています。

今度は57分野・570問に増やし、モデルも4種類に増やしました。

そこで出た結論が、この話のいちばん大事なところです。

口調の影響は確かにある。ただし、その出方はモデルによって大きく違う。

ほとんど差が出ないモデルもあれば、口調を変えただけで結果が大きく振れるモデルもあった、ということです。

つまり、「ありがとうと言うと性能が落ちる」も「無礼なほうが賢くなる」も、どちらも一般化できません。

あなたが使っているモデルで、あなたが投げている種類の質問で、どうなるか。

それは、やってみないと分からない領域でした。

ただし、電気代の話は本当でした

ひとつだけ、はっきりしている話があります。

2025年4月、OpenAIのサム・アルトマン氏が、Xでこんな質問を受けました。

「みんながChatGPTに『お願いします』『ありがとう』と言うことで、どれくらい電気代がかかっているんですか」

返ってきた答えは、「数千万ドル。でも、よく使われたお金です」というものでした。

1回あたりはごくわずかでも、世界中で毎日何億回と繰り返されれば、それなりの量になります。

この「丁寧な一言のエネルギーコスト」は、2026年になって研究テーマとしても扱われるようになりました。

性能が上がるか下がるかは分かりませんが、コストは確かに増える。

そういう話です。

噂② ロールを与えるのは、もう古い

「あなたは一流のコピーライターです」

プロンプトの入門記事に、必ずと言っていいほど出てくる書き方です。

最近は「あれはもう古い」という話も見かけるようになりました。

これについては、かなり大がかりな検証があります。

2024年に発表された研究で、162種類の役割を用意し、2410問の事実確認問題を解かせたものです。

役割は、対人関係のタイプ6種類と、専門分野8領域をカバーしています。

結果はこうでした。

役割を与えても、与えなかった場合と比べて、平均の正解率は上がらなかった。

もう少し細かく見ると、面白いことが分かっています。

問題ごとに見れば、「この役割を与えたときだけ正解した」というケースは確かにあります。

問題ごとに最良の役割を選んで集計すれば、成績はぐっと上がります。

ところが、その最良の役割を事前に当てることが、ほぼできませんでした。

当てずっぽうで選ぶのと、大差なかったのです。

つまり「ロールは古い」というより、もともと正解率を上げるための道具ではなかった、というほうが実態に近そうです。

ただ、私は今も役割を書くことがあります。

正解率のためではなく、文章のトーンや、見てほしい観点を切り替えるためです。

「経営者の立場で、この企画書の穴を探して」と書くのと、何も書かないのとでは、返ってくる指摘の種類が変わります。

正確さを上げる道具ではなく、視点を指定する道具。

そう考えると、使いどころがはっきりします。

噂③ チップを渡す・脅すと、本気を出す

「うまくできたら200ドルのチップを払います」

「これは私のキャリアがかかっています」

この手のプロンプトが一時期かなり出回りました。

これも、まじめに検証した人たちがいます。

ペンシルベニア大学ウォートン校のチームが2025年に出した報告書は、タイトルからして直球です。

「報酬を払うか、殺すぞと脅すか。でも、そもそも気にするのか?」

博士課程レベルの難問や、専門分野の選択式問題を使って、チップの提示や脅し文句がどう影響するかを測っています。

結論は、こうでした。

ベンチマーク全体で見ると、意味のある差は出なかった。

ただし、ここでも同じ現象が出ています。

個別の問題単位で見ると、結果は動くのです。

ある問題では正解になり、別の問題では不正解になる。

合計すると、ならされて差が消える。

「効いた!」という体験談が生まれるのは、この個別のブレを見ているからだと考えると、腑に落ちます。

噂④ 「ステップバイステップで考えて」は必須

これは噂というより、定番のテクニックとして広まったものです。

「順を追って考えて」と書き添えると、途中の考えを書き出しながら答えるようになり、正解率が上がる。

2022年に発表されて以来、プロンプトの基本として紹介されてきました。

ここに、2025年の報告が水を差します。

同じウォートン校のチームが、この手法の費用対効果を測りました。

結果は、使うモデルによってはっきり分かれました。

  • 最初から順を追って考えるタイプのモデル(推論モデル)では、効果はごくわずかでした。そのうえ、回答にかかる時間が20〜80%増えました。
  • そうでないモデルでは、平均点は少し上がりました。ただし、答えのブレも大きくなりました。今まで正解していた問題を、間違えることが出てきたのです。

今のAIは、指示しなくても勝手に考えを整理してから答えるものが増えています。

そこへ「順を追って考えて」と足すのは、すでにやっていることを、もう一度お願いしている状態です。

時間だけが増えるのも、当然といえば当然でした。

噂⑤ 「深呼吸して」と言うと賢くなる

この話がいちばん好きです。

元をたどると、2023年のGoogle DeepMindの研究にたどり着きます。

「どんな言い回しを添えると成績が上がるか」を、AI自身に大量に試させて探させる、という実験でした。

そこで見つかった優勝フレーズが、これです。

「深呼吸して、順を追ってこの問題に取り組んでください」

小学校の算数の文章題を集めたテストで、当時のモデルの正解率が80.2%まで上がりました。

AIは呼吸をしません。

それでも、この言葉を添えると成績が上がった。

面白い話です。

ただ、ここには続きがあります。

モデルが2世代進んだ頃には、この呪文はもう再現しなくなっていました。

効いたり効かなかったり、コインを投げるようなものになった、と報告されています。

ここに、この記事でいちばんお伝えしたいことが詰まっています。

プロンプトの小技には、賞味期限があります。

そのとき使われていたモデルに、たまたま効いた言い回しだったからです。

モデルが変われば、当たりの言葉も変わります。

そして私たちが今日SNSで見かける小技の多くは、たいてい何世代も前のモデルで見つかったものです。

噂⑥ 別のAIにレビューさせると、性能が上がる

最後は、いちばん「正しそう」に聞こえる話です。

1体のAIに書かせるより、もう1体に読ませて指摘させたほうが精度が上がる。

人間のダブルチェックと同じ理屈です。

私も、これはさすがに効くだろうと思っていました。

たしかに、うまくいったという報告はあります

複数のAIに同じ問題を解かせ、お互いの答えを見せて議論させる手法があります。

「マルチエージェント討論」と呼ばれるものです。

21通りの条件のうち19通りで単体より成績が良く、平均で7%ほど上がったという報告があります。

ここだけ見れば、噂のとおりです。

ところが、自分で見直させると悪くなる

2024年に発表された研究のタイトルが、なかなか強烈です。

「大規模言語モデルは、まだ自分の推論を自己修正できない」

Google DeepMindのチームによるものです。

ここで対象になっているのは、外からの情報を一切与えずに「もう一度見直して」と頼む場合です。

結果は、こうでした。

成績は上がらず、むしろ下がることがあった。

最初は正解していた問題を、見直したせいで間違いに書き換えてしまう。

そんなことが起きていました。

そして、議論させても安定しない

では、1体で見直すのが駄目なら、別の個体に見せればいいのか。

2025年から2026年にかけて、この点を調べた報告が続いています。

そこで言われているのは、次のようなことです。

  • 討論させる手法は、単純な単体の手法を安定して上回るとは限らない。計算量を増やしても、である
  • 議論のラウンドを重ねるほど、グループ全体の正解率が下がっていくことがある
  • 似た性格のAI同士で議論させるくらいなら、1体で見直させたほうが良かった、という報告もある

議論を重ねるほど悪くなる、というのは不思議に思えます。

報告されている理由を平たく言うと、こうなります。

同じ材料しか持っていない相手同士が話し合っても、新しい事実は増えません。

増えるのは「相手がそう言っているなら、そうかもしれない」という同調だけです。

その結果、誰かの間違いのほうへ全員が寄っていくことが起きます。

会議で声の大きい人の意見に流れていくのと、構図はよく似ています。

では、どういうレビューなら効くのか

ここまでの研究を並べると、分かれ目がはっきりします。

外から新しい事実が入るかどうかです。

効きやすいのは、こういうレビューでした。

  • 実際に動かしたときのエラーや、テストの結果を渡す
  • 元の資料やデータを渡して、「この記述と食い違っていないか」と照らし合わせさせる
  • 人が見つけた具体的な指摘を渡す

効きにくいのは、こちらです。

  • 材料を足さずに「これでいい? もう一度見直して」と聞くだけ
  • 同じ資料しか持っていないAI同士で、「どちらが正しいか話し合って」
AIのレビューが効く場合と効きにくい場合の比較図。分かれ目は外から新しい事実が入るかどうか。

ここは、私の実感とも一致しました。

プログラムを書かせているときのレビューがいちばん効くのは、動かした結果という、ごまかしの効かない事実が返ってくるからです。

逆に、文章を「もっと良くして」と何度も見直させると、だんだん当たり障りのない文になっていきます。

新しい材料が無いまま、平均のほうへ寄っていくのだと思います。

なぜ、噂はこんなに割れるのか

ここまで読んで、こう思われたかもしれません。

「研究するほどのことなのに、どうしてこんなに結論がバラバラなのか」

これについても、答えを出している報告があります。

先ほどから何度か出てきたウォートン校のチームが、最初に出した報告のタイトルがそのまま答えです。

「プロンプトの工夫は、複雑で、条件しだいである」

この報告では、丁寧に話しかけることについても調べていて、こう書かれています。

丁寧にすると成績が上がることもあるし、下がることもある。

そして重要なのが、次の点です。

プロンプトの違いは、1問1問のレベルでは確かに結果を変えている。ただし、ある問題でそれが効くのか害になるのかを、事前に知ることは難しい。

ここが、噂が生まれる仕組みそのものだと思います。

手元で5回試して、3回良くなれば、人は「効いた」と判断します。

そして、それをSNSに書きます。

同じことを別の人が別の問題で試して、うまくいかなければ「あれはデマだ」と書きます。

どちらも嘘をついていません。

見ているサンプルが少なすぎるだけです。

じゃあ、何をすればいいのか

ここまでの話は、「小技は無意味だから何もするな」ではありません。

研究者たちが共通して指摘しているのは、もっと地味なことです。

小技ではなく、仕様を書く。

具体的には、この3つです。

1. ゴールを書く

何のために作るのか、誰が読むのかを書きます。

「議事録を作って」ではなく、「明日の朝、参加していない部長が5分で状況をつかむための議事録を作って」と書く。

これだけで、残す情報の取捨選択が変わります。

2. 良い例と、悪い例を見せる

これがいちばん効きます。

過去に自分が書いた、うまくいった文章を1つ渡す。

できれば、「こういうのは違う」という例も1つ渡す。

言葉で説明するより、現物を見せるほうが早いのは、人に頼むときと同じでした。

3. 良し悪しの判断基準を決める

「1文は40字以内」「専門用語が出たらその場で説明を入れる」「数字は出典とセットで書く」。

チェックできる形で書いておくと、出てきたものを直す作業が楽になります。

AI自身に「この基準で自分の文章を点検して」と頼むこともできます。

この3つは、どのモデルでも、来年になっても、たぶん使えます。

特定のモデルのクセに乗っかっているのではなく、そもそも指示として足りない部分を埋めているからです。

私が実際にやっていること

私の場合は、うまくいった指示を毎回書き直すのをやめました。

手順書としてファイルに保存しておき、必要なときに読ませています。

そうすると、誰が頼んでも同じ品質になります。

そして、うまくいかなかったときは、呪文を足すのではなく、手順書のどこが足りなかったかを直します。

地味ですが、こちらのほうが確実に積み上がりました。

逆に言うと、小技を試すこと自体は止めません。

ダメ元で1行足してみるのは、コストがほとんどかかりません。

ただ、効いたかどうかは、SNSではなく自分の仕事で確かめる。

それだけの話だと思っています。

まとめ

今回調べた6つの噂を、並べておきます。

  • 「ありがとう」で性能が落ちる:研究は割れています。2024年は「無礼だと下がる」、2025年は「無礼なほうが正解率が高い」、2026年は「モデルによる」。ただし電気代が増えるのは本当です。
  • ロールを与えるのは古い:162種類の役割で試して、平均の正解率は上がりませんでした。正確さの道具ではなく、視点を指定する道具でした。
  • チップや脅しで本気を出す:全体で見ると差は出ませんでした。個別の問題では動くので、体験談は生まれます。
  • ステップバイステップは必須:もともと順を追って考えるモデルでは、効果はわずかで時間だけ増えました。
  • 「深呼吸して」が効く:当時のモデルには効きました。世代が変わると再現しなくなりました。
  • 別のAIにレビューさせると上がる:外から新しい事実が入るなら効きます。材料を足さずに見直させると、下がることがありました。

全部に共通しているのは、ひとつです。

効く条件が、思っているよりずっと狭い。

だから噂として広まり、そして裏切られます。

もし今、プロンプトの小技を集めている途中でしたら、いったん手を止めて、こう考えてみてください。

その指示は、新しく入ったスタッフに同じ言葉で頼んで、伝わるでしょうか。

伝わらないなら、足りないのは呪文ではなく、たぶん仕様のほうです。

いま受け取れる特典は、全部で7つ。すべて無料です。

  • AIの仕上がりを毎回そろえる 型プロンプト … この記事の“型”をそのまま道具に。コピペするだけ・作成フォーム付き。
  • ChatGPT超入門ガイド … 「何ができるの?」がスッキリ分かる入門書。
  • AIで仕事をラクにする 業務改善チェックリスト … “任せられる仕事”を見つける。
  • 今日から使えるAI活用シーン10選 … 効果別に厳選。まねするだけ。
  • NotebookLMでスライドを作ろう … 資料づくりを10倍速に。
  • 撮った動画を“見返せる資産”に変える 手順書 … 文字起こし→目次→字幕まで。
  • AI活用ガイドブック(全70ページ) … Kindleでは¥980。登録+3分のアンケートで無料。

この記事は役に立ちましたか?

コメント

タイトルとURLをコピーしました