AIによる進化論-ピーナッツから転載
序文
前回のChatGPTはどのように訓練されたのか?という記事で、ChatGPTに代表される大多数のLLM(大規模言語モデル)が訓練される過程を紹介しました。その過程自体の特性により、ChatGPTの長所と短所が明確に示されています。今回の記事では、人間の思考パターンとLLMの違いについてさらに詳しく説明し、LLMの「思考の欠陥」を補い、人間のタスクをより良く完了させる方法を説明します。この内容の大部分は、OpenAIの共同創業者であるAndrej Karpathyの講演に基づいています。直接彼の動画を見ることもできます。
人間の思考 VS ChatGPTの思考
現在、多くの人がChatGPTを使用する際に2つの誤解に陥りやすいです。一つは、ChatGPTがとても優秀で、スムーズに会話ができ、量子力学を理解し、哲学について議論できるので、すべての仕事や学習内容をそれに任せられるのではないかと考えることです。実際にそうすると多くの問題に直面します。もう一つは、ChatGPTはただのインターネットマーケティングの誇大広告だと考え、「魯迅と周樹人の違いは何ですか」と聞いても同一人物だと理解できず、89x78のような掛け算でも正しい結果を出せないので、全くダメだと思うことです。
ChatGPTが優秀すぎると思うのも、愚かすぎると思うのも、同じ見方です。どちらも一面的な理解に基づいており、ChatGPTの一部の特徴だけを見て全体を判断しています。この考え方の問題は、人間が一般的に持っている能力や常識でChatGPTを評価しようとしていることです。なぜなら、ChatGPTが人間との対話の中で示す論理能力や表現能力があまりにも人間に似ているからです。
しかし、ChatGPTは人間ではありません。その思考パターンや長所短所は人間とは大きく異なります。まず、人間の思考パターンについて説明しましょう。
人間の思考例 - 常識、反省、ツールの使用
財経関連の記事を書くとき、ある理由で「6月28日現在、Pinduoduoの時価総額はBilibiliのxx倍です」というような文を書く必要があるとします。
この文を書く際、まず自分の反省能力が働きます。PinduoduoとBilibiliの時価総額を比較する必要があり、しかも最新のデータが必要だということがわかります。おそらくこの正確なデータを書いた人はいないでしょうから、直接Pinduoduoの時価総額がBilibiliの何倍かを検索するのではなく、昨日時点でのPinduoduoとBilibiliそれぞれの時価総額を探し、それを割り算するのが最良の方法だと判断します。
次に、自分の頭の中にはこのようなデータがないことはわかっていますが、Xueqiuでこのデータを調べられることを知っています。そこで調べてみると、昨日時点でPinduoduoの時価総額は932.8億ドル、Bilibiliの時価総額は63.6億ドルだとわかりました。
そして、この2つの数字を記憶し、932.8÷63.6の計算を頭の中で行うのは難しいので、電卓を使って計算すると、14.7倍だとわかります。
ここで、Pinduoduoが予想以上にBilibiliより価値が高いことに驚くかもしれません。しかし、情報源と数字を再確認すると、正しいようです。
そして文章を書き始めます。「PinduoduoはBilibiliの株価の13.7倍です」と。
しかし、すぐに自分の表現が不正確だと気づきます。時間の制限を加え、より正確な表現に修正します。「6月28日現在、Pinduoduoの時価総額はBilibiliの14.7倍です」。
これが、このような簡単な文を書く際に経験する可能性のある一連のプロセスです。しかし、ChatGPTの場合はこのようにはいきません。ChatGPTは入力された情報を層ごとに関係分解し、次の単語が何であれば最も正確かを予測し始めます。そして、書いた文字を自分の考慮に入れながら、クアクアクアと次々に文字を生成し、完全な文を形成していきます。ChatGPTのテキスト生成メカニズムについては、前回のChatGPTがどのように訓練されたかについての動画でより詳しく説明しています。
結果として、人間の思考プロセスとChatGPTには大きな違いがあります。
プロンプトエンジニアリングの本質は、この違いを埋めることです。ChatGPTの長所を最大限に活かし、短所を回避することを目指します。
1、十分な背景と知識を提供する
人間は自分が何を知らないかを知っていますが、ChatGPTは自分が何を知らないかを知りません。そのため、ChatGPTとコミュニケーションを取る際には、タスクの背景情報や必要だと思われる知識を完全に提供する必要があります。
2、ChatGPTにツールを提供する
人間は自分が何が得意でないかを知っており、検索エンジンや電卓などのツールを使ってタスクを完了します。ChatGPTも同様です。2021年9月以降の知識が必要なタスクをChatGPTに完了させたい場合は、Webブラウジング機能付きのプラグインを使用してChatGPTにWebページを閲覧させる必要があります。数学の計算やPDFの読み取り、航空券の購入などの他のタスクでも同様で、対応するツールを使用できるように様々なプラグインが必要になる場合があります。
3、ChatGPTに振り返りと反省を許可する
ChatGPTの生成メカニズムは、自分の間違いを振り返って発見することができません。しかし、あなたが振り返りを要求することはできます。例えば、ChatGPTが質問に答えた後、「あなたの回答は正確だと思いますか？私の要求を満たしていますか？」と尋ねることで、自身の回答に対する反省と分析を促すことができます。
4、複雑な問題に対しては、ChatGPTの「システム2」のスロー思考モードを引き出す
ChatGPTのクアクアクアと絶えずテキストを生成するプロセスは、実際には人間の「システム1」の思考システムに似ています。ノーベル経済学賞受賞者のダニエル・カーネマンの『ファスト&スロー』を読んだことがある人なら、人間には「システム1」の直感的な速い思考と「システム2」のより慎重な遅い思考の2つの思考モードがあることを知っているでしょう。複雑なタスクでは、ChatGPTにスロー思考モードを採用させることができます。ChatGPTにスロー思考をさせる方法がいくつかあります。ChatGPTは本質的にトークンを通じて思考を実現しているので、最終的な回答を生成するためにより多くのトークンを使用させることで、十分な思考時間を与えることができます。以下にいくつかの異なる方法を紹介します：
複雑なタスクを複数の小さなタスクに分解し、各タスクに十分なトークンを使用して思考させる。例えば、PinduoduoとBilibiliの時価総額の比較問題を、まず昨日時点でのPinduoduoの時価総額、Bilibiliの時価総額を質問するなどに分解する。
few-shot（少数事例）プロンプトを使用して、ChatGPTにその思考プロセスを模倣させる。例えば、「北京の常住人口は香港の3倍です」と書き、その結果をどのように得たかのプロセスをChatGPTに説明すると、ChatGPTもそれを模倣します。
モデルに「ステップバイステップで考えてください」と伝え、思考プロセスを一つずつ示させる。これにより、各トークンがより少ない思考タスクを担当することになり、より良い効果が得られます。
5、ChatGPTは成功したいと思っていないが、あなたは成功を要求できる
最後にもう一点、ChatGPTは非常に豊富な知識を持っていますが、それはインターネット上の公開資料から学んだもので、その80%以上は比較的質の低いものです。そのため、通常は訓練データのテキストの質に近い内容を生成しようとし、必ずしも最良の結果を提供しません。OpenAIの共同創業者であるAndrej Karpathyは、この問題について面白い表現をしています。「ChatGPTは成功したいと思っていませんが、あなたは成功を要求できる」というものです。具体的な方法は多くの人がすでに慣れているでしょう。つまり、ChatGPTに完了してほしいタスクに応じて、ChatGPTにその分野の専門家であると伝え、専門家の視点から結果を出力させることです。
これらの情報が参考になれば幸いです。