はてなブックマーク

ReAct Prompting Yao et al., 2022 (opens in a new tab) introduced a framework named ReAct where LLMs are used to generate both reasoning traces and task-specific actions in an interleaved manner. Generating reasoning traces allow the model to induce, track, and update action plans, and even handle exceptions. The action step allows to interface with and gather information from external sources such

プロンプトの設計に関する一般的なヒント プロンプトを設計する際には以下のことに注意するとよいでしょう。 簡単に始める プロンプトの設計を始める際には、プロンプトの設計が、最適な結果を得るために多くの実験を必要とする反復的なプロセスであることを念頭に置く必要があります。OpenAIやCohereのようなシンプルなプレイグラウンドから始めると良いでしょう。 シンプルなプロンプトから始め、結果を向上させるために要素や文脈を追加していくことができます。そのためにはプロンプトのバージョン管理が重要です。このガイドを読むと、具体性、簡潔さ、明確さがより良い結果をもたらすことがわかるでしょう。 多くの異なるサブタスクを含む大きなタスクがある場合、タスクをよりシンプルなサブタスクに分解し、結果が改善されるにつれて徐々に構築していくことができます。こうすることで、プロンプトの設計プロセスが複雑になりすぎるの

プロンプトの例 前のセクションでは、LLMにプロンプトを与える方法の基本的な例を紹介しました。 このセクションでは、プロンプトがどのように異なるタスクを実行するために使用されるかのさらなる例を示し、その過程でキーとなるコンセプトを紹介します。概念を学ぶ最良の方法は、例を通して理解することです。以下では、上手く作成されたプロンプトが異なるタイプのタスクを実行するためにどのように使用されるかについていくつかの例をカバーしています。 トピック： テキスト要約 情報抽出 質問応答 テキスト分類 会話 コード生成 推論 テキスト要約 自然言語生成の標準的なタスクの1つに、テキスト要約があります。テキスト要約にはさまざまなフレーバーやドメインが含まれることがあります。実際、言語モデルの最も有望な応用の1つは、記事やコンセプトをクイックで読みやすい要約にまとめる能力です。プロンプトを使用して基本的な要約

プロンプトエンジニアリング技術 この時点で明らかになっているように、異なるタスクでより良い結果を得るために、プロンプトを改善することが役立つことがわかりました。これがプロンプトエンジニアリングのアイデア全体です。 基本的な例は楽しかったですが、このセクションでは、より高度なプロンプトエンジニアリング技術を紹介し、より複雑で興味深いタスクを達成することができます。

プロンプトの基礎 基本的なプロンプト シンプルなプロンプトでも多くを達成できますが、結果の品質は提供する情報の量とそのクオリティによって異なります。プロンプトには、モデルに渡す指示や質問のような情報、文脈、入力、または例などの他の詳細を含めることができます。これらの要素を使用して、モデルをより適切に指示し、より良い結果を得ることができます。 まずは、シンプルなプロンプトの基本例について説明しましょう。 プロンプト

ChatGPT プロンプトエンジニアリング このセクションでは、ChatGPTの最新のプロンプトエンジニアリング技術について、ヒント、アプリケーション、制限、論文、参考資料を追加しています。 トピック： ChatGPTの紹介 会話タスクのレビュー ChatGPTとの会話 ChatGPTの紹介 ChatGPTは、会話形式でのやりとりができる新しいモデルであり、OpenAIによってトレーニングされています。このモデルは、プロンプトに従って指示を実行し、対話の文脈に適切な応答を提供するようにトレーニングされています。ChatGPTは、質問に答えたり、レシピの提案、特定のスタイルで歌詞を書いたり、コードを生成したりするのに役立ちます。 ChatGPTは、人間のフィードバックからの強化学習（RLHF）を使用してトレーニングされています。このモデルは、以前のGPTのイテレーションよりもはるかに能力があ

LLMの設定 プロンプトを使用する場合、APIを経由、または直接LLMと対話することになります。いくつかのパラメータを設定することで、プロンプトに異なる結果を得ることができます。 Temperature - 簡潔に言うと、この値が低ければ低いほど、最も確率が高い回答が常に選ばれるため、結果はより決定論的になります。この値を上げると、ランダム性が増し、より多様で創造的なアウトプットが可能になります。つまり、他の回答の可能性のある重みを増やすことになります。応用例としては、事実に基づくQAなどでは、この値を低くして、より事実に基づいた簡潔な回答を促すとよいでしょう。逆に、詩の生成やその他の創造的なタスクでは、temperatureを上げると効果的かもしれません。 Top_p - 同様に、核サンプリングと呼ばれるサンプリング手法であるtop_pでは、モデルが応答を生成する際の決定性をコントロール

Prompt Engineering Guide プロンプトエンジニアリングは、言語モデル（LMs）を効率的に使用するためのプロンプトを開発および最適化する比較的新しい学問分野です。プロンプトエンジニアリングのスキルを身につけることで、大規模言語モデル（LLMs）の能力と限界をより理解することができます。 研究者は、プロンプトエンジニアリングを使用して、質問応答や算術推論などの一般的なおよび複雑なタスクのLLMsの能力を向上させます。開発者は、LLMsやその他のツールとのインタフェースとなる強固で効果的なプロンプテクニックを設計するためにプロンプトエンジニアリングを使用します。 プロンプトエンジニアリングは、プロンプトの設計と開発に限らず、LLMsとのインタラクションおよび開発に役立つ幅広いスキルと技術を含みます。これは、LLMsとインタフェースすること、ビルドすること、能力を理解すること

はじめに プロンプトエンジニアリングは、言語モデル（LM）を効率的に使用するためのプロンプトの開発と最適化のための比較的新しい学問分野です。プロンプトエンジニアリングのスキルは、大規模な言語モデル（LLM）の能力と限界をより良く理解するのに役立ちます。研究者は、プロンプトエンジニアリングを使用して、質問応答や算術推論などの一般的で複雑なタスクの幅広い範囲でLLMの能力を向上させます。開発者は、プロンプトエンジニアリングを使用して、LLMやその他のツールとインターフェースする堅牢で効果的なプロンプティング技術を設計します。 このガイドでは、プロンプトの基本をカバーし、大規模な言語モデル（LLM）とやり取りして指示する方法の概要を提供します。 すべての例は、OpenAIのプレイグラウンドを使用した text-davinci-003 でテストされています。デフォルトの設定、すなわち temper

Prompt Engineering Guide プロンプトエンジニアリングは、言語モデル（LMs）を効率的に使用するためのプロンプトを開発および最適化する比較的新しい学問分野です。プロンプトエンジニアリングのスキルを身につけることで、大規模言語モデル（LLMs）の能力と限界をより理解することができます。 研究者は、プロンプトエンジニアリングを使用して、質問応答や算術推論などの一般的なおよび複雑なタスクのLLMsの能力を向上させます。開発者は、LLMsやその他のツールとのインタフェースとなる強固で効果的なプロンプテクニックを設計するためにプロンプトエンジニアリングを使用します。 プロンプトエンジニアリングは、プロンプトの設計と開発に限らず、LLMsとのインタラクションおよび開発に役立つ幅広いスキルと技術を含みます。これは、LLMsとインタフェースすること、ビルドすること、能力を理解すること