|
項目主要包含以下內(nèi)容：
什么是prompt？ Prompt包括輸入給語言模型（為了實現(xiàn)所需任務(wù)）的指令和文本。提示工程指開發(fā)和優(yōu)化prompt，以有效地將語言模型（LM）用于各種任務(wù)中。提示工程可以幫助人工智能工程師和研究人員改進(jìn)和高效地使用語言模型。
Prompt包含四部分： （1）指令：希望模型執(zhí)行的具體任務(wù)或指示 （2）背景：補充的外部信息或上下文信息，可以引導(dǎo)模型產(chǎn)生更好的輸出 （3）輸入數(shù)據(jù)：想要解決的問題或者是輸入 （4）輸出指示：輸出的類型或格式 為什么學(xué)習(xí)prompt engineering？ （1）對推動相關(guān)研究至關(guān)重要 （2）有助于測試和評估LLM的局限性 （3）結(jié)合LLM實現(xiàn)各種創(chuàng)新應(yīng)用 視頻還介紹一些使用不同prompt的常見任務(wù)示例，小編也在openai的playground進(jìn)行了相應(yīng)的實操。 Text summarization
實操： 
實操：
Text Classification：
實操：
Role Playing：
實操：
Reasoning：
實操：
許多先進(jìn)的prompt技術(shù)已被用于提高復(fù)雜任務(wù)的性能： （1）Few-Shot prompts Few-Shot prompts允許我們在提示中提供一些示例，以引導(dǎo)模型產(chǎn)生更好的輸出。
（2）Chain-of-thought (CoT) prompting 我們可以進(jìn)一步改進(jìn)prompt去指示大模型對任務(wù)進(jìn)行推理，這對于一些需要推理的任務(wù)非常有用。 可以將CoT prompt與Few-Shot prompt相結(jié)合，以獲得更好的結(jié)果。
還可以在沒有示例的情況下進(jìn)行Zero-Shot CoT。 Zero-Shot CoT
(3) Self-Consistency 自洽性旨在改進(jìn)用于CoT 提示的貪心解碼策略。這一想法是通過Few-Shot CoT對多種多樣的推理路徑進(jìn)行采樣，并在這些采樣中選擇最一致的答案。這有助于提高CoT提示在涉及算術(shù)和常識推理任務(wù)上的性能。
（4）Knowledge Generation Prompting 該技術(shù)通過將附加知識作為上下文的一部分來提高復(fù)雜任務(wù)（如常識推理）的結(jié)果。上下文中使用的知識由模型生成，并用于進(jìn)行預(yù)測。最終選擇置信度最高的預(yù)測結(jié)果。 第一步是生成知識。下圖是如何生成知識的示例。
然后使用生成的知識增強上下文，以獲得答案建議。
最終選擇最高置信度的回答作為最終答案。 （5）Program-aided Language Model (PAL) 思維鏈提示是引導(dǎo)模型更好地執(zhí)行復(fù)雜推理任務(wù)的一種很好的方法，然而有時CoT還不夠，因為這種方法只依賴于從模型中生成的文本。程序輔助語言模型（PAL）使用LLM讀取問題并生成中間推理步驟，可以更好地解決推理任務(wù)。
指南部分主要包括以下內(nèi)容：
指南中的內(nèi)容與講座視頻中的內(nèi)容基本一致，對于開發(fā)者來說該指南是一個很好的進(jìn)行prompt engineering的操作手冊。其中會有一些細(xì)節(jié)上的建議，比如當(dāng)你想了解“antibiotics（抗生素）”是什么意思的時候，你可以像下圖一樣設(shè)計prompt。
而不是簡單的設(shè)計成——Explain antibiotics ，指南的作者認(rèn)為“A:”是一種用于回答問題的顯式提示格式。 與視頻中不同的是指南中還講了Adversarial Prompting部分，對抗性提示是提示工程中的一個重要部分，因為它有助于幫助開發(fā)者了解LLM所面臨的風(fēng)險和安全問題。
通過prompt劫持模型輸出的一種流行方法如下，即Ignore Previous Instructions：
這種攻擊的思想是，它通過插入一條指令來劫持模型輸出，以忽略原始指令并執(zhí)行插入的指令，這可能會導(dǎo)致模型產(chǎn)生有害的輸出。 另一種常見的提示攻擊旨在泄露可能包含機密或?qū)Ｓ行畔⒌奶崾?，即Prompt Leaking：
上面的輸出返回示例中的內(nèi)容可能是機密信息。這里的建議是要非常小心地傳遞提示，也許可以嘗試一些技巧來避免泄漏。 一些模型會避免響應(yīng)不道德的指令，但如果以巧妙的方式將請求情境化，則可以繞過道德檢測，即Jailbreaking：
指南中也提到后續(xù)會更新一些應(yīng)對Adversarial Prompting的策略和技術(shù)。 感興趣的讀者可以去觀看視頻并按照示例去實際操作，從而熟練掌握prompt的相關(guān)技術(shù)。 |
|
|
