上下文工程是一個在AI領域中逐漸受到關注的新術語。對話的重心正在從“提示工程”轉向一個更廣泛、更強大的概念：上下文工程。Tobi Lutke將其描述為“為任務提供所有上下文的藝術，讓大型語言模型能夠合理地解決問題。
隨著代理人的興起，我們載入到“有限工作記憶”中的信息變得更加重要。我們看到，決定代理人成功或失敗的主要因素是你所提供的上下文的質量。大多數代理失敗不再是模型失敗，而是上下文失敗。
什麼是上下文？
要理解上下文工程，我們必須首先擴展我們對“上下文”的定義。它不僅僅是你發送給大型語言模型的單一提示。可以將其視為模型在生成回應之前所看到的所有內容。
指示 / 系統提示：一組初始指示，定義模型在對話過程中的行為，可以/應該包括範例、規則等。
使用者提示：使用者的即時任務或問題。
狀態 / 歷史（短期記憶）：當前對話，包括導致此刻的使用者和模型回應。
長期記憶：持久的知識庫，從許多先前的對話中收集，包含學習到的使用者偏好、過去專案的摘要或被告知要記住的事實，以便未來使用。
檢索信息（RAG）：外部的、最新的知識，來自文件、數據庫或API的相關信息，以回答特定問題。
可用工具：它可以調用的所有功能或內建工具的定義（例如，check_inventory、send_email）。
結構化輸出：模型回應格式的定義，例如JSON對象。
建立強大且可靠的AI代理不再只是尋找神奇的提示或模型更新。這關乎上下文的工程，並在正確的時間以正確的格式提供正確的信息和工具。這是一個跨功能的挑戰，涉及理解您的業務使用案例、定義輸出，以及結構化所有必要的信息，以便大型語言模型能夠“完成任務”。