Learning Timeline
Key Insights
Perbezaan Trimming vs Summarization
Trimming adalah percuma dan pantas (tiada latency) tetapi berisiko kehilangan maklumat lama. Summarization mengekalkan semua info penting tetapi menambah kos API dan latency kerana memerlukan satu lagi call kepada model untuk meringkaskan teks.
Peraturan Emas 'Do Not Break Turns'
Jangan lakukan trimming di tengah-tengah 'turn'. Satu turn merangkumi mesej user sehingga ke respon terakhir ejen. Memisahkan blok ini akan menyebabkan ejen hilang fokus atau 'lose track' terhadap objektif task.
Prompt Best Practices untuk Jimat Context
Gunakan bahasa yang eksplisit dan berstruktur. Terlalu banyak tool definition dalam context akan menyebabkan 'noise'. Lebih baik gunakan tool yang khusus (targeted) dengan boundary yang jelas daripada memasukkan semua tool ke dalam satu ejen.
Step by Step
Mengurus Context Life Cycle dalam Agent Workflows
- Kenal pasti jenis workflow ejen sama ada 'Knowledge heavy', 'Tool heavy', atau 'Conversational' untuk menentukan strategi pengurusan context.
- Pantau penggunaan token dalam session untuk mengesan 'context burst' (lonjakan penggunaan context window).
- Gunakan teknik 'Reshape and Fit' untuk mengecilkan saiz context tanpa kehilangan fungsi ejen.
- Aktifkan 'Context Trimming' dengan menetapkan nilai 'n' turns terakhir untuk mengekalkan mesej terbaru dan membuang sejarah lama.
- Gunakan 'Context Compaction' untuk membuang payload atau hasil tool call yang besar dalam sejarah perbualan sambil mengekalkan struktur placeholder tool.
- Laksanakan 'Context Summarization' untuk memampatkan perbualan lama menjadi satu objek 'Memory' yang padat sebelum diinject semula ke dalam context.
- Tetapkan threshold amaran pada 40% atau 80% kapasiti context window untuk mencetuskan teknik pembersihan secara automatik.
- Buka halaman 'Configurations' dalam OpenAI Agents SDK demo untuk memilih teknik pengurusan context yang sesuai bagi ejen spesifik.
