Setup Context Window setting dalam LM Studio untuk memori AI lebih baik

Tekan play pada video. Ia akan terus lompat ke bahagian yang menjawab tajuk di atas — tak perlu tonton video penuh.

LM Studio OpenAI Tokenizer AI Tools Optimization

Panduan untuk melaras saiz context window bagi mengelakkan masalah AI 'lupa' topik perbualan dan memahami had token dalam model tempatan.

Memahami Cara AI Mengira Teks

AI tidak mengira jumlah perkataan atau karakter secara tradisional. Ia menggunakan 'Tokens'. Sebagai contoh, satu ayat mungkin mempunyai 26 perkataan tetapi dikira sebagai 38 tokens oleh LLM.

Punca AI Menjadi 'Pelupa'

Apabila indikator penggunaan token melebihi 100%, AI akan mula membuang maklumat terawal dalam perbualan untuk memberi ruang kepada token baharu. Ini menyebabkan AI 'lupa' topik asal.

Kesan Menambah Context Window

Meningkatkan Context Window (contohnya dari 2048 ke 4096) membolehkan AI mengingati perbualan yang lebih panjang, namun ia akan menggunakan lebih banyak memori komputer (VRAM/RAM) anda.

More from AI Lokal & Deployment Open Source

Install dan jalankan AI model Smollm2 secara offline dengan Docker

Automasikan task web browser guna Local LLM (Ollama) & DeepSeek

Browser Use Ollama

Setup model GPT-OSS menggunakan LM Studio CLI

LM Studio OpenAI

Enable Flash Attention dan Quantization dalam LM Studio untuk performance boost

Panduan run Llama 3.1 secara local guna LM Studio

LM Studio Llama 3.1

Bina AI Tutor Socratic Sendiri dengan Open WebUI dan Prompt Khas

Open WebUI Claude