Panduan run Llama 3.1 secara local guna LM Studio | Alpha | PandaiTech

Panduan run Llama 3.1 secara local guna LM Studio

Langkah-langkah download dan jalankan model Llama 3.1 terus dari hard drive komputer anda secara offline untuk privasi data maksimum.

Learning Timeline
Key Insights

Kelebihan Privasi Maksimum

Model ini berjalan sepenuhnya di atas hardware anda. Anda boleh menutup sambungan internet (offline) semasa menggunakannya untuk memastikan data sensitif tidak dihantar ke mana-mana API atau server luar.

Tips Pemilihan Model

Sentiasa utamakan 'Instruct version' berbanding model asas (base model) jika matlamat anda adalah untuk melakukan tugasan seperti menulis esei, ringkasan, atau bantuan coding kerana ia lebih faham konteks arahan manusia.
Prompts

Ujian Prestasi Model Local

Target: Llama 3.1 (via LM Studio)
write me an essay about penguins
Step by Step

Cara Download dan Jalankan Llama 3.1 di LM Studio

  1. Buka aplikasi LM Studio pada komputer atau laptop anda.
  2. Klik pada ikon 'Search' (kanta pembesar) yang terletak di bar sisi sebelah kiri.
  3. Taip 'Llama 3.1' pada ruangan carian di bahagian atas.
  4. Cari senarai model yang muncul dan pilih versi 'Instruct' (contoh: Llama-3.1-8B-Instruct) untuk prestasi yang lebih baik dalam mengikut arahan.
  5. Pilih kualiti model (quantization) yang sesuai dengan spesifikasi RAM anda dan klik butang 'Download'.
  6. Tunggu sehingga proses muat turun selesai sepenuhnya.
  7. Klik pada ikon 'AI Chat' (ikon gelembung perbualan) di bar sisi kiri untuk membuka ruangan chat baru.
  8. Klik pada menu dropdown 'Select a model to load' yang berada di bahagian atas skrin.
  9. Pilih model Llama 3.1 yang telah anda muat turun tadi dan tunggu bar progress 'Loading Model' selesai.
  10. Taip prompt atau soalan anda di ruangan chat di bahagian bawah dan tekan Enter untuk mula menjana jawapan secara local.

More from AI Lokal & Deployment Open Source

View All