Install dan jalankan AI model Smollm2 secara offline dengan Docker | Alpha | PandaiTech

Install dan jalankan AI model Smollm2 secara offline dengan Docker

Cara mudah untuk pull LLM dari Docker Hub, adjust memory allocation untuk prestasi optimum, dan mula berinteraksi dengan AI tanpa sambungan internet.

Learning Timeline
Key Insights

Punca Model Gagal Berfungsi

Jika model AI tidak dapat dijalankan, ia biasanya bukan disebabkan had komputer anda secara keseluruhan, tetapi kerana Docker tidak diberikan akses memori (RAM) yang cukup. Pastikan 'Memory Limit' di bahagian Resources tidak berada di bawah 4GB-6GB.

Kelebihan SmolLM2

SmolLM2 adalah pilihan terbaik untuk pengguna yang mahukan keseimbangan antara saiz file yang kecil dan prestasi jawapan yang berkualiti. Ia boleh dijalankan dengan lancar pada kebanyakan laptop moden.
Prompts

Ujian Sambungan Offline

Target: SmolLM2 (Local Chat)
Hi
Step by Step

Cara Install dan Konfigurasi SmolLM2 di Docker

  1. Buka aplikasi Docker Desktop di komputer anda.
  2. Cari model 'Smollm2' melalui bar carian atau navigasi ke senarai model yang disediakan dalam Docker Hub.
  3. Klik butang 'Pull' pada model SmolLM2 untuk mula memuat turun (download) versi terbaru ke dalam mesin local anda.
  4. Jika proses 'Pull' melalui UI gagal, buka Terminal dan jalankan command: `docker model pull smollm2`.
  5. Setelah download selesai, klik ikon 'Settings' (ikon gear) di bahagian atas kanan tetingkap Docker.
  6. Pilih menu 'Resources' pada bar sisi (sidebar) sebelah kiri.
  7. Cari bahagian 'Memory' dan gerakkan slider untuk meningkatkan had memori (contoh: naikkan ke 28GB jika anda mempunyai 32GB RAM).
  8. Klik butang 'Apply & Restart' untuk menyimpan konfigurasi memori yang baru.
  9. Pergi ke senarai model yang telah dimuat turun dan klik butang 'Run' pada model SmolLM2.
  10. Mulakan perbualan dengan menaip prompt dalam ruangan chat yang tersedia.
  11. Untuk menguji fungsi offline, matikan sambungan Wi-Fi anda, mulakan chat baru, dan hantar mesej untuk melihat respon AI tanpa internet.

More from AI Lokal & Deployment Open Source

View All