Learning Timeline
Key Insights
Had Pengguna Mac M-Series
Buat masa ini, Docker pada Mac tidak mempunyai akses terus ke GPU M-series. Pengguna Mac digalakkan menjalankan Ollama secara native jika memerlukan prestasi GPU sepenuhnya.
Kelebihan Teknik Isolation
Menjalankan AI dalam Docker bukan sahaja lebih selamat (kerana AI tidak boleh akses file system peribadi anda), malah memudahkan pengurusan model tanpa mengganggu library sistem utama.
Step by Step
Penyediaan Persekitaran Docker untuk Ollama
- Pasang Docker Desktop pada sistem operasi anda (Windows, Mac, atau Linux).
- Buka terminal atau aplikasi WSL (Ubuntu) jika anda menggunakan Windows.
- Untuk pengguna kad grafik Nvidia, pasang 'Nvidia Container Toolkit' melalui terminal (menggunakan perintah APT atau rujukan dokumentasi Nvidia) untuk membolehkan Docker mengakses GPU.
- Pastikan servis Docker sedang berjalan dengan lancar sebelum meneruskan ke langkah seterusnya.
Menjalankan Ollama dalam Container yang Selamat
- Buka terminal/WSL.
- Masukkan command 'docker run' yang merangkumi akses '--gpus all' dan tetapan volume untuk menyimpan data alama.
- Tetapkan 'port forwarding' pada 11434:11434 untuk akses API.
- Gunakan flag security-opt untuk menyekat 'privileges' container bagi memastikan proses AI diasingkan sepenuhnya daripada OS.
- Tekan 'Enter' untuk memulakan proses download image dan menjalankan container.
- Taip command 'docker ps' di terminal untuk mengesahkan container Ollama sudah berstatus 'Up' atau sedang berjalan.
Menjalankan Model AI (DeepSeek) dalam Docker
- Kenalpasti nama container Ollama yang sedang berjalan (biasanya dinamakan 'ollama').
- Taip command 'docker exec -it' diikuti dengan nama container dan arahan untuk menjalankan model (contoh: deepseek-r1).
- Tunggu sehingga proses download model selesai di dalam container.
- Mulakan sesi chat dengan AI secara terus dalam terminal yang terasing.
- Buka 'Task Manager' atau tool monitoring GPU untuk melihat lonjakan prestasi (performance spike) bagi mengesahkan AI menggunakan hardware GPU anda, bukan CPU.
