Learning Timeline
Key Insights
Keperluan Hardware untuk Model Besar
Untuk menjalankan model 70B seperti DeepSeek dengan lancar, disarankan mempunyai sekurang-kurangnya 64GB RAM (seperti pada Mac Studio) agar tidak berlaku 'swap' memory yang memperlahankan prestasi.
Sokongan Streaming API
Exo Labs kini menyokong streaming output dalam Fabric. Jika teks tidak muncul serta-merta, pastikan endpoint API anda dikonfigurasi dengan betul untuk menyokong 'stream: true'.
Kelebihan Local Cluster
Menggunakan Exo Labs membolehkan anda menggabungkan kuasa pemprosesan beberapa komputer (Mac dan Nvidia) untuk menjalankan model yang terlalu besar untuk satu mesin tunggal.
Prompts
Ujian Penulisan Kreatif
Target:
Fabric CLI (via Exo Labs)
Tell me a story.
Ujian Ringkasan Teks
Target:
Fabric CLI (via Exo Labs)
Summarize the following text and provide the main key points.
Step by Step
Cara Integrasi Exo Labs dengan Fabric CLI
- Pastikan cluster Exo Labs anda telah diaktifkan dan model (contoh: DeepSeek 70B) sudah di-load sepenuhnya ke dalam RAM/GPU.
- Buka Terminal dan jalankan proses update Fabric untuk memastikan anda mempunyai versi terbaru yang menyokong Exo Labs.
- Jalankan command `fabric --setup` untuk memulakan konfigurasi API.
- Pilih 'XO' atau 'OpenAI-compatible API' daripada senarai provider yang muncul.
- Masukkan URL API endpoint yang diberikan oleh cluster Exo Labs anda (biasanya alamat localhost atau IP local host utama).
- Sahkan konfigurasi dan simpan tetapan tersebut.
- Uji sambungan dengan menghantar input teks ringkas menggunakan pipe command ke Fabric.
- Gunakan flag `-p` atau `--pattern` diikuti dengan nama pattern Fabric (contoh: summarize) untuk mula memproses data.
