Learning Timeline
Key Insights
Ciri Auto-Discovery Rangkaian
Node Exo Labs akan menemui satu sama lain secara automatik melalui rangkaian tempatan (LAN/Wi-Fi). Pastikan semua Mac berada dalam subnet yang sama supaya proses 'magic' discovery ini berfungsi tanpa konfigurasi manual IP.
Integrasi API OpenAI
Exo Labs menyediakan API yang serasi (compatible) dengan format OpenAI. Ini bermakna anda boleh menyambungkan cluster AI tempatan anda ke tool pihak ketiga seperti Fabric atau sebarang aplikasi yang menyokong API ChatGPT.
Peningkatan Prestasi (Teraflops)
Menambah node ke dalam cluster akan meningkatkan jumlah TFLOPS yang tersedia. Sebagai contoh, cluster dengan 5 buah Mac boleh menandingi atau mendekati prestasi GPU high-end seperti RTX 4090 untuk tugasan inference LLM.
Step by Step
Persediaan Persekitaran Python & MLX
- Buka Terminal pada setiap peranti Mac yang ingin digunakan dalam cluster.
- Pastikan Xcode Command Line Tools telah dipasang dengan menjalankan arahan `xcode-select --install` untuk mendapatkan PIP.
- Pasang Python versi 3.12 (disyorkan menggunakan pyenv).
- Tetapkan Python 3.12 sebagai versi global menggunakan arahan `pyenv global 3.12`.
- Kemaskini sesi terminal anda dengan arahan `source ~/.zshrc`.
- Sahkan versi Python dengan menaip `python --version` (pastikan ia menunjukkan 3.12.x).
- Pasang library MLX dengan menjalankan arahan `pip install mlx`.
Pemasangan & Konfigurasi Exo Labs
- Salin (clone) repository Exo Labs dari GitHub ke dalam setiap Mac menggunakan arahan `git clone [URL-REPOS-EXO]`.
- Masuk ke dalam direktori Exo yang telah dimuat turun menggunakan arahan `cd exo`.
- Jalankan aplikasi Exo pada Mac pertama dengan menaip `exo` atau arahan eksekusi yang ditetapkan dalam direktori tersebut.
- Ulangi langkah menjalankan arahan `exo` pada semua baki unit Mac yang lain dalam rangkaian yang sama.
- Perhatikan output terminal; Exo akan melakukan 'Auto Discover' untuk mencari dan menghubungkan semua node Mac ke dalam satu cluster secara automatik.
- Buka Web Interface (GUI) yang disediakan oleh Exo melalui pelayar web (browser) untuk mula memuatkan (load) LLM.
