Learning Timeline
Key Insights
Keselamatan API Key
LITELLM_SALT_KEY sangat penting kerana ia digunakan untuk encrypt API key provider (seperti Claude/GPT) yang anda simpan dalam database LiteLLM. Jangan tukar key ini selepas server mula digunakan.
Kelebihan Virtual Keys
Gunakan Virtual Keys untuk membahagikan akses kepada pengguna yang berbeza. Anda boleh menyekat pengguna tertentu daripada menggunakan model yang mahal dan menetapkan 'Monthly Budget' untuk mengelakkan bil melambung.
Networking Localhost
Jika Open WebUI dan LiteLLM berada dalam Docker network yang sama, anda boleh menggunakan 'http://localhost:4000' atau nama container sebagai Base URL untuk komunikasi yang lebih pantas.
Step by Step
Langkah 1: Penyediaan Server dan Instalasi LiteLLM
- Akses terminal server atau VPS anda (Contoh: melalui Browser Terminal di portal VPS).
- Muat turun (clone) repository LiteLLM dari GitHub ke dalam server anda.
- Taip 'ls' untuk melihat senarai folder, kemudian taip 'cd litellm' untuk masuk ke dalam direktori tersebut.
- Taip 'nano .env' untuk membuka text editor bagi mengedit file konfigurasi hidden.
- Masukkan baris 'LLM_MASTER_KEY="SK-RANDOMLY_GENERATED_KEY"' (Gunakan password generator untuk kunci yang selamat).
- Masukkan baris 'LITELLM_SALT_KEY="SK-RANDOMLY_GENERATED_KEY"' untuk tujuan enkripsi kredensial API.
- Tekan 'Ctrl + X', kemudian 'Y', dan 'Enter' untuk simpan perubahan file.
- Jalankan command 'docker-compose up -d' untuk membina dan menjalankan container LiteLLM secara background.
- Taip 'docker ps' untuk memastikan status container adalah 'healthy' dan sedang berjalan.
Langkah 2: Konfigurasi Model AI di Admin Panel
- Dapatkan API Key dari provider AI pilihan anda (OpenAI, Anthropic, atau X.ai untuk Grok).
- Buka browser dan layari alamat IP server anda dengan port 4000 (Contoh: http://123.456.78.90:4000).
- Klik pada butang 'LiteLLM Admin Panel UI'.
- Log masuk menggunakan username 'admin' dan password 'LLM_MASTER_KEY' yang anda tetapkan dalam file .env tadi.
- Pilih provider (Contoh: Anthropic), kemudian pilih model spesifik (Contoh: Claude 3.7) atau pilih 'All Models'.
- Masukkan API Key provider tersebut ke dalam ruangan yang disediakan dan klik 'Add Model'.
- Ulangi proses ini untuk provider lain seperti Grok atau OpenAI.
Langkah 3: Setup Virtual Keys dan Kawalan Bajet
- Klik pada menu 'Virtual Keys' di bahagian atas kiri dashboard LiteLLM.
- Klik 'Create New Key'.
- Berikan nama pada key tersebut (Contoh: 'Kids-Access') untuk memudahkan pemantauan.
- Pilih model mana yang dibenarkan untuk diakses oleh key ini (Contoh: Claude 3.7 sahaja).
- Buka bahagian 'Optional Settings' untuk menetapkan had bajet (Contoh: Max budget $20 secara bulanan).
- Klik 'Generate' dan salin Virtual Key yang terhasil. Simpan di tempat yang selamat.
Langkah 4: Integrasi ke Open WebUI
- Buka interface Open WebUI anda.
- Pergi ke bahagian 'Settings' dan cari konfigurasi 'OpenAI API'.
- Pada ruangan 'Base URL', masukkan 'http://localhost:4000' (Jika Open WebUI dan LiteLLM berada pada server yang sama).
- Masukkan Virtual Key yang anda jana dari LiteLLM ke dalam ruangan 'API Key'.
- Klik 'Verify Connection' untuk memastikan sambungan berjaya.
- Klik 'Save' dan kini anda boleh memilih model Claude, Grok, atau GPT terus dari chat interface Open WebUI.
