Anda rasa selamat guna ChatGPT atau Gemini untuk semua kerja?
Cuba bayangkan senario ini.
Anda sedang hiking di kawasan pedalaman. Atau mungkin berlaku gangguan internet seluruh negara.
Tiba-tiba… AI yang selama ini anda bergantung harap, terus jadi tidak berguna. “Connection Error”.
Kita terlalu selesa dengan Cloud AI. Kita lupa yang akses internet itu satu kemewahan, bukan jaminan.
Sebab itu kami di PandaiTech mula bereksperimen dengan Local AI.
Konsep dia mudah.
Kita “tanam” otak AI tu terus dalam phone. Tak perlu internet. Tak perlu risau data anda dihantar ke server luar. Semuanya diproses menggunakan chip dalam phone anda sendiri.
Ini cara paling mudah untuk mulakan langkah pertama anda ke arah kebebasan daripada cloud.
Tool Yang Anda Perlu
Ada satu app ni nama dia PocketPal AI.
Korang boleh cari dan download sekarang.
Tapi fahamkan dulu konsep asas dia. App ini bukanlah AI itu sendiri. Ia bertindak sebagai operating system atau interface sahaja.
Macam rangka kereta tanpa enjin.
Kita kena masukkan “enjin” (Model AI) ke dalam app ni supaya dia boleh berfungsi.
Langkah Demi Langkah
Proses dia tak susah, tapi kena teliti sikit.
1. Setup Interface Lepas download PocketPal AI, buka menu (line 3 atas kiri). Terus pergi ke bahagian ‘Models’.
2. Test Model Kecil Dulu Jangan terus tamak nak install model paling power. Phone anda mungkin tak mampu tampung.
Kami cadangkan download model saiz kecil dulu, contohnya SmolVLM-500M-Instruct. Tujuannya untuk test sama ada phone anda boleh proses next-token prediction ni dengan lancar atau tidak.
3. Explore Hugging Face (Advanced) Kalau anda nak model yang lebih spesifik, tekan butang tambah di bawah dan pilih Add from Hugging Face. Dekat sini ada beribu jenis model. Contohnya DeepSeek R1 yang tengah viral sekarang.
Realiti Hardware Phone Anda
TAPI… ada satu amaran besar kami kena bagi.
Masa kami test guna Google Pixel 10 pun, kami kena hati-hati pilih model.
Bila anda browse list model dalam Hugging Face tu, perhatikan saiz file dia.
Ada model yang saiznya sampai 16.4GB.
Kalau nampak tanda “memory warning”, itu bermaksud model tu terlalu berat untuk phone anda.
Ingat, Local AI ni makan storage dan processing power secara direct.
Lagi besar model, lagi cepat bateri phone anda kering. Phone pun boleh jadi panas macam seterika.
Jadi, ukur baju di badan sendiri. Jangan paksa phone run model 70B parameter kalau RAM ciput.
Kenapa Perlu Susah Payah?
Mungkin ada yang tanya, “Kenapa nak leceh setup benda ni? Buka je la ChatGPT.”
Jawapannya adalah Redundancy dan Privacy.
Bila anda run local:
- Offline Capability. Bayangkan anda camping dalam hutan berminggu-minggu. Tiba-tiba berlaku kecemasan dan perlukan panduan survival atau medical. Masa tu Local AI ni jadi penyelamat bila Google dah tak boleh access.
- Data Sovereignty. Data conversation anda tak keluar dari phone. Sesuai untuk anda yang paranoid tentang privacy atau nak proses dokumen sulit.
Dunia AI makin bergerak ke arah edge computing.
Jangan jadi pengguna pasif je. Mula belajar control teknologi ni dalam device sendiri.
Kalau nak tengok tutorial video ringkas, boleh pergi ke video TikTok kami ni; Setup local AI dalam phone.
Selamat mencuba.