Learning Timeline
Key Insights
Pemilihan Model Berdasarkan Task
Gunakan model besar (seperti Gemini) untuk task visual yang kompleks, tetapi gunakan model yang lebih kecil dan murah untuk task pengekstrakan data berstruktur seperti Form 4 extraction bagi menjimatkan kos operasional.
Teknik Routing Pintar
Jangan proses semua fail dengan cara yang sama. Dengan mengklasifikasikan fail di peringkat awal (router), anda boleh menggunakan prompt dan model yang berbeza untuk setiap jenis dokumen, yang menjadikan pipeline lebih efisien dan tepat.
Prompts
Document Classification Logic
Target:
DSPy Signature / LLM
Given these images (the first few pages of a document), identify the type. Options: [SEC filing, Contract, City Infrastructure Image]. Return only the document type.
Step by Step
Membina Pipeline Klasifikasi Fail Automatik dengan DSPy
- Import library DSPy dan library attachments untuk mengendalikan input pelbagai jenis media secara seragam.
- Sediakan konfigurasi API key untuk dua jenis model: Model standard (LLM) untuk teks dan Visual Model (seperti Gemini) untuk pengecaman imej.
- Gunakan fungsi 'classify_file' untuk menghantar dokumen (PDF atau Imej) ke program DSPy.
- Ekstrak tiga muka surat pertama atau beberapa imej pertama daripada dokumen asal sebagai input field.
- Tentukan 'Document Type' sebagai signature output untuk menentukan sama ada fail tersebut adalah SEC filing, kontrak, atau imej infrastruktur.
- Gunakan logik 'if-else' atau 'switch' berdasarkan hasil klasifikasi untuk menentukan laluan (routing) proses seterusnya.
- Untuk fail SEC Filing: Jalankan fungsi 'form4 extraction' menggunakan model yang lebih kecil untuk menjimatkan kos.
- Untuk fail Kontrak: Panggil fungsi 'recursive summarization' untuk merumus keseluruhan dokumen dan kesan sempadan (boundaries) dokumen.
- Untuk imej Infrastruktur: Hantar fail ke Visual Model untuk melakukan tafsiran visual (visual interpretation) yang lebih mendalam.