Redaksi akdah.ac.id – Cisco AI baru saja memperkenalkan sistem yang dapat mengatasi tantangan dalam aplikasi model bahasa besar (LLM) melalui inovasi yang dikenal sebagai FAPO, atau Fully Automated Prompt Optimization. Sistem ini hadir untuk meningkatkan akurasi dan efisiensi dalam proses pembuatan prompt, yang selama ini dianggap sebagai bagian paling sulit dalam pengembangan aplikasi LLM. Melalui pendekatan ini, Cisco berharap dapat menjawab kebutuhan yang semakin mendesak dalam industri kecerdasan buatan.
Pengenalan FAPO
FAPO merupakan sistem yang didorong oleh Claude Code, yang berfungsi untuk mengoptimalkan pipeline LLM secara otomatis, mulai dari prompt dasar hingga mencapai tingkat akurasi yang diinginkan. Pengguna hanya perlu menyediakan dataset dan prompt awal, kemudian FAPO akan melakukan evaluasi, mengklasifikasikan kegagalan, dan mengusulkan variasi sebagai langkah perbaikan. Proses ini diulang hingga target akurasi tercapai, dengan seluruh siklus diatur oleh agen Claude Code.
Dalam evaluasi yang dilaporkan oleh Cisco, FAPO menunjukkan kinerja yang lebih baik dibandingkan dengan GEPA (Generalized Evolutionary Prompt Architecture), yang merupakan metode optimasi prompt terdepan, pada 15 dari 18 perbandingan model-benchmark yang dilakukan. Keunggulan ini menjadikan FAPO sebagai alternatif yang semakin menarik dalam dunia teknologi optimasi prompt.
Bagaimana FAPO Bekerja
FAPO menggunakan siklus tertutup dalam enam tahap setiap kali melakukan optimasi. Tahap pertama adalah evaluasi, di mana sistem menjalankan pipeline pada dataset yang diberikan dan mengumpulkan skor serta keluaran. Selanjutnya, pada tahap atribusi, sistem mengklasifikasikan kegagalan berdasarkan penyebabnya. Setelah itu, FAPO mengusulkan variasi untuk mengatasi kelompok kegagalan yang dominan.
Tahap-tahap berikutnya meliputi pemeriksaan oleh agen independen untuk memastikan bahwa proposal tersebut sesuai dengan kriteria dan tidak ada kebocoran data. Jika variasi tersebut mengungguli versi sebelumnya, maka variasi itu diterima; jika tidak, akan ditolak. Proses ini diulang hingga target akurasi tercapai atau anggaran optimasi habis.
Penggunaan sistem yang melibatkan tiga tingkat eskalasi ini memungkinkan FAPO untuk tidak hanya melakukan perubahan pada level prompt, tetapi juga parameter dan struktur, sehingga penanganan terhadap kegagalan dapat dilakukan dengan lebih tepat.
Keberhasilan FAPO dibandingkan GEPA
Dalam studi evaluasi yang dilakukan, FAPO berhasil mengungguli GEPA dalam 15 dari 18 perbandingan model-benchmark. Kinerja FAPO pada benchmark HoVer dan IFBench menunjukkan peningkatan yang signifikan dengan rata-rata kenaikan mencapai 33,8 poin persentase (pp) ketika sistem melakukan perubahan struktural. Meskipun GEPA mampu memberikan hasil di beberapa area, FAPO terbukti lebih efektif dalam penguatan akurasi keseluruhan.
Kinerja ini mengetengahkan perbandingan yang menarik antara keduanya. GEPA, yang mengandalkan pencarian evolusi dengan operator genetik, terbatas pada optimisasi pada level prompt saja. Di sisi lain, FAPO mampu mengeskalasi perbaikan hingga ke struktur pipeline, memberikan keunggulan yang signifikan dalam konteks kegagalan struktural.
Kesimpulan
FAPO merupakan langkah maju dalam teknologi optimasi prompt untuk aplikasi LLM. Dengan kemampuannya untuk melakukan evaluasi dan optimasi jalur secara otomatis dan sistematis, FAPO tidak hanya menawarkan efisiensi tinggi, tetapi juga akurasi yang lebih baik dalam pengembangan aplikasi berbasis kecerdasan buatan. Ketika kebutuhan terhadap solusi AI yang handal semakin meningkat, inovasi seperti FAPO menjadi sangat relevan dalam industri ini. Melalui pendekatan yang lebih lengkap dan sistematis, FAPO membantu mengoptimalkan proses pembuatan prompt, yang selama ini menjadi tantangan terbesar dalam pengembangan LLM.
