Redaksi akdah.ac.id – Tim peneliti dari Stanford University mengembangkan sistem baru bernama TRACE yang bertujuan untuk membantu model pembelajaran mesin dalam mengatasi kekurangan kemampuan yang seringkali menyebabkan kegagalan dalam tugas-tugas yang mereka lakukan. TRACE, yang merupakan singkatan dari Turning Recurrent Agent failures into Capability-targeted training Environments, berupaya untuk mendiagnosis kelemahan-kelemahan spesifik dan menciptakan lingkungan pelatihan yang sesuai untuk mengatasi deficit tersebut.
TRACE dirilis sebagai perangkat lunak open-source di bawah lisensi MIT, memudahkan para peneliti dan praktisi untuk menginstal dan menggunakan teknologi ini. Sistem ini menawarkan pendekatan yang lebih terfokus dibandingkan metode pembelajaran tradisional yang seringkali tidak memberikan umpan balik spesifik mengenai kesalahan yang terjadi.
Masalah yang Dihadapi oleh Model Pembelajaran Mesin
Dalam konteks pengembangan model pembelajaran mesin, banyak agen yang gagal dalam menjalankan tugas karena kurangnya keterampilan yang diperlukan. Misalnya, mereka mungkin tidak mampu menarik kembali informasi yang tepat atau tidak melakukan verifikasi prasyarat secara akurat. Dua solusi umum yang ada saat ini, seperti reinforcement learning (RL) langsung atau fine-tuning (SFT) yang luas, seringkali menghabiskan sumber daya tanpa memberikan hasil yang memuaskan.
TRACE mencatat bahwa kegagalan ini tidak acak. Sebuah analisis menunjukkan bahwa sejumlah kecil deficit bertanggung jawab atas sebagian besar kegagalan yang terjadi. Dengan pemahaman ini, TRACE berupaya untuk mengubah setiap deficit yang berulang menjadi sinyal pelatihan yang dapat diverifikasi dan terarah.
Rangkaian Proses TRACE
TRACE menjalankan sebuah pipeline otomatis yang terdiri dari empat langkah. Pertama, agen dasar menghasilkan rangkaian dalam lingkungan target, dan analis kemudian membagi hasilnya ke dalam set berhasil dan gagal. Tiap trajektori kemudian diberi label berdasarkan keberadaan kemampuan yang diperlukan.
Dengan langkah kedua, agen pembuat lingkungan menciptakan satu lingkungan sintetis untuk setiap kemampuan yang dipertahankan. Lingkungan ini dirancang untuk mengisolasi satu kemampuan sambil tetap mempertahankan skema alat dan format tugas yang relevan.
Pada tahap ketiga, setiap kemampuan mendapatkan satu adaptor LoRA (Low-Rank Adaptation) yang dilatih di lingkungan sintetis tersebut. Di sini, algoritma yang digunakan adalah Group Relative Policy Optimization (GRPO), yang menjaga model dasar tetap beku selama pelatihan.
Akhirnya, tahap keempat mengkomposisikan adaptor-adaptor menjadi model Mixture-of-Experts (MoE), di mana setiap token dirouting ke satu adaptor kemampuan spesifik. Proses ini memungkinkan model untuk beralih antar spesialis saat menyelesaikan tugas.
Kemampuan yang Ditemukan TRACE
Selama pengujian di τ²-Bench, analisis kontras menemukan empat deficit spesifik: penalaran data terstruktur, penyelesaian tugas multi-langkah, verifikasi prasyarat, dan ketepatan pemanggilan alat. Hasil analisis menunjukkan bahwa penalaran data terstruktur menjadi penyebab utama kegagalan, diikuti oleh penyelesaian tugas multi-langkah.
Hasil Pengujian TRACE
TRACE menunjukkan hasil yang menggembirakan saat diuji dengan dua backbone dan dua benchmark. Pada τ²-Bench, sistem ini mencatat tingkat keberhasilan tertinggi dalam tugas-tugas layanan pelanggan dibandingkan dengan metode lain, seperti GEPA yang berbasis optimasi prompt. TRACE berhasil meningkatkan rata-rata nilai τ²-Bench sebesar 15,3 poin dan 15 poin di SWE-bench Verified.
TRACE juga menunjukkan efisiensi yang tinggi dalam hal penggunaan data, dengan menggunakan kurang dari seperempat dari rollouts yang biasanya diperlukan, tetapi masih menghasilkan skor akhir yang lebih baik dibandingkan metode lain.
Implementasi dan Rangkuman
Bagi para profesional AI, pipeline yang digunakan TRACE bersifat benchmark-agnostic dan dapat dioperasikan melalui markdown prompts. Proses pengembangan ini menjanjikan kemampuan pelatihan yang lebih baik dengan fokus pada pemecahan masalah yang terarah.
Secara keseluruhan, TRACE tidak hanya memperlihatkan potensi dalam meningkatkan kemampuan agen pembelajaran mesin, tetapi juga mengubah cara pendekatan dalam pemecahan masalah dengan memberikan sinyal pelatihan yang lebih jelas dan terarah. Model ini diharapkan dapat menjadi solusi penting dalam pengembangan teknologi AI yang lebih canggih di masa depan.
