Redaksi akdah.ac.id – Dalam perkembangan terbaru di dunia kecerdasan buatan, dua model bahasa besar (LLMs) yang dikembangkan oleh Anthropic, yakni Fable 5 dan Opus 4.8, telah dievaluasi untuk mengukur ketahanan mereka terhadap serangan jahat. Penelitian ini menggunakan kerangka kerja red-teaming HackAgent dan mencakup lebih dari 7.800 niat berbahaya yang dikategorikan dalam sepuluh kategori harm taxonomy. Temuan ini menunjukkan bahwa meskipun kedua model menunjukkan ketahanan terhadap sebagian besar serangan, terdapat area kerentanan yang lebih besar daripada yang diperkirakan sebelumnya, terutama terhadap serangan adaptif yang iteratif.
Analisis Ketahanan Model Lanjutan
Penelitian ini mencakup ratusan ribu percobaan serangan yang dihasilkan secara otomatis, di mana setiap kesuksesan yang tampak kemudian diperiksa kembali oleh panel tiga model penilai melalui sistem pemungutan suara mayoritas. Kedua model, Fable 5 dan Opus 4.8, mampu menahan sebagian besar serangan, namun hasil menunjukkan bahwa mereka tetap memiliki permukaan kerentanan yang signifikan. Serangan adaptif yang lebih canggih dapat menembus sistem ini, sementara teknik obfuscation statis berhasil ditekan hampir sepenuhnya.
Kinerja Model Dalam Menanggapi Serangan
Model Opus 4.8 menunjukkan kerentanan di 11,5% dari niat berbahaya secara keseluruhan, sedangkan Fable 5 memiliki angka yang lebih rendah, dengan 6,1% pada kondisi terburuk. Hal ini menunjukkan bahwa meskipun kedua model telah diperkuat untuk menangkal serangan, mereka masih dapat dirusak dengan tekanan otomatis yang berkelanjutan. Sementara itu, tingkat aggregasi yang diperoleh dari analisis ini tidak boleh dianggap sebagai jaminan keamanan.
Dampak Penelitian Terhadap Kepercayaan Pengguna
Hasil dari evaluasi ini membawa implikasi penting bagi pengguna dan pengembang dalam bidang kecerdasan buatan. Meskipun kedua model tersebut telah melalui serangkaian pengujian yang ketat, kenyataan bahwa mereka dapat menghasilkan hasil berbahaya — dengan 1.620 dan 702 hasil yang terkonfirmasi berbahaya untuk Opus 4.8 dan Fable 5 — menunjukkan bahwa masih terdapat risiko yang patut diperhatikan. Model-model ini mampu meluncurkan hasil yang menimbulkan dampak negatif dalam satu atau dua langkah penyempurnaan oleh model penyerang tanpa keterlibatan ahli manusia.
Respons Terhadap Kerentanan yang Ditemukan
Berbagai pihak di industri teknologi dan kecerdasan buatan menganggap hasil ini sebagai pendorong untuk memperkuat keamanan model-model bahasa besar. Dengan adanya risiko yang teridentifikasi, penting bagi pengembang untuk merespon dengan perbaikan yang lebih mendalam dalam desain model serta pengujian keamanan yang lebih ketat. Penelitian semacam ini membuka diskusi yang lebih luas mengenai tanggung jawab dalam pengembangan teknologi kecerdasan buatan, terutama model yang berpotensi menghasilkan konten berbahaya.
Kesimpulan
Secara keseluruhan, temuan dari penelitian ini menunjukkan bahwa, meskipun Fable 5 dan Opus 4.8 adalah model yang canggih dan telah diujicobakan secara ekstensif, mereka tetap menghadapi tantangan serius dalam hal ketahanan terhadap serangan yang dirancang untuk mengeksploitasi kerentanan mereka. Oleh karena itu, industri harus terus mengembangkan metode yang lebih efektif untuk memastikan bahwa model-model semacam ini tidak hanya canggih, tetapi juga aman digunakan dalam konteks yang lebih luas.
