Redaksi akdah.ac.id – Sakana AI baru saja meluncurkan Fugu-Cyber, sebuah model baru yang dirancang khusus untuk keamanan siber. Model ini merupakan tambahan yang signifikan dalam keluarga orkestrasinya yang dikenal sebagai Fugu, yang sebelumnya diluncurkan sebulan sebelumnya. Fugu-Cyber tidak hanya sekadar model baru; ia berfungsi sebagai endpoint ketiga dalam sistem orkestrasinya, dengan fokus pada reasoning keamanan yang lebih baik.
Sakana mengklaim bahwa Fugu-Cyber telah mencapai tingkat keberhasilan 86,9% di benchmark CyberGym dan 72,1% di CTI-REALM. Hasil ini dianggap sebanding dengan model-model frontier yang juga berfokus pada keamanan siber, seperti GPT-5.5-Cyber dan Claude Mythos Preview. Keberhasilan ini menunjukkan potensi Fugu-Cyber dalam memberikan solusi yang efisien bagi tantangan yang dihadapi dalam dunia keamanan siber yang terus berkembang.
Evaluasi Kinerja Model dalam Benchmark
Berdasarkan informasi yang tersedia, kedua evaluasi yang digunakan untuk mengukur kemampuan Fugu-Cyber berada di dua ujung yang berbeda dari alur kerja keamanan. CyberGym adalah benchmark yang disusun oleh UC Berkeley, mencakup 1.507 kerentanan nyata di 188 proyek OSS-Fuzz. Dalam benchmark ini, agennya harus menulis proof-of-concept yang mampu menjatuhkan build aplikasi sebelum ditambal, tetapi tidak menyebabkan kerusakan setelah patch diterapkan. Langkah verifikasi ini adalah salah satu alasan mengapa benchmark ini sulit untuk “dimanipulasi.”
Sementara itu, CTI-REALM, yang merupakan benchmark open-source dari Microsoft, berfokus pada rekayasa deteksi. Benchmark ini mengharuskan agen untuk memetakan teknik MITRE ATT&CK, mengeksplorasi telemetry, dan menghasilkan aturan Sigma yang divalidasi. Penilaian mencakup endpoint Linux, serta layanan Azure Kubernetes dan cloud Azure. Kombinasi dua evaluasi ini memberikan gambaran yang lebih komprehensif mengenai kemampuan Fugu-Cyber dalam keamanan siber, dari menemukan dan membuktikan bug hingga mengubah intel menjadi deteksi yang efektif.
Perbandingan Hasil dengan Model Lain
Dalam konteks performa, angka keberhasilan 86,9% yang dicapai Fugu-Cyber sangat berarti, meskipun konteks lebih penting daripada angka semata. Saat peneliti CyberGym pertama kali mengumumkan hasil mereka, pairing model-agent terbaik hanya mencapai sekitar 20%. Namun, pada bulan April 2026, Anthropic melaporkan 83,1% untuk model Claude Mythos Preview, sementara OpenAI melaporkan 85,6% untuk GPT-5.5-Cyber. Dengan demikian, keberhasilan 86,9% dari Fugu-Cyber menandakan langkah maju yang kecil namun signifikan dalam kompetisi yang ketat.
Hasil dari CTI-REALM menunjukkan tren yang berbeda, di mana evaluasi Microsoft menempatkan tiga konfigurasi teratas dari model Claude pada rentang 0,624 hingga 0,685. Dengan skor 72,1%, Fugu-Cyber berada di atas band ini. Namun, penting untuk dicatat bahwa CTI-REALM dinilai sebagai imbalan trajektori antara 0 dan 1, yang berarti tingkat keberhasilan yang dilaporkan Sakana tidak dapat dibandingkan secara langsung dengan angka pass/fail.
Tantangan dan Pertimbangan di Balik Peluncuran Fugu-Cyber
Terdapat pertanyaan mengenai transparansi dan metode yang dipakai dalam pengukuran kinerja Fugu-Cyber. Beberapa elemen penting yang belum dipublikasikan oleh Sakana mencakup tingkat benchmark CyberGym yang digunakan, jumlah trial yang dilakukan, dan rincian pembagian CTI-REALM. Ketiadaan informasi ini dapat menimbulkan keraguan mengenai keandalan hasil yang dilaporkan, meskipun angka-angka tersebut plausibel dan selaras dengan frontier yang ada saat ini.
Para peneliti dan profesional keamanan siber akan mengamati dengan seksama bagaimana Fugu-Cyber akan beradaptasi dalam lingkungan yang dinamis dan penuh dengan tantangan baru. Keberhasilan model ini dalam praktek dunia nyata dan umpan balik dari pengguna akan menjadi faktor kunci untuk mengevaluasi dampaknya terhadap industri keamanan siber secara keseluruhan.
Kesimpulan
Peluncuran Fugu-Cyber oleh Sakana AI menandakan langkah signifikan dalam pengembangan solusi keamanan siber yang lebih canggih. Angka-angka keberhasilan yang dicapai dalam benchmark menunjukkan potensi model ini untuk berkontribusi kepada usaha perlindungan dari ancaman yang terus berkembang. Meski demikian, perlu perhatian lebih lanjut terhadap transparansi dan berbagai faktor yang mempengaruhi hasil evaluasi untuk memastikan model tersebut dapat diandalkan dalam implementasinya. Perkembangan ini menjadi perhatian dalam dunia keamanan siber dan dapat mempengaruhi cara perusahaan dan organisasi mengelola risiko keamanan di masa mendatang.
