Redaksi akdah.ac.id – Thinking Machines Lab baru saja meluncurkan Inkling, model pertama mereka yang dilatih dari awal dengan arsitektur yang inovatif. Model ini menawarkan fleksibilitas dalam penyesuaian serta optimasi waktu dan sumber daya. Dengan mengusung jumlah parameter yang luar biasa, Inkling mendorong batasan apa yang dapat dicapai dalam pengolahan data multimodal.
Pengenalan Inkling
Inkling adalah sebuah model transformer dengan pendekatan Mixture-of-Experts (MoE) yang memiliki total 975 miliar parameter, di mana 41 miliar di antaranya aktif pada satu waktu. Model ini dirancang untuk mendukung konteks hingga satu juta token, sehingga sangat efisien dalam mengelola beban data yang besar. Proses pretraining membuat model ini menjalani pelatihan dengan 45 triliun token yang mencakup teks, gambar, audio, serta video. Bentuk input yang dapat diterima oleh Inkling melibatkan teks, gambar, dan audio, sementara outputnya tersusun dalam format teks UTF-8.
Arsitektur Inovatif
Arsitektur dari Inkling meliputi decoder-only transformer yang memiliki 66 lapisan. Setiap lapisan mengadopsi struktur MoE yang sparse dengan backbone feed-forward. Di dalamnya, terdapat 256 routed experts dan 2 shared experts. Saat memproses token, sistem memilih 6 routed experts per token untuk memastikan efisiensi dan kecepatan dalam pengolahan data. Pemilihan ini menggunakan router berbasis sigmoid yang turut mempertimbangkan pemuatan bias yang tidak membebani.
Setiap lapisan perhatian didesain dengan cara yang berbeda dari model konvensional. Inkling menginterleave antara lapisan sliding-window dan global dalam rasio 5:1, serta memiliki 8 KV heads. Posisi token disusun menggunakan embedding positional relatif, menggantikan RoPE, yang diklaim dapat meningkatkan hasil extrapolasi. Teknik ini diharapkan akan memberikan keunggulan dalam menghadapi data yang lebih kompleks di masa depan.
Multimodalitas dalam Inkling
Salah satu keunggulan utama dari Inkling adalah kemampuannya dalam multimodalitas tanpa perlu menggunakan encoder. Data audio diproses sebagai spektrum dMel, sementara gambar diubah menjadi patch berukuran 40×40 piksel yang kemudian diproses menggunakan hMLP empat lapisan. Kedua format ini kemudian diperkenalkan ke dalam satu lapisan embedding yang ringan sebelum akhirnya diproses bersamaan dengan token teks.
Penggunaan pelatihan yang memanfaatkan Muon untuk bobot matriks besar dan algoritma Adam untuk parameter lainnya merupakan salah satu faktor pendukung keberhasilan Inkling. Sistem pelatihan berlangsung di infrastruktur NVIDIA GB300 NVL72, yang memungkinkan pelaksanaan secara efisien dengan meningkatkan konsistensi dalam setiap pengolahan data.
Dampak dan Perkembangan Terkait Inkling
Peluncuran Inkling menjadi perhatian di kalangan peneliti dan praktisi di bidang AI dan pembelajaran mesin. Model ini bukan saja menawarkan peningkatan performa dalam pengolahan informasi, melainkan juga membuka peluang untuk eksplorasi lebih lanjut terhadap aplikasi praktis. Pengguna dapat melakukan penyesuaian yang sesuai dengan kebutuhan spesifik mereka, berkat desain model yang mendukung fine-tuning.
Dengan pretraining yang melibatkan sebanyak 45 triliun token dari berbagai format data, Inkling menunjukkan potensi sebagai perangkat bantu yang disesuaikan untuk berbagai bidang, termasuk pemasaran, analisis data, dan pengembangan produk. Adanya kemampuan awal yang kuat dalam berbagai bentuk masukan, menjadikan Inkling sebagai pionir dalam transformasi raw data menjadi informasi yang berguna.
Kesimpulan
Inkling yang dirilis oleh Thinking Machines Lab menggabungkan teknologi terbaru dalam arsitektur pengolahan data dengan pendekatan yang memungkinkan penyesuaian berkelanjutan. Kemampuan multimodalitasnya, bersama dengan keunggulan dalam pengolahan data besar, menjadikannya alat yang menjanjikan dalam meningkatkan efisiensi operasional dan pengambilan keputusan berbasis data. Pengembangan lebih lanjut diharapkan dapat mengoptimalkan potensi Inkling dan memunculkan inovasi baru di bidang kecerdasan buatan.
