Redaksi akdah.ac.id – NVIDIA baru saja merilis model bahasa terbaru bernama Nemotron-Labs-TwoTower, sebuah model diffusion yang dibangun di atas backbone autoregressive yang telah dilatih sebelumnya. Rilisan ini hadir dalam bentuk open weights di bawah lisensi NVIDIA Nemotron Open Model License, dan ditujukan untuk mengatasi kendala throughput dalam proses generasi teks.
Model autoregressive (AR) biasanya melakukan dekoding satu token pada satu waktu, yang membatasi throughput generasi. Sebaliknya, model bahasa diskrit diffusion mengambil pendekatan yang berbeda dengan menghasilkan token secara paralel dan merestrukturisasinya secara iteratif, yang memungkinkan kecepatan generasi lebih tinggi.
Salah satu inovasi penting dari TwoTower adalah pemisahan fungsi menjadi dua tower: satu untuk merepresentasikan token bersih dan yang lainnya untuk menghilangkan kebisingan dari token yang terkorupsi. Dengan cara ini, TwoTower mempertahankan 98,7% kualitas benchmark agregat dari baseline AR, sekaligus melaporkan throughput generasi yang 2,42 kali lebih tinggi.
Inovasi dalam Model Bahasa
TwoTower adalah model diffusion autoregressive yang diterapkan pada Nemotron-3-Nano-30B-A3B, sebuah backbone hybrid dengan bobot terbuka. Struktur model ini terdiri dari dua tower yang masing-masing memiliki 52 lapisan, yang terbagi menjadi berbagai jenis komponen seperti Mamba-2, self-attention, dan mixture-of-experts (MoE). Tower konteks autoregressive tetap tidak terlatih, sementara tower denoiser dilatih dengan menggunakan sekitar 2,1 triliun token.
Kedua tower ini dihubungkan secara layer-by-layer. Proses tower konteks AR berfungsi secara kausal terhadap prompt dan token yang sudah terkomit, meskipun tower denoiser melakukan refining pada blok yang bising dengan perhatian dua arah. Dengan mengadopsi metode ini, TwoTower menawarkan pengembangan generasi teks yang lebih canggih dan efisien.
Performance dan Penggunaan
Evaluasi penggunaan model ini dilakukan dengan memanfaatkan 2 GPU dan telah menunjukkan keunggulan yang signifikan dibandingkan dengan model AR tradisional. Meskipun terdapat penurunan kinerja di beberapa area, seperti dalam evaluasi kode dan matematika, namun hasil yang diperoleh pada umumnya tetap dalam rentang satu poin dari baseline AR. Model ini juga menunjukkan bahwa pengurangan parameter gamma yang digunakan dalam model dapat meningkatkan throughput meskipun berpengaruh pada kualitas output.
Dalam konteks penggunaan, Three Generation Modes yang disediakan yaitu generate_mask_diffusion(), generate_mock_ar(), dan generate_ar(), menyediakan fleksibilitas bagi pengguna untuk memilih cara generasi yang paling sesuai dengan kebutuhan mereka. Misalnya, mode mask diffusion memungkinkan komitmen hingga lebih dari satu token per langkah, yang dapat meningkatkan efisiensi proses.
Dampak pada Komunitas Data dan Potensi Adaptasi
Penerapan model ini dapat memberikan keuntungan signifikan bagi tim data yang bertugas menghasilkan teks sintetis dalam jumlah besar. Mereka dapat mengorbankan sedikit kualitas untuk meningkatkan kecepatan generasi, bahkan pada tingkat gamma default. Selain itu, model ini memungkinkan penyesuaian antara pertukaran kualitas dan throughput, sehingga pengguna dapat menyesuaikan model dengan kebutuhan spesifik mereka.
Terdapat pula potensi adaptasi yang menarik dari model ini. Tower konteks tetap berfungsi untuk dekoding spekulatif, verifikasi, atau pemeringkatan AR. Dengan kata lain, tim dapat menjalankan fungsi AR dan diffusion dari satu checkpoint, yang menyederhanakan proses pengembangan dan penerapan model.
Kesimpulan
Rilisan Nemotron-Labs-TwoTower oleh NVIDIA memperkenalkan pendekatan inovatif dalam pengembangan model bahasa, dengan fokus pada peningkatan throughput generasi teks yang signifikan. Berdasarkan informasi yang tersedia, model ini menunjukkan kemampuan untuk mempertahankan kualitas tinggi sambil meningkatkan efisiensi. Dengan fleksibilitas dalam penggunaan dan adaptasi, TwoTower memiliki potensi untuk menjadi alat penting bagi para peneliti dan profesional di bidang pemrosesan bahasa alami.
