Dentmas.id – Nvidia baru saja mengumumkan sebuah terobosan teknologi yang berpotensi mengubah lanskap industri kecerdasan buatan. Perusahaan pengembang prosesor grafis tersebut berhasil menciptakan teknik baru yang mampu memangkas kebutuhan memori komputasi AI hingga delapan kali lipat. Yang lebih mengesankan, efisiensi dramatis ini mereka raih tanpa harus menurunkan tingkat akurasi model sedikit pun.
Teknologi revolusioner ini mereka beri nama dynamic memory sparsification atau DMS. Para insinyur Nvidia merancang DMS khusus untuk mengoptimalkan penggunaan memori pada large language model (LLM) saat mereka melakukan proses penalaran atau reasoning. Dengan penerapan teknik ini, beban kerja GPU dapat mereka tekan secara signifikan sehingga sistem AI dapat berjalan dengan efisiensi yang jauh lebih tinggi.
Dalam pengoperasian model bahasa besar seperti yang digunakan pada chatbot modern, proses penalaran menghasilkan apa yang para ahli sebut sebagai key-value cache (KV cache). Cache ini merupakan memori sementara yang terus membesar seiring model menghasilkan token demi token selama proses berpikir berlangsung. Semakin panjang proses reasoning yang model lakukan, semakin besar pula memori yang GPU butuhkan untuk menyimpannya.
Kondisi ini selama ini menjadi salah satu hambatan utama dalam pengembangan sistem AI berskala besar. Perusahaan harus menanggung biaya komputasi yang terus membengkak dan kapasitas layanan mereka untuk pengguna dalam waktu bersamaan menjadi terbatas. Menurut penjelasan tim pengembang Nvidia, DMS memberikan kemampuan pada model untuk “mengelola memorinya sendiri.” Model dapat memilih token mana yang perlu mereka pertahankan dan token mana yang dapat mereka hapus, semua berlangsung tanpa mengganggu kualitas output yang mereka hasilkan.
Pendekatan Baru yang Lebih Cerdas
Pendekatan yang DMS tawarkan ini berbeda secara fundamental dari metode-metode sebelumnya. Teknik lama biasanya mengandalkan aturan tetap atau heuristik untuk menghapus memori yang dianggap sudah usang. Sayangnya, metode lama ini sering kali mengorbankan akurasi karena mereka dapat secara tidak sengaja membuang informasi penting selama proses penghapusan berlangsung.
Sebaliknya, DMS bekerja dengan pendekatan yang jauh lebih cerdas. Para pengembang melatih model untuk dapat mengenali token mana yang benar-benar relevan bagi proses penalaran berikutnya. Nvidia juga menerapkan mekanisme delayed eviction dalam teknologi ini. Mekanisme tersebut memungkinkan mereka menunda penghapusan token hingga model benar-benar menyerap konteks penting. Dengan demikian, sebelum pembersihan memori terjadi, konteks krusial sudah aman tersimpan dalam sistem.
Berbagai pengujian pada sejumlah model populer seperti Qwen dan Llama menunjukkan hasil yang menggembirakan. DMS berhasil menunjukkan peningkatan efisiensi yang signifikan tanpa penurunan performa. Bahkan, seperti yang VentureBeat laporkan, pada beberapa benchmark matematika dan pengkodean, model yang telah dilengkapi DMS justru mencatat skor lebih tinggi dibandingkan versi standar dengan anggaran komputasi yang sama.
Dampak Langsung pada Kinerja GPU
Efisiensi memori ini memberikan dampak langsung pada penggunaan GPU. Dengan ukuran cache yang lebih kecil, GPU tidak perlu terus-menerus membaca dan menulis data dalam jumlah besar. Konsekuensinya, latensi berkurang secara signifikan dan throughput atau jumlah tugas yang dapat mereka selesaikan dalam periode waktu tertentu meningkat drastis.
Dalam pengujian pada model Qwen3-8B, perbandingan antara versi standar (vanilla) dan versi yang sudah terpasang teknologi DMS menunjukkan hasil yang menarik. Kedua versi memiliki tingkat akurasi yang hampir identik di berbagai benchmark penalaran, seperti MATH 500, HumanEval, hingga AIME 2024. Bahkan pada beberapa pengujian, versi DMS mencatat skor yang sedikit lebih tinggi daripada versi standarnya.
Perbedaan signifikan baru terlihat ketika para pengembang mengamati efisiensi memori dan stabilitas performa. Qwen3-8B versi biasa mengalami lonjakan penggunaan memori yang cukup ekstrem seiring bertambahnya panjang konteks. Lonjakan ini sering berujung pada kondisi “out of memory” di mana sistem kehabisan memori dan berhenti berfungsi. Sebaliknya, versi dengan DMS mampu menjaga waktu generasi tetap stabil dan menghindari kehabisan memori. Hasilnya, model dapat memproses konteks yang lebih panjang tanpa membebani GPU secara berlebihan.
Manfaat Ekonomi bagi Perusahaan
Bagi perusahaan yang mengembangkan atau mengoperasikan layanan AI, penghematan ini memiliki nilai ekonomi yang sangat signifikan. Biaya infrastruktur AI saat ini sangat bergantung pada kapasitas GPU dan memorinya. Dengan teknologi DMS, mereka dapat melayani lebih banyak pengguna dengan biaya operasional yang sama, atau bahkan dapat menghemat biaya infrastruktur secara substansial.
Kompatibilitas dengan Model yang Sudah Ada
Nvidia juga menegaskan bahwa DMS dapat langsung mereka terapkan pada model yang sudah terlatih sebelumnya. Perusahaan atau developer tidak perlu melakukan pelatihan ulang dari awal yang memakan waktu dan biaya besar. Proses adaptasinya relatif ringan dan teknologi ini kompatibel dengan infrastruktur inference standar yang banyak perusahaan gunakan saat ini.
Teknologi DMS kini telah mereka rilis sebagai bagian dari framework Model Optimizer milik Nvidia. Para pengembang dapat langsung mengintegrasikannya ke dalam pipeline AI berbasis Hugging Face, maupun sistem yang sudah mendukung FlashAttention. Dengan ketersediaan ini, masa depan pengembangan AI yang lebih efisien dan terjangkau semakin terbuka lebar.
Kunjungi juga situs berita terupdate hanya di Desapenari.id
