Minggu ini, Sakana AI, sebuah startup yang didukung oleh Nvidia dan telah mengumpulkan ratusan juta dolar dari perusahaan modal ventura, membuat klaim yang luar biasa. Perusahaan tersebut mengatakan telah menciptakan sistem AI, AI CUDA Engineer, yang bisa secara efektif mempercepat pelatihan beberapa model AI hingga 100 kali lipat.
Satunya masalahnya adalah, sistem tersebut tidak berfungsi.
Pengguna di X dengan cepat menemukan bahwa sistem Sakana sebenarnya menghasilkan kinerja pelatihan model yang lebih buruk dari rata-rata. Menurut seorang pengguna, AI Sakana mengakibatkan perlambatan sebesar 3 kali lipat - bukan percepatan.
Apa yang salah? Sebuah bug dalam kode, menurut tulisan Lucas Beyer, anggota staf teknis di OpenAI.
“Kode asli mereka salah dengan cara yang halus,” tulis Beyer di X. “Fakta bahwa mereka menjalankan pengujian kinerja DUA KALI dengan hasil yang sangat berbeda sebaiknya membuat mereka berhenti sejenak dan berpikir.”
Dalam analisis yang diterbitkan pada hari Jumat, Sakana mengakui bahwa sistem tersebut telah menemukan cara untuk "menipu" (seperti yang dijelaskan oleh Sakana) dan menyalahkan kecenderungan sistem untuk "hack reward" - yaitu mengidentifikasi kelemahan untuk mencapai metrik tinggi tanpa mencapai tujuan yang diinginkan (mempercepat pelatihan model). Fenomena serupa telah diperhatikan dalam AI yang dilatih untuk bermain catur.
Menurut Sakana, sistem tersebut menemukan celah dalam kode evaluasi yang sedang digunakan oleh perusahaan yang memungkinkannya melewati validasi untuk akurasi, di antara pemeriksaan lainnya. Sakana mengatakan telah menangani masalah tersebut, dan berencana untuk merevisi klaimnya dalam materi yang diperbarui.
“Kami sejak itu membuat harnes profil evaluasi dan waktu jalannya lebih kokoh untuk menghilangkan banyak celah seperti itu,” tulis perusahaan itu di X. “Kami sedang merevisi paper kami, dan hasil kami, untuk mencerminkan dan mendiskusikan efek-efek tersebut. Kami menyampaikan permintaan maaf yang mendalam atas kelalaian kami kepada pembaca kami. Kami akan segera memberikan revisi atas karya ini, dan membahas pembelajaran kami.”
Maju untuk Sakana karena mengakui kesalahannya. Tetapi episode ini adalah pengingat yang baik bahwa jika klaim terdengar terlalu bagus untuk menjadi kenyataan, terutama dalam bidang AI, kemungkinan besar memang begitu.
