CEO Nvidia Jensen Huang mengatakan kinerja cip AI perusahaannya berkembang lebih cepat daripada tingkat sejarah yang ditetapkan oleh Hukum Moore, kerangka yang mendorong kemajuan komputasi selama dekade.
“Sistem kami berkembang jauh lebih cepat daripada Hukum Moore,” kata Huang dalam sebuah wawancara dengan TechCrunch pada hari Selasa, pagi setelah ia memberikan pidato utama kepada 10.000 orang di CES di Las Vegas.
Katakan oleh pendiri Intel, Gordon Moore pada tahun 1965, Hukum Moore memprediksi bahwa jumlah transistor pada cip komputer akan berkembang sekitar dua kali lipat setiap tahun, pada dasarnya menggandakan kinerja cip tersebut. Prediksi ini sebagian besar berhasil, dan menciptakan kemajuan cepat dalam kemampuan dan penurunan biaya selama dekade.
Beberapa tahun terakhir, Hukum Moore melambat. Namun, Huang mengklaim bahwa cip AI Nvidia bergerak dengan kecepatan percepatan sendiri; perusahaan mengatakan cip pusat data super terbarunya lebih dari 30x lebih cepat untuk menjalankan beban kerja inferensi AI daripada generasi sebelumnya.
“Kita dapat membangun arsitektur, cip, sistem, perpustakaan, dan algoritma semua sekaligus,” kata Huang. “Jika Anda melakukannya, maka Anda dapat bergerak lebih cepat daripada Hukum Moore, karena Anda dapat berinovasi di seluruh tumpukan.”
Klaim berani dari CEO Nvidia datang pada saat banyak orang mempertanyakan apakah kemajuan AI sudah stagnan. Laboratorium AI terkemuka — seperti Google, OpenAI, dan Anthropic — menggunakan cip AI Nvidia untuk melatih dan menjalankan model AI mereka, dan kemajuan pada cip-cip ini kemungkinan akan berdampak pada kemajuan lebih lanjut dalam kemampuan model AI.
Ini bukan kali pertama Huang menyarankan bahwa Nvidia melampaui Hukum Moore. Dalam sebuah podkast pada November, Huang mengusulkan bahwa dunia AI sedang dalam jalur "Hukum Moore hiper”.
Huang menolak gagasan bahwa kemajuan AI melambat. Sebaliknya ia mengklaim ada tiga hukum penskalaan AI aktif: penyusuan pra, fase pelatihan awal di mana model AI belajar pola dari sejumlah besar data; pasca-pelatihan, yang menyempurnakan jawaban model AI menggunakan metode seperti umpan balik manusia; dan komputasi pada saat uji, yang terjadi selama fase inferensi dan memberikan model AI lebih banyak waktu untuk “berpikir” setelah setiap pertanyaan.
“Hukum Moore begitu penting dalam sejarah komputasi karena menurunkan biaya komputasi,” kata Huang kepada TechCrunch. “Hal yang sama akan terjadi dengan inferensi di mana kita meningkatkan kinerja, dan akibatnya, biaya inferensi akan menjadi lebih rendah.”
(Tentu, Nvidia telah tumbuh menjadi perusahaan paling berharga di Bumi dengan memanfaatkan ledakan AI, jadi menguntungkan Huang untuk mengatakan demikian.)
H100 Nvidia adalah cip pilihan bagi perusahaan teknologi yang ingin melatih model AI, tetapi sekarang saat perusahaan teknologi lebih fokus pada inferensi, beberapa telah mempertanyakan apakah cip mahal Nvidia masih akan tetap menjadi yang terbaik.
Model AI yang menggunakan komputasi saat uji saat ini mahal untuk dijalankan. Ada kekhawatiran bahwa model o3 OpenAI, yang menggunakan versi yang diperbesar dari komputasi saat uji, akan terlalu mahal bagi kebanyakan orang untuk digunakan. Sebagai contoh, OpenAI menghabiskan hampir $20 per tugas menggunakan o3 untuk mencapai skor tingkat manusia pada tes kecerdasan umum. Langganan ChatGPT Plus biaya $20 untuk satu bulan penggunaan penuh.
Huang menunjukkan cip pusat data super terbarunya, GB200 NVL72, di atas panggung seperti perisai selama pidato kunci hari Senin. Cip ini 30 hingga 40x lebih cepat dalam menjalankan beban kerja inferensi AI daripada cip terlaris terbaik Nvidia, H100. Huang mengatakan lonjakan kinerja ini berarti model penalaran AI seperti o3 OpenAI, yang menggunakan jumlah komputasi yang signifikan selama fase inferensi, akan menjadi lebih murah dari waktu ke waktu.
Huang mengatakan bahwa secara keseluruhan ia fokus pada menciptakan cip yang lebih unggul, dan cip yang lebih unggul menciptakan harga yang lebih rendah dalam jangka panjang.
“Solusi langsung dan segera untuk komputasi saat uji, baik dalam kinerja maupun keterjangkauan biaya, adalah dengan meningkatkan kemampuan komputasi kita,” kata Huang kepada TechCrunch. Dia mencatat bahwa dalam jangka panjang, model penalaran AI dapat digunakan untuk membuat data yang lebih baik untuk penyusuan pra dan pasca-pelatihan model AI.
Kita pasti telah melihat harga model AI merosot dalam setahun terakhir, sebagian karena terobosan komputasi dari perusahaan keras seperti Nvidia. Huang mengatakan itu adalah tren yang ia harapkan berlanjut dengan model penalaran AI, meskipun versi pertama yang kita lihat dari OpenAI cenderung cukup mahal.
Secara lebih luas, Huang mengklaim cip AI saat ini 1.000x lebih baik daripada apa yang dibuatnya 10 tahun lalu. Itu adalah laju yang jauh lebih cepat daripada standar yang ditetapkan oleh Hukum Moore, sesuatu yang Huang katakan tidak menunjukkan tanda-tanda berhenti dalam waktu dekat.
TechCrunch memiliki buletin fokus AI! Daftar di sini untuk mendapatkannya di kotak masuk Anda setiap Rabu.
