Groq, sebuah startup yang membangun cip untuk menjalankan model AI generatif lebih cepat daripada pemproses konvensional, mengumumkan pada hari Isnin bahawa mereka telah mengumpulkan $640 juta dalam rundingan baru yang dipimpin oleh Blackrock. Neuberger Berman, Type One Ventures, Cisco, KDDI dan Samsung Catalyst Fund juga turut serta.
Trans terbaru ini, yang membawa jumlah yang dikumpulkan oleh Groq melebihi $1 bilion dan menilai syarikat tersebut pada $2.8 bilion, merupakan kemenangan besar bagi Groq, yang dilaporkan pada mulanya mencari untuk mengumpulkan $300 juta pada penilaian sedikit lebih rendah ($2.5 bilion). Ia lebih daripada dua kali ganda penilaian sebelumnya Groq (~$1 bilion) pada April 2021, ketika syarikat tersebut mengumpulkan $300 juta dalam rundingan yang dipimpin oleh Tiger Global Management dan D1 Capital Partners.
Ketua saintis kecerdasan buatan Meta, Yann LeCun, akan berkhidmat sebagai penasihat teknikal kepada Groq dan Stuart Pann, bekas ketua perniagaan ditemui Intel dan bekas CIO di HP, akan menyertai startup sebagai ketua pegawai operasi, Groq juga mengumumkan hari ini. Pengetahuan LeCun agak mengejutkan, mengingat pelaburan Meta dalam cip AI sendiri - tetapi ia tanpa ragu memberikan Groq sekutu yang kuat dalam ruang persaingan yang sengit.
Groq, yang muncul daripada keadaan tersirap pada tahun 2016, sedang mencipta apa yang disebutnya sebagai enjin inferens LPU (unit pemprosesan bahasa). Syarikat tersebut mendakwa LPUs-nya boleh menjalankan model AI generatif sedia ada yang serupa dalam senibina dengan OpenAI’s ChatGPT dan GPT-4o pada kelajuan 10 kali ganda dan sepuluh persepuluh tenaga. CEO Groq Jonathan Ross terkenal kerana membantu membangunkan unit pemrosesan tensor (TPU), cip pemecut AI khas Google yang digunakan untuk melatih dan menjalankan model. Ross bekerjasama dengan Douglas Wightman, seorang usahawan dan bekas jurutera di Alphabet, laboratorium moonshot X syarikat induk Google, untuk mendirikan Groq hampir sepuluh tahun lalu.
Groq menyediakan platform pembangun yang ditenagai oleh LPU yang dipanggil GroqCloud yang menawarkan model "terbuka" seperti keluarga Llama 3.1 Meta, Gemma Google, Whispers OpenAI dan Mixtral Mistral, serta API yang membenarkan pelanggan mengguna cipnya dalam contoh awan. (Groq juga menjalankan taman permainan untuk chatbots bertenaga AI, GroqChat, yang dilancarkan pada akhir tahun lalu). Pada Julai, GroqCloud mempunyai lebih daripada 356,000 pembangun; Groq mengatakan bahawa sebahagian daripada hasil rundingan tersebut akan digunakan untuk menaik taraf kapasiti dan menambah model baru dan ciri-ciri.
"Banyak daripada pembangun ini berada di syarikat besar," kata Stuart Pann, COO Groq, kepada TechCrunch. "Menurut anggaran kami, lebih daripada 75% daripada Fortune 100 diwakili.".
Dengan lanjutan kemunculan AI generatif, Groq menghadapi persaingan yang semakin meningkat dari kedua-dua startup cip AI pesaing dan Nvidia, raksasa yang mapan di sektor perkakasan AI. Nvidia mengawal kira-kira 70% hingga 95% pasaran bagi cip AI digunakan untuk melatih dan menyebarkan model AI generatif, dan firma tersebut mengambil langkah-langkah agresif untuk mengekalkan dominasinya. Nvidia telah berjanji untuk melepaskan senibina cip AI baru setiap tahun, berbanding setiap dua tahun seperti yang berlaku secara sejarah. Dan mereka melaporkan sedang menubuhkan unit perniagaan baru yang tertumpu pada mereka reka bentuk cip khas untuk syarikat komputasi awan dan yang lain, termasuk perkakasan AI. Selain daripada Nvidia, Groq bersaing dengan Amazon, Google, dan Microsoft, yang semuanya menawarkan - atau akan segera menawarkan - cip khas untuk beban kerja AI dalam awan. Amazon mempunyai pelatihannya, Inferentia dan prosesor Graviton, yang tersedia melalui AWS; pelanggan Google Cloud dapat menggunakan TPU yang disebutkan tadi dan, dalam masa, cip Axion Google; dan Microsoft baru-baru ini melancarkan contoh Azure dalam pra-tonton untuk pemprosesan CPU Cobalt 100-nya, dengan contoh pecut AI Maia 100 akan datang dalam beberapa bulan akan datang.
Groq mungkin menganggap Arm, Intel, AMD dan sejumlah startup yang semakin bertambah sebagai pesaing, juga, dalam pasaran cip AI yang boleh mencapai jualan tahunan $400 bilion dalam lima tahun akan datang, menurut beberapa analis. Arm dan AMD secara khusus mempunyai perniagaan cip AI yang berkembang, berkat belanja modal yang melonjak oleh vendor awan untuk memenuhi permintaan kapasiti bagi keperluan generatif AI. D-Matrix akhir tahun lalu mengumpulkan $110 juta untuk memasarkan apa yang ia gambarkan sebagai platform inferens compute pertama dalam jenisnya. Pada Jun, Etched muncul daripada keadaan tersirap dengan $120 juta untuk pemproses yang dibina khas untuk mempercepatkan senibina model AI generatif dominan hari ini, transformer. Masayoshi Son SoftBank dilaporkan sedang cuba mengumpulkan $100 bilion untuk projek cip bagi bersaing dengan Nvidia. Dan OpenAI dilaporkan sedang dalam perbincangan dengan firma pelaburan untuk melancarkan inisiatif pembuatan cip AI. Untuk memperkukuhkan nichenya, Groq melabur dengan banyak dalam mencari sentuhan dengan perniagaan dan kerajaan. Pada Mac, Groq mengambil alih Definitive Intelligence, sebuah syarikat berpengkalan di Palo Alto yang menawarkan pelbagai penyelesaian AI berorientasikan perniagaan, untuk membentuk unit perniagaan baru yang dipanggil Groq Systems. Dalam bidang tugas Groq Systems ialah melayani organisasi, termasuk agensi kerajaan AS dan negara berdaulat, yang ingin menambah cip Groq ke pusat data sedia ada atau membina pusat data baru dengan menggunakan pemproses Groq. More recently, Groq partnered with Carahsoft, a government IT contractor, to sell its solutions to public sector clients through Carahsoft’s reseller partners, and the startup has a letter of intent to install tens of thousands of its LPUs at European firm Earth Wind & Power’s Norway datacenter. Groq is also collaborating with Saudi Arabian consulting firm Aramco Digital to install LPUs in future datacenters in the Middle East.At the same time it’s establishing customer relationships, Mountain View, California-based Groq is marching toward the next generation of its chip. Last August, the company announced that it would contract with semiconductor firm Global Foundries to manufacture 4nm LPUs, which are expected to deliver performance and efficiency gains over Groq’s first-gen 13nm chips.
Groq says it plans to deploy over 108,000 LPUs by the end of Q1 2025.
