Hiya, rakan-rakan, selamat datang ke surat berita AI tetap TechCrunch. Jika anda ingin menerima ini di peti masuk anda setiap hari Rabu, daftar di sini.
Katakan apa yang anda mahu tentang AI generatif. Tetapi ia menjadi komoditi - atau sekurang-kurangnya, begitu kelihatannya.
Pada awal Ogos, kedua-dua Google dan OpenAI menurunkan harga model penjanaan teks yang paling mesra bajet mereka. Google mengurangkan harga input untuk Gemini 1.5 Flash (kos untuk memproses teks model) sebanyak 78% dan harga output (kos untuk membangkitkan teks model) sebanyak 71%. Sementara itu, OpenAI, mengurangkan harga input untuk GPT-4o separuh dan harga output sebanyak sepertiga.
Menurut satu anggaran, kos purata inferens - kos untuk menjalankan model, pada dasarnya - berkurangan pada kadar 86% setiap tahun. Jadi apakah yang memacu perkara ini?
Pertama, tidak banyak yang membezakan model utama yang berbeza dari segi keupayaannya.
Andy Thurai, analis utama di Constellation Research, memberitahu saya: "Kami mengharapkan tekanan harga untuk terus berlanjut dengan semua model AI jika tiada perbezaan unik. Jika penggunaan tidak ada, atau jika persaingan semakin meningkat, semua pembekal ini perlu agresif dengan harga mereka untuk mengekalkan pelanggan mereka."
John Lovelock, VP analis di Gartner, bersetuju bahawa komoditasi dan persaingan bertanggungjawab atas tekanan harga model ke arah ke bawah baru-baru ini. Dia mencatat bahawa model telah dipri harga berdasarkan kos-plus sejak permulaan - dengan kata lain, dipri untuk mendapatkan semula berjuta-juta dolar yang dihabiskan untuk melatih mereka (GPT-4 OpenAI dilaporkan menghabiskan $78.4 juta) dan kos server untuk menjalankan mereka (ChatGPT pada suatu ketika menghabiskan OpenAI sekitar $700,000 sehari). Tetapi sekarang pusat data telah mencapai saiz - dan skala - untuk menyokong diskaun.
Pembekal, termasuk Google, Anthropic, dan OpenAI, telah merangkul teknik seperti pengehos tengara dan penjajaran untuk memberikan jimat tambahan. Penyimpanan prompt membolehkan pembangun menyimpan "konteks prompt" tertentu yang boleh digunakan semula melintasi panggilan API ke model, manakala penjajaran memproses kumpulan kemasukan model yang kurang prioriti (dan seterusnya lebih murah) secara asinkron.
Pelepasan model terbuka besar seperti Llama 3 Meta kemungkinan telah memberi impak pada penetapan harga vendor juga. Walaupun yang terbesar dan paling cekap ini tidak murah untuk dijalankan, mereka boleh bersaing dengan tawaran vendor, dari segi kos, apabila dijalankan pada infrastruktur dalaman syarikat.
Soalan sekarang ialah sama ada penurunan harga adalah berkekalan.
Pembekal AI generatif sedang menggunakan tunai - cepat. Kedengaran OpenAI dijalankan pada track untuk rugi $5 bilion tahun ini, manakala saingannya Anthropic meramal akan lebih $2.7 bilion dalam kesusutan pada 2025.
Lovelock berpendapat bahawa kos capex tinggi dan operasi boleh memaksa pembekal untuk mengambil struktur harga yang sama sekali baru.
"Dengan anggaran kos beratus juta dolar untuk mencipta generasi seterusnya model, apakah yang harga-plus akan beri keputusan kepada pengguna?" katanya.
Kita akan mendapat tahu cukup segera.
Berita
Musk menyokong SB 1047: CEO X, Tesla dan SpaceX Elon Musk telah menyokong SB 1047 California, sebuah undang-undang yang memerlukan pembuat model AI yang sangat besar untuk membuat dan mendokumentasikan langkah-langkah keselamatan untuk menghalang model-model berkenaan menyebabkan kerosakan serius.
AI Overviews berbicara Hindi buruk: Ivan menulis bahawa AI Overviews Google, yang memberikan jawapan berdasarkan AI dalam menanggapi beberapa carian tertentu, melakukan banyak kesilapan dalam Hindi - seperti mencadangkan "benda lengket" sebagai sesuatu yang dimakan semasa musim panas.
OpenAI menyokong penjenamaan air: OpenAI, Adobe dan Microsoft telah menyokong belakang yangar california yang mengkehendaki syarikat teknologi untuk menanda kandungan dijana oleh AI. Rang undang-undang itu menuju ke undian akhir pada Ogos, Max melaporkan.
Inflection menambah topi ke Pi: Startup AI Inflection, yang pengasas dan kebanyakkan kakitangan telah diambil alih oleh Microsoft lima bulan lalu, merancang mengehadkan akses percuma kepada chatbot Pi kerana fokus syarikat tersebut beralih kepada produk korporat.
Stephen Wolfram tentang AI: Ron Miller mewawancarai Stephen Wolfram, pengasas Wolfram Alpha, yang berkata beliau melihat falsafah memasuki kepada zaman "emas" baru disebabkan oleh pengaruh AI yang semakin berkembang dan semua persoalan yang timbul daripadanya.
Waymo mengendalikan kanak-kanak: Waymo, subsidiari Alphabet, dilaporkan mempertimbangkan program langganan yang membolehkan remaja memanggil salah satu kenderaan mereka secara solo dan menghantar petunjuk penjemputan dan penurunan kepada ibu bapa remaja tersebut.
Pekerja DeepMind bantahan: Sesetengah pekerja di DeepMind, bahagian penyelidikan dan pembangunan AI Google, tidak senang dengan kontrak pertahanan yang dilaporkan oleh Google - dan mereka dikatakan telah menyebarkan surat secara dalaman untuk menunjukkan hal tersebut.
Startup AI memacu pembelian SVP: Dana modal pelabur semakin membeli saham syarikat startup peringkat akhir di pasaran kedua, sering dalam bentuk instrumen kewangan yang dipanggil kenderaan tujuan khusus (SPV), apabila mereka cuba mendapatkan bahagian daripada syarikat AI yang paling popular, Rebecca menulis.
Kertas penyelidikan minggu ini
Seperti yang telah kita tulis sebelum ini, banyak penilaian AI tidak memberi kita banyak maklumat. Mereka terlalu mudah - atau aher - atau terdapat kesalahan yang mencolok di dalamnya.
Dengan matlamat mengembangkan penilaian yang lebih baik untuk model-visi-bahasa (VLMs) khususnya (iaitu, model yang boleh memahami kedua-dua foto dan teks), para penyelidik di Institut Allen untuk AI (AI2) dan tempat lain-baru-baru ini merilis bangku ujian yang disebut WildVision.
WildVision terdiri daripada platform penilaian yang mengandungi kira-kira 20 model, termasuk Gemini Pro Vision Google dan GPT-4o OpenAI, dan papan keader yang menggambarkan keutamaan orang dalam perbualan dengan model-model tersebut.
Ketika melahirkan WildVision, penyelidik AI2 berkata bahawa mereka mendapati bahawa malah VLMs terbaik mengalami halusinasi dan bergelut dengan petanda kontekstual dan penalaran spatial. "Analisis menyeluruh kami ... menunjukkan arah untuk memajukan VLMs," mereka menulis dalam kertas yang menyertainya dengan pelepasan rangkakujian.
Model minggu ini
Bukan model yang sebenarnya, tetapi minggu ini, Anthropic melancarkan ciri Artifak mereka untuk semua pengguna, yang mengubah perbualan dengan model Claude syarikat menjadi aplikasi, grafik, papan pemuka, laman web dan banyak lagi.
Dilancarkan dalam previuw pada Jun, Artifak - yang kini boleh digunakan secara percuma di web dan aplikasi Claude Anthropic untuk iOS dan Android - menyediakan tingkap khusus yang menunjukkan ciptaan yang anda buat dengan Claude. Pengguna boleh menerbitkan dan remix ciptaan dengan komuniti yang lebih luas, manakala pelanggan Pelan Pasukan Anthropic boleh berkongsi artifak dalam persekitaran yang lebih terkunci.
Inilah yang diterangkan oleh Michael Gerstenhaber, pemimpin produk di Anthropic, kepada TechCrunch dalam satu temu ramah: "Artifak adalah hasil model yang menempatkan kandungan yang dihasilkan ke sisi dan membolehkan anda, sebagai pengguna, untuk berulang alik pada kandungan tersebut. Katakanlah anda mahu menghasilkan kod - artifak akan diletakkan dalam UI, dan kemudian anda boleh berbual dengan Claude dan berulang alik pada dokumen untuk memperbaiki untuk menjalankan kod itu." Mengesyorkan adalah bahawa Poe, penyatuan silang pelanggan berasaskan langganan Quora untuk model AI, termasuk Claude, mempunyai ciri yang serupa dengan Artifak yang disebut Pratonton. Tetapi berbeza dengan Artifak, Pratonton tidak percuma - ia memerlukan pembayaran $20 sebulan untuk pelan premium Poe.
Tangkapan
OpenAI mungkin mempunyai Strawberry di lengan mereka.
Itu menurut maklumat yang memberitahu yang syarikat cuba melancarkan hasil AI baru yang boleh merangka masalah secara lebih baik daripada model-model sedia ada. Strawberry - sebelum ini dipanggil Q*, yang saya tulis mengenainya tahun lalu - dikatakan mampu menyelesaikan masalah matematik yang rumit dan masalah bahasa pengaturcaraan yang belum pernah dilihat sebelum ini, serta teka-teki kata seperti Koneksi New York Times.
Kelemahan adalah ia mengambil lebih masa untuk "berfikir". Tidak jelas berapa lama berbanding model terbaik OpenAI hari ini, GPT-4o.
OpenAI berharap untuk melancarkan beberapa bentuk model Strawberry-infused ini pada musim gugur ini, mungkin pada platform chatbot tenaga AI ChatGPT mereka. Syarikat juga dilaporkan menggunakan Strawberry untuk menghasilkan data sintetik untuk melatih model, termasuk model besar seterusnya dipanggil Orion.
Harapan untuk Strawberry sangat tinggi dalam lingkaran peminat AI. Boleskah OpenAI memenuhi harapan itu? Susah untuk dinyatakan - tetapi saya berharap untuk peningkatan dalam kemampuan ejaan ChatGPT, pada yang paling kurang.
