Seorang pemaju tersamar telah mencipta yang mereka sebut sebagai 'penilaian ucapan bebas,' SpeechMap, untuk model AI yang memacu chatbot seperti ChatGPT milik OpenAI dan Grok milik X. Tujuannya adalah untuk membandingkan bagaimana model yang berbeza memperlakukan subjek yang sensitif dan kontroversi, kata pemaju kepada TechCrunch, termasuk kritikan politik dan soalan tentang hak asasi manusia dan protes.
Syarikat AI telah memberi tumpuan kepada menambahbaik bagaimana model mereka memproses topik tertentu apabila beberapa sekutu White House menuduh chatbot popular terlalu 'certa'. Banyak orang kepercayaan Presiden Donald Trump, seperti Elon Musk dan crypto dan 'czar' AI David Sacks, telah mendakwa bahawa chatbot menyensor pandangan konservatif.
Walaupun tiada syarikat AI ini menjawab tuduhan tersebut secara langsung, beberapa telah berikrar untuk menyesuaikan model mereka supaya mereka tidak menjawab soalan yang kontroversi kurang kerap. Sebagai contoh, untuk model Llama terbaharunya, Meta mengatakan ia melatih model tersebut untuk tidak menyokong 'beberapa pandangan berbanding yang lain,' dan untuk menjawab soalan politik yang lebih 'diperdebatkan'.
Pemaju SpeechMap, yang menggunakan nama pengguna "xlr8harder" di X, mengatakan mereka bermotivasi untuk membantu menginformasikan perbincangan tentang apa model sepatutnya, dan tidak sepatutnya, lakukan.
'Saya fikir ini adalah jenis perbincangan yang sepatutnya berlaku di tempat awam, bukan hanya di dalam ibu pejabat korporat,' xlr8harder memberitahu TechCrunch melalui emel. 'Itulah sebabnya saya membina laman itu untuk membolehkan sesiapa menjelajah data sendiri.'
SpeechMap menggunakan model AI untuk menilai sama ada model lain mematuhi satu setujipan ujian tertentu. Ujipan tersebut merangkumi pelbagai subjek, dari politik ke naratif sejarah dan simbol-simbol kebangsaan. SpeechMap merekod sama ada model 'sepenuhnya' memenuhi permintaan (iaitu menjawab tanpa ragu-ragu), memberikan jawapan 'elak' atau menolak untuk menjawab.
Xlr8harder mengakui bahawa ujian ini mempunyai kelemahan, seperti 'gangguan' kerana kesilapan pembekal model. Juga mungkin 'pengadil' model mengandungi kecenderungan yang boleh mempengaruhi keputusan.
Tetapi dengan menganggap projek ini dicipta dengan pantas dan data adalah tepat, SpeechMap mendedahkan beberapa tren menarik.
Contohnya, model-model OpenAI semakin menolak untuk menjawab ujian berkenaan politik, menurut SpeechMap. Model-model terbaharu syarikat itu, keluarga GPT-4.1, sedikit lebih longgar, tetapi mereka masih langkah turun dari salah satu keluaran OpenAI tahun lalu.
OpenAI mengumumkan pada Februari bahawa akan melatih model-model masa depan untuk tidak mengambil pendirian editorial, dan untuk menawarkan pelbagai perspektif tentang subjek yang kontroversi - semua dalam usaha untuk menjadikan model-modelnya kelihatan lebih 'neutral'.
Jauhnya model yang paling longgar dalam kumpulan adalah Grok 3, yang dikembangkan oleh startup AI Elon Musk, xAI, menurut perbandingan SpeechMap. Grok 3 memacu beberapa ciri di X, termasuk chatbot Grok.
Grok 3 menjawab 96.2% ujian SpeechMap, berbanding dengan kadar pematuhan global purata 71.3%.
'Walaupun model-model terkini OpenAI semakin tidak bertolak ansur dari masa ke masa, terutama pada ujian yang sensitif secara politik, xAI bergerak dalam arah sebaliknya,' kata xlr8harder.
Apabila Musk mengumumkan Grok kira-kira dua tahun yang lalu, dia mempromosikan model AI itu sebagai berani, tanpa disaring, dan anti-'sedar' - secara umumnya, bersedia menjawab soalan kontroversi yang sistem AI lain tidak akan. Dia berjaya dalam sebahagian daripada janji itu. Diberitahu untuk menjadi kasar, sebagai contoh, Grok dan Grok 2 dengan senang hati akan patuh, melepaskan percakapan berwarna-warni yang mungkin tidak akan anda dengar dari ChatGPT.
Tetapi model Grok sebelum Grok 3 ragu-ragu pada subjek politik dan tidak akan melintasi batas tertentu. Sebenarnya, satu kajian mendapati bahawa Grok condong ke kiri dalam topik seperti hak transgender, program kepelbagaian, dan ketidaksamaan.
Musk telah menyalahkan tingkah laku tersebut kepada data latihan Grok - laman web awam - dan berikrar untuk 'mendekatkan Grok ke arah politik neutral'. Kecuali kesilapan-kesilapan penting seperti sementara menyensor sebutan tidak menguntungkan Presiden Donald Trump dan Musk, nampaknya beliau mungkin berjaya mencapai matlamat tersebut.
