Terjadi kontroversi mengenai kajian 'AI-generated' yang dihantar ke ICLR tahun ini, sebuah persidangan akademik yang berfokus pada AI.
Sekurang-kurangnya tiga makmal AI - Sakana, Intology, dan Autoscience - mendakwa telah menggunakan AI untuk menghasilkan kajian yang diterima ke dalam bengkel ICLR. Di persidangan seperti ICLR, penganjur bengkel biasanya membuat semakan kajian untuk diterbitkan dalam trek bengkel persidangan.
Sakana memaklumkan pemimpin ICLR sebelum menghantar kertas-kertas AI yang dihasilkan dan memperoleh keizinan peer reviewers. Dua makmal lain - Intology dan Autoscience - tidak, jurucakap ICLR mengesahkan kepada TechCrunch.
Beberapa ahli AI mengambil pendapat di media sosial untuk mengkritik perbuatan Intology dan Autoscience sebagai penjerutan proses semakan rakan sejawat sains.
'Semua kertas saintis AI ini menggunakan tempat peninjauan rakan sejawat sebagai penilai manusia mereka, tetapi tiada sesiapa yang bersetuju untuk menyediakan kerja sukarela ini,' tulis Prithviraj Ammanabrolu, seorang profesor sains komputer di UC San Diego, dalam sebuah catatan. 'Ini membuat saya kehilangan hormat kepada semua yang terlibat tanpa mengira seberapa hebat sistem itu. Sila nyatakan kepada editor.'
Seperti yang diketengahkan kritikus, semakan rakan sejawat adalah sebuah proses yang menyakitkan, memerlukan banyak masa, dan kebanyakan kerja sukarela. Menurut satu kajian Nature baru-baru ini, 40% ahli akademik menghabiskan dua hingga empat jam membuat semakan untuk satu kajian. Kerja tersebut semakin meningkat. Bilangan kertas yang dihantar ke persidangan AI terbesar, NeurIPS, meningkat kepada 17,491 tahun lalu, naik 41% dari 12,345 pada tahun 2023.
Akademik sudah mempunyai masalah salinan yang dihasilkan oleh AI. Satu analisis menemui bahawa antara 6.5% hingga 16.9% kertas yang dihantar ke persidangan AI pada tahun 2023 mungkin mengandungi teks sintetik. Tetapi syarikat AI yang menggunakan semakan rakan sejawat untuk mengukur dan mengiklankan teknologi mereka adalah kejadian yang lebih baru.
'[Kertas-kertas Intology] meraih ulasan yang sangat positif,' tulis Intology dalam catatan di X membanggakan keputusan ICLRnya. Dalam catatan yang sama, syarikat tersebut mendakwa bahawa penilai bengkel memuji salah satu kajian AI yang dihasilkan kerana 'idea yang bijak'.
Academics tidak melihat perkara ini dengan baik.
Ashwinee Panda, seorang profesor pasca doktor di University of Maryland, berkata dalam catatan di X bahawa menghantar kertas-kertas yang dihasilkan oleh AI tanpa memberikan kebebasan kepada penganjur bengkel untuk menolaknya menunjukkan 'kurang hormat terhadap masa penilai manusia.'
'Sakana menghubungi bertanya sama ada kami sedia untuk mengambil bahagian dalam eksperimen mereka untuk bengkel yang saya sedang merancang di ICLR,' tambah Panda, 'dan saya (kami) kata tidak [...] Saya fikir menghantar kertas AI ke tempat tanpa menghubungi [penilai] adalah buruk.'
Secara tidak langsung, ramai penyelidik skeptikal bahawa kertas AI yang dihasilkan adalah berbaloi dengan usaha semakan rakan sejawat.
Sakana sendiri mengakui bahawa AI mereka membuat ralat kutipan yang 'memalukan', dan bahawa hanya satu daripada tiga kertas AI yang dilihakan syarikat tersebut memenuhi piawaian untuk diterima dalam persidangan. Sakana menarik kembali kertas ICLR-nya sebelum ia dapat diterbitkan atas alasan ketelusan dan menghormati konvensyen ICLR, kata syarikat tersebut.
Alexander Doria, pengasas bersama syarikat AI Pleias, berkata bahawa kelimpahan penghantaran kertas sintetik ICLR secara rahsia menunjukkan keperluan untuk 'syarikat berlesen/agensi awam' untuk membuat 'penilaian kajian AI yang berkualiti tinggi' dengan bayaran.
'Penilaian [harus] dilakukan oleh penyelidik yang sepenuhnya dijaga masa mereka,' kata Doria dalam beberapa catatan di X. 'Akademik bukan untuk mengkontrakkan [AI] penilaian percuma.'
