Kontraktor yang bekerja untuk meningkatkan AI Gemini Google sedang membandingkan jawabannya dengan output yang dihasilkan oleh model pesaing Anthropic, Claude, menurut korespondensi internal yang dilihat oleh TechCrunch.
Google tidak menyatakan, ketika dihubungi oleh TechCrunch untuk berkomentar, apakah telah memperoleh izin untuk penggunaan Claude dalam pengujian terhadap Gemini.
Saat perusahaan teknologi berlomba untuk membangun model AI yang lebih baik, kinerja model-model ini sering dievaluasi melawan pesaing, biasanya dengan menjalankan model mereka sendiri melalui benchmark industri daripada memiliki kontraktor mengevaluasi tanggapan AI pesaing mereka dengan teliti.
Kontraktor yang bekerja pada Gemini yang ditugaskan untuk menilai akurasi output model harus memberi skor setiap tanggapan yang mereka lihat berdasarkan kriteria-kriteria seperti kebenaran dan keberlebihan. Kontraktor diberi waktu hingga 30 menit per prompt untuk menentukan jawaban yang lebih baik, Gemini atau Claude, menurut korespondensi yang dilihat oleh TechCrunch.
Baru-baru ini, kontraktor mulai melihat referensi Claude Anthropic muncul di platform internal Google yang mereka gunakan untuk membandingkan Gemini dengan model AI lain yang tidak disebutkan namanya, menunjukkan korespondensi. Setidaknya satu output yang disajikan kepada kontraktor Gemini, yang dilihat oleh TechCrunch, dengan tegas menyatakan: “Saya adalah Claude, diciptakan oleh Anthropic.”
Percakapan internal menunjukkan kontraktor yang memperhatikan tanggapan Claude tampaknya menekankan keamanan lebih dari Gemini. “Pengaturan keamanan Claude adalah yang paling ketat” di antara model AI, tulis salah satu kontraktor. Dalam beberapa kasus, Claude tidak akan merespons prompt yang dianggapnya tidak aman, seperti peran lain sebagai asisten AI. Dalam kasus lain, Claude menghindari menjawab pertanyaan, sementara tanggapan Gemini ditandai sebagai “pelanggaran keamanan yang besar” karena mencakup “ketelanjangan dan perbudakan.”
Ketentuan layanan komersial Anthropic melarang pelanggan dari mengakses Claude “untuk membangun produk atau layanan pesaing” atau “melatih model AI pesaing” tanpa persetujuan dari Anthropic. Google adalah investor utama di Anthropic.
Shira McNamara, juru bicara Google DeepMind, yang mengelola Gemini, tidak mengatakan — ketika ditanya oleh TechCrunch — apakah Google telah memperoleh izin Anthropic untuk mengakses Claude. Saat dihubungi sebelum publikasi, juru bicara Anthropic tidak memberikan komentar hingga batas waktu pers.
McNamara mengatakan bahwa DeepMind membandingkan output model untuk evaluasi tetapi tidak melatih Gemini pada model-model Anthropic.
“Tentu saja, sesuai dengan praktik industri standar, dalam beberapa kasus kami membandingkan output model sebagai bagian dari proses evaluasi kami,” kata McNamara. “Namun, setiap saran bahwa kami telah menggunakan model Anthropic untuk melatih Gemini adalah tidak akurat.”
Minggu lalu, TechCrunch secara eksklusif melaporkan bahwa kontraktor Google yang bekerja pada produk AI perusahaan sekarang diwajibkan untuk menilai tanggapan AI Gemini di area di luar bidang keahlian mereka. Korespondensi internal menyatakan kekhawatiran kontraktor bahwa Gemini bisa menghasilkan informasi yang tidak akurat dalam topik-topik sensitif seperti kesehatan.
Anda dapat mengirim tips secara aman ke reporter ini di Signal di +1 628-282-2811. TechCrunch memiliki buletin berfokus AI! Daftar di sini untuk mendapatkannya di kotak masuk Anda setiap hari Rabu.
