Teknik "melupakan", yang biasa disebut unlearning, digunakan untuk membuat model AI generatif melupakan informasi spesifik dan tidak diinginkan yang diperoleh dari data pelatihan, seperti data pribadi sensitif atau materi yang dilindungi hak cipta.
Tetapi teknik unlearning saat ini adalah pedang bermata dua: Mereka dapat membuat model seperti GPT-4o dari OpenAI atau Llama 3.1 405B Meta jauh lebih sedikit mampu menjawab pertanyaan dasar.
Ini menurut sebuah studi baru yang bersama-sama ditulis oleh peneliti di University of Washington (UW), Princeton, University of Chicago, USC dan Google, yang menemukan bahwa teknik unlearning paling populer saat ini cenderung merusak model - seringkali sampai pada titik di mana mereka tidak dapat digunakan.
“Evaluasi kami menunjukkan bahwa metode unlearning yang layak saat ini belum siap digunakan atau diimplementasikan dalam skenario dunia nyata,” Weijia Shi, seorang peneliti dalam studi tersebut dan calon Ph.D. dalam ilmu komputer di UW, mengatakan kepada TechCrunch. "Saat ini, tidak ada metode yang efisien yang memungkinkan sebuah model melupakan data spesifik tanpa kerugian yang signifikan."
Bagaimana model belajar
Model AI generatif tidak memiliki kecerdasan nyata. Mereka adalah sistem statistik yang memprediksi kata-kata, gambar, ucapan, musik, video, dan data lainnya. Dengan memberikan sejumlah besar contoh (misalnya film, rekaman suara, esai, dan sebagainya), model AI belajar seberapa mungkin data terjadi berdasarkan pola, termasuk konteks dari data sekitar mana saja.
Diberikan suatu email yang diakhiri dengan kalimat “Menantikan...”, misalnya, suatu model yang dilatih untuk melengkapi pesan mungkin menyarankan “… untuk mendengar balik,” mengikuti pola dari semua email yang telah diolahnya. Tidak ada niat di sana; model tersebut tidak menunggu sesuatu. Hanya membuat tebakan yang berdasarkan informasi yang dimiliki.
Sebagian besar model, termasuk bendera seperti GPT-4o, dilatih pada data yang diambil dari situs web publik dan set data di seluruh web. Kebanyakan vendor yang mengembangkan model-model tersebut berpendapat bahwa penggunaan wajar melindungi praktik mereka dalam mengambil data dan menggunakannya untuk pelatihan tanpa memberitahu, memberikan kompensasi, atau bahkan memberikan kredit kepada pemilik data.
Tetapi tidak setiap pemegang hak cipta setuju. Dan banyak - dari penulis hingga penerbit hingga label rekaman - telah mengajukan gugatan hukum terhadap vendor untuk memaksa perubahan.
Dilema hak cipta adalah salah satu alasan mengapa teknik unlearning belakangan ini mendapat banyak perhatian. Google, bekerja sama dengan beberapa institusi akademis, tahun lalu meluncurkan kompetisi yang bertujuan untuk mendorong penciptaan pendekatan unlearning baru.
Unlearning juga bisa menjadi cara untuk menghapus informasi sensitif dari model-model yang ada, seperti rekam medis atau foto yang mengancam, sebagai tanggapan atau perintah pemerintah. (Berkat cara mereka dilatih, model cenderung mendapatkan banyak informasi pribadi, mulai dari nomor telepon hingga contoh-contoh yang lebih bermasalah.) Selama beberapa tahun terakhir, beberapa vendor telah meluncurkan alat untuk memungkinkan pemilik data meminta agar data mereka dihapus dari set pelatihan. Tapi alat-alat ini hanya berlaku untuk model-model masa depan, bukan model-model yang dilatih sebelum mereka diluncurkan; unlearning akan menjadi pendekatan yang jauh lebih menyeluruh untuk penghapusan data.
Terlepas dari itu, unlearning tidak semudah mengklik “Hapus.”
Seni melupakan
Teknik unlearning saat ini bergantung pada algoritma yang dirancang untuk “mengarahkan” model-model jauh dari data yang akan dilupakan. Ide tersebut adalah untuk memengaruhi prediksi model sehingga tidak pernah - atau hanya sangat jarang - menghasilkan data tertentu.
Untuk melihat seberapa efektif algoritma unlearning tersebut, Shi dan rekan-rekannya merancang sebuah benchmark dan memilih delapan algoritma terbuka yang berbeda untuk diuji. Bernama MUSE (Machine Unlearning Six-way Evaluation), benchmark tersebut bertujuan untuk menyelidiki kemampuan suatu algoritma tidak hanya untuk mencegah model mengeluarkan data pelatihan secara tepat (fenomena yang dikenal sebagai regurgitasi), tetapi juga menghilangkan pengetahuan model tentang data tersebut bersama dengan setiap bukti bahwa awalnya ia dilatih pada data tersebut.
Menjadi baik di MUSE memerlukan model melupakan dua hal: buku dari seri Harry Potter dan artikel berita.
Sebagai contoh, diberikan potongan teks dari Harry Potter dan Kamar Rahasia (“‘Ada lebih di wajan,’ kata Bibi...”), MUSE menguji apakah model yang dilupakan bisa mengucapkan seluruh kalimat tersebut (“‘Ada lebih di wajan,’ kata Bibi Petunia, memandang anak laki-lakinya yang besar”), menjawab pertanyaan tentang adegan tersebut (misalnya, “Apa yang dikatakan Bibi Petunia kepada anaknya?”, “Ada lebih di wajan”) atau menunjukkan bahwa model tersebut telah dilatih pada teks dari buku tersebut.
MUSE juga menguji apakah model mempertahankan pengetahuan umum terkait - misalnya bahwa J.K. Rowling adalah penulis seri Harry Potter - setelah dilupakan, yang para peneliti sebut sebagai kegunaan model secara keseluruhan. Semakin rendah kegunaan, semakin banyak pengetahuan terkait yang hilang oleh model, membuat model kurang mampu menjawab pertanyaan secara tepat.
Dalam studi mereka, para peneliti menemukan bahwa algoritma unlearning yang mereka uji memang membuat model-model melupakan informasi tertentu. Tetapi juga merugikan kemampuan model dalam menjawab pertanyaan secara umum, menimbulkan sebuah pengorbanan.
“Merancang metode unlearning yang efektif untuk model-model merupakan tantangan karena pengetahuan tersangkut dalam model,” Shi menjelaskan. “Sebagai contoh, sebuah model dapat dilatih pada materi yang dilindungi hak cipta - buku Harry Potter serta pada konten yang tersedia secara bebas dari Harry Potter Wiki. Ketika metode unlearning yang ada mencoba menghapus buku Harry Potter yang dilindungi hak cipta, mereka signifikan mempengaruhi pengetahuan model tentang Harry Potter Wiki juga.”
Apakah ada solusi untuk masalah ini? Belum - dan hal ini menyoroti perlunya penelitian tambahan, kata Shi.
Untuk saat ini, vendor yang bertaruh pada unlearning sebagai solusi atas masalah data pelatihan mereka tampaknya kurang beruntung. Mungkin suatu terobosan teknis akan membuat unlearning menjadi mungkin suatu hari nanti. Tapi untuk saat ini, vendor akan harus menemukan cara lain untuk mencegah model-model mereka mengucapkan hal-hal yang seharusnya tidak mereka katakan.
