Aktor yang jahat sedang menyalahgunakan alat-alat muzik AI generative untuk mencipta lagu-lagu homofobia, rasisme, dan propagandik - dan menerbitkan panduan yang mengajar orang lain bagaimana melakukannya.
Menurut ActiveFence, sebuah perkhidmatan untuk mengurus operasi kepercayaan dan keselamatan di platform-platform dalam talian, terdapat peningkatan dalam bualan di kalangan komuniti berkaitan "cakap kebencian" sejak Mac mengenai cara-cara mempergunakan alat-alat ciptaan muzik AI untuk menulis lagu-lagu yang membenci kumpulan minoriti. Lagu-lagu yang dihasilkan oleh AI yang dikongsi dalam forum-forum ini bertujuan untuk menimbulkan kebencian terhadap kumpulan etnik, jenis kelamin, ras, dan agama, kata penyelidik-penyelidik ActiveFence dalam sebuah laporan, sambil merayakan tindakan martabat, kecederaan diri, dan keganasan.
Lagu-lagu yang membenci dan merosakkan bukanlah fenomena baru. Tetapi ketakutan adalah bahawa, dengan kemunculan alat-alat muzik percuma yang mudah digunakan, mereka akan dihasilkan secara meluas oleh orang-orang yang sebelum ini tidak mempunyai cara atau ilmu pengetahuan - sama seperti generator imej, suara, video, dan teks telah mempercepatkan penyebaran maklumat palsu, maklumat tidak benar, dan cakap kebencian.
"Ini adalah trend yang semakin meningkat kerana lebih ramai pengguna sedang belajar cara-cara menghasilkan lagu-lagu ini dan berkongsi dengan orang lain," kata Noam Schwartz, penyelaras dan CEO ActiveFence, kepada TechCrunch dalam satu temu bual. "Pihak-pihak ancaman dengan cepat mengenal pasti kelemahan tertentu untuk menyalahgunakan platform-platform ini dengan cara yang berbeza dan menghasilkan kandungan yang jahat."
Mencipta lagu-lagu "kebencian"
Alat-alat muzik AI generative seperti Udio dan Suno membenarkan pengguna menambah lirik kustom kepada lagu-lagu yang dihasilkan. Perlindungan di platform-platform tersebut menyaring umpatan umum dan perkataan merendahkan, tetapi pengguna telah mencari jalan keluar, menurut ActiveFence.
Dalam satu contoh yang dinyatakan dalam laporan tersebut, pengguna dalam forum-forum supremasi putih berkongsi cara-cara menyebut minoriti dan perkataan-perkataan yang melanggar, seperti "jooz" sebagai ganti kepada "Yahudi" dan "say tan" sebagai ganti kepada "Setan," yang mereka gunakan untuk mengelakkan penyaringan kandungan. Sesetengah pengguna mencadangkan untuk mengubah ruang-susun dan ejaan apabila merujuk kepada tindakan keganasan, seperti menggantikan "perkosa saya" dengan "mire ape."
TechCrunch telah menguji beberapa cara ini di Udio dan Suno, dua alat yang lebih popular untuk mencipta dan berkongsi muzik yang dihasilkan oleh AI. Suno membenarkan semuanya, manakala Udio menghalang sebahagian - tetapi tidak semuanya - daripada homofon yang memalukan.
Seorang jurucakap Udio yang dihubungi melalui e-mel memberitahu TechCrunch bahawa syarikat tersebut melarang penggunaan platformnya untuk cakap kebencian. Suno tidak menjawab permintaan kami untuk komen.
Dalam komuniti-komuniti yang disiasatnya, ActiveFence menemui pautan ke lagu-lagu yang dihasilkan oleh AI yang mengulangi teori konspirasi mengenai orang Yahudi dan menggesa untuk pembunuhan beramai-ramai mereka; lagu-lagu yang mengandungi slogan-slogan yang berkaitan dengan kumpulan-kumpulan pengganas ISIS dan Al-Qaeda; dan lagu-lagu yang memuja keganasan seksual terhadap wanita.
Impak lagu
Schwartz mengemukakan bahawa lagu-lagu - berbeza dengan, katakanlah, teks - membawa beban emosi yang menjadikan mereka sebagai kuasa yang kuat bagi kumpulan-kumpulan benci dan peperangan politik. Beliau menunjukkan kepada Rock Against Communism, siri konsert rock kuasa putih di U.K pada akhir tahun 70-an dan awal tahun 80-an yang menimbulkan subgenre-subgenre muzik "hatecore" anti-Semit dan rasist.
"AI menjadikan kandungan yang merosakkan lebih menarik - bayangkan seseorang yang menyampaikan naratif yang merosakkan mengenai satu populasi tertentu dan kemudian bayangkan seseorang mencipta lagu berima yang menjadikannya mudah bagi semua orang untuk menyanyikan dan mengingatnya," katanya. "Mereka menguatkan kesolidaritan kumpulan, mengajarkan ahli-ahli kumpulan peripheri dan juga digunakan untuk mengejutkan dan menyakitkan perasaan pengguna internet yang tidak berkaitan."
Schwartz menyeru platform-platform pembangkitan muzik untuk melaksanakan alat-alat pencegahan dan menjalankan penilaian keselamatan yang lebih menyeluruh. "Pengegunaan pasukan merah mungkin menjelajahi beberapa kelemahan ini dan boleh dilakukan dengan mensimulasikan tingkah laku pihak-pihak ancaman," kata Schwartz. "Moderasi yang lebih baik bagi input dan output mungkin juga berguna dalam kes ini, kerana akan membolehkan platform-platform menghalang kandungan sebelum ia dikongsi dengan pengguna."
Tetapi penyelesaian boleh menjadi sementara apabila pengguna menemui kaedah mengalahkan moderasi yang baru. Sebahagian lagu propaganda pengganas yang dihasilkan oleh AI yang dikenal pasti oleh ActiveFence, sebagai contoh, dicipta dengan menggunakan eufemisme dan transliterasi dalam bahasa Arab - eufemisme-eufemisme yang pembangkit muzik tidak dikesan, mungkin kerana penyaring mereka tidak cukup kuat dalam bahasa Arab.
Muzik benci yang dihasilkan oleh AI boleh tersebar luas jika mengikut jejak langkah lain media AI yang dihasilkan. Wired mendokumentasikan pada awal tahun ini bagaimana satu klip Hitler yang dimanipulasi oleh AI mencapai lebih daripada 15 juta tontonan di X selepas dikongsi oleh pengaruh konspirasi sayap kanan.
Di antara pakar-pakar lain, badan penasihat PBB telah menyuarakan kebimbangan bahawa kandungan rasisme, anti-Semit, Islamophobia, dan xenophobia boleh diperkuatkan oleh AI generatif.
"Perkhidmatan AI generatif membolehkan pengguna yang kurang sumber atau kreatif dan kemahiran teknikal membina kandungan yang menarik dan menyebarkan idea-idea yang boleh bersaing untuk mendapat perhatian di pasaran global idea," kata Schwartz. "Dan pihak ancaman, setelah menemui potensi kreatif yang ditawarkan oleh perkhidmatan-perkhidmatan baru ini, sedang berusaha untuk mengatasi moderasi dan mengelakkan dikesan - dan mereka berjaya."
