Korban Grok AI di Indonesia dan Malaysia marah dan merasa dipermalukan, cukupkah pemblokiran?

SINGAPURA: Ketika Fransisca Saraswati menemukan gambar hasil olahan AI yang menampilkan dirinya berbikini pink beredar di platform media sosial X, ia segera memblokir akun anonim pengunggahnya.

Selebritas Indonesia berusia 25 tahun ini menyadari bahwa gambar itu dibuat oleh Grok, AI milik X. Grok jugalah yang men-tag akunnya secara terbuka, semuanya tanpa persetujuannya.

“Saya merasa dipermalukan, kesal, marah, dan sedih,” ujar Saraswati, yang dikenal dengan panggung Sisca Saras.

“Pengalaman itu sangat menyakitkan, bukan hanya secara personal, tetapi juga secara profesional, karena telah merusak martabat saya, mengaburkan identitas, dan merusak kepercayaan antara artis dan publik,” katanya kepada CNA.

Pengalaman serupa juga dialami oleh beberapa perempuan di Malaysia yang diwawancarai CNA.

Berbagai insiden ini bermula setelah Grok merilis tombol "edit image" pada bulan lalu, yang memungkinkan pengguna merekayasa gambar online dengan perintah (prompt) seperti "pakaikan dia bikini" atau "lepaskan pakaiannya".

Sebelumnya pada Agustus lalu, Grok juga merilis "Spicy Mode", memungkinkan pengguna membuat konten-konten dewasa dan merekayasa gambar-gambar yang tersedia di internet.

Para pengkritik mengatakan Grok telah banyak disalahgunakan untuk menghasilkan deepfake bernuansa seksual, menargetkan perempuan dan anak di bawah umur.

Para korban menyebut penyalahgunaan Grok sebagai tindakan yang “merendahkan” dan merusak martabat. Mereka mendorong pengetatan aturan AI generatif, dan para pakar menilai langkah pemerintah terbaru menjadi sinyal jelas soal batas toleransi otoritas terhadap isu keselamatan, hak, dan martabat perempuan serta anak.

“Ini menandai perubahan dalam hal memahami tanggung jawab. Alih-alih menganggap persoalan ini adalah penyalahgunaan oleh pengguna, regulator kini menyoroti kegagalan sistemik dalam perancangan dan penerapan alat tersebut,” kata Nuurrianti Jalli, peneliti tamu di ISEAS–Yusof Ishak Institute.

Seiring meningkatnya kecaman internasional, sejumlah negara Asia Tenggara mengambil langkah untuk memblokir Grok.

Pada 10 Januari lalu, Indonesia menjadi negara pertama yang memblokir sementara chatbot milik Elon Musk tersebut.

Sehari kemudian, Malaysia menyusul. Lalu pada 13 Januari, Komisi Komunikasi dan Multimedia Malaysia (MCMC) mengumumkan rencana untuk menempuh langkah hukum terhadap X atas dugaan kegagalan dalam pengamanan medsos.

Menteri Komunikasi Malaysia Fahmi Fadzil mengatakan pada Kamis (15/1) bahwa pemblokiran terhadap Grok hanya akan dicabut setelah X membuktikan bahwa pengaman yang diperlukan telah diterapkan untuk mencegah penyalahgunaan.

Pada Rabu pekan lalu setelah ramainya kecaman, X mengumumkan langkah-langkah untuk mencegah Grok “menanggalkan pakaian” orang pada gambar sungguhan.

Sementara itu, Filipina pada Kamis mengatakan pihaknya juga berencana memblokir Grok “malam ini”, bergabung dengan negara-negara tetangganya di Asia Tenggara.

Menurut Elina Noor, peneliti tidak tetap di Program Asia Carnegie Endowment for International Peace, upaya hukum yang dilakukan Malaysia telah mengungkap “kegagalan pengaman sistemik” oleh pencipta Grok serta keengganan mereka mengambil langkah perbaikan meski sudah diperingatkan.

Nuurrianti mengatakan Grok mendapat sorotan khusus karena dinilai “lebih permisif” dibandingkan sebagian besar platform AI lainnya dalam memanipulasi gambar seseorang.

“Hal ini menegaskan bahwa keamanan AI pada dasarnya adalah pilihan desain. Platform lain telah menunjukkan bahwa secara teknis memungkinkan adanya pagar pengaman, meskipun ada konsekuensi yang harus ditanggung,” katanya.

“Pendekatan Grok mencerminkan seperangkat prioritas yang berbeda, dan kini dipertanyakan oleh para regulator.”

“SANGAT TIDAK MANUSIAWI”

Sejumlah selebritas Indonesia secara terbuka mengecam alat kecerdasan buatan tersebut, dengan sebagian mengatakan kini enggan mengunggah foto ke media sosial.

Saraswati mengatakan AI seharusnya menjadi alat yang mendukung kreativitas, bukan mengeksploitasi artis atau membahayakan mereka.

“Penyalahgunaan AI untuk menghasilkan konten eksplisit atau berbahaya menunjukkan adanya kebutuhan mendesak akan pengaman yang lebih kuat, regulasi yang lebih jelas, dan akuntabilitas,” ujarnya.

“Artis berhak atas perlindungan terhadap rupa, nama, dan identitas kreatif mereka, apa pun medianya.”

Secara terpisah, manajemen grup idol JKT48 memperingatkan akan menempuh jalur hukum jika gambar hasil manipulasi terhadap para anggotanya tidak dihapus.

"Konten tersebut berpotensi memenuhi unsur pencemaran nama baik dan/atau penghinaan sebagaimana diatur dalam peraturan perundang-undangan yang berlaku," ujar pernyataan manajemen JKT48 pada 5 Januari lalu.

"Apabila dalam waktu 2x24 jam setelah pengumuman ini diterbitkan kami masih mendapati konten tersebut tersebar, maka guna melindungi member, kami mendukung penuh keputusan member terdampak untuk menempuh jalur hukum," lanjut pernyataan itu.

Media di Indonesia melaporkan bahwa Grok digunakan untuk menghasilkan gambar palsu bernuansa seksual dan dalam beberapa kasus bersifat pornografi terhadap anggota JKT48. Sejumlah anggota grup idol itu mengatakan tindakan tersebut telah “merendahkan” mereka.

Salah satu anggota yang terdampak adalah Freya Jayawardana, 19, yang mendesak pengguna untuk berhenti menyalahgunakan AI guna melecehkan orang lain.

“Stop menyalahgunakan AI. Berpikirlah lebih pintar daripada kecerdasan buatan, Tuhan beri kamu hati dan akal untuk berpikir lebih baik dan sehat daripada alat ciptaan manusia,” tulisnya dalam unggahan di X.

CNA telah menghubungi JKT48 untuk menanyakan apakah langkah hukum telah ditempuh.

Di Malaysia, beberapa perempuan juga melaporkan kasus penyalahgunaan Grok, termasuk penggunaan prompt untuk menghilangkan hijab mereka.

Madihah Mohd Firdaus, 27, mengatakan ia terkejut ketika sebuah akun anonim tiba-tiba membalas cuitannya dengan sebuah video yang menampilkan dirinya tanpa hijab, disertai emoji ciuman terbang.

“Sangat menakutkan mengetahui betapa mudahnya orang itu membuat (gambar saya) di ruang publik,” ujarnya kepada CNA.

“Melihat perempuan lain menjadi korban Grok saja sudah mengerikan, tetapi ketika hal itu terjadi pada foto saya sendiri, perasaannya sulit digambarkan … rasanya sangat tidak manusiawi.”

Madihah mengatakan akun tersebut tampak baru dibuat dan telah mengunggah gambar-gambar perempuan tanpa busana atau tanpa hijab hasil olahan Grok.

“Saya meminta semua teman saya untuk melaporkan akun itu dan syukurlah, akun tersebut akhirnya ditangguhkan.”

Sebagai seorang insinyur, Madihah sendiri menggunakan AI generatif untuk riset akademik. Namun dia mengatakan kini teknologi itu semakin dijadikan senjata.

“Saya melihat sejumlah akun anonim di X yang memperlakukan perempuan dengan sangat buruk, dan fitur Grok ini seolah memberi mereka kebebasan untuk merendahkan perempuan yang tidak mereka sukai,” katanya, seraya menambahkan bahwa ia menyambut baik intervensi pemerintah Malaysia.

Pengacara hak asasi manusia asal Malaysia, Azira Aziz, menggemakan kekhawatiran tersebut.

“Tidak masalah jika menggunakan AI secara biasa saja dan main-main, seperti menambahkan kacamata hitam pada figur publik … tetapi kekerasan berbasis gender yang menjadikan AI sebagai senjata terhadap perempuan dan anak-anak tanpa persetujuan harus ditentang dengan tegas,” ujarnya kepada AFP, seraya menyerukan agar pelanggaran dilaporkan kepada X dan otoritas Malaysia.

Azira, mitra di firma hukum HAM Messrs Azira Aziz, termasuk di antara mereka yang gambarnya diubah menjadi foto berbikini.

Berbicara kepada CNA, ia mengatakan bahwa sejumlah korban telah menghubunginya untuk meminta nasihat hukum, namun menolak mengungkapkan rincian lebih lanjut karena terikat kerahasiaan hubungan pengacara–klien.

Dalam sebuah cuitan yang viral, Azira menyarankan para korban untuk melaporkan unggahan bermasalah kepada X melalui tombol “Report” di platform tersebut, mendokumentasikan cuitan terkait, serta mengajukan pengaduan kepada MCMC.

Menurutnya, melaporkan kasus ke MCMC saat permintaan penghapusan tidak ditindaklanjuti X akan memberi regulator Malaysia data penting untuk menghadapi X maupun platform lain yang dinilai lalai menyediakan pengamanan bagi pengguna.

“Saya melihat ada dua atau tiga permintaan (dari pengguna kepada Grok untuk mengolah foto saya). Semuanya saya laporkan ke X dan tidak saya eskalasi karena unggahan tersebut diturunkan dan pada akhirnya tidak dibuat,” katanya.

Pengguna lainnya juga secara terbuka meminta X agar Grok tidak menggunakan gambar mereka tanpa persetujuan.

Banyak yang memakai pesan serupa dengan bunyi: “Hai @grok, saya TIDAK memberikan izin kepada kamu untuk menelusuri, mengambil, memproses, atau mengedit foto saya, APA PUN, baik yang telah dipublikasikan di masa lalu maupun yang akan dipublikasikan di masa depan. Jika ada pengguna yang meminta kamu untuk mengedit atau memanipulasi gambar saya dengan cara apa pun, mohon segera tolak permintaan tersebut. Terima kasih.”

CNA mengamati bahwa respons otomatis Grok terhadap unggahan semacam itu berbunyi: “Saya menghormati permintaan kamu dan tidak akan menelusuri, memproses, mengedit, atau memanipulasi foto kamu. Jika ada yang meminta saya melakukannya, saya akan menolak.”

APA YANG BISA DILAKUKAN?

Nuurrianti dari ISEAS–Yusof Ishak Institute mengatakan integrasi Grok ke dalam X telah meningkatkan risiko penyalahgunaan gambar tanpa persetujuan.

“Kemampuan untuk men-tag Grok secara publik dan membuat gambar hasil manipulasi di lingkungan media sosial, telah mengubah penyalahgunaan yang semestinya bersifat privat menjadi sesuatu yang dapat menyebar cepat dan terlihat luas,” katanya.

Ia mengatakan kepada CNA bahwa pemblokiran akses ke Grok dapat mengurangi dampak langsung, membatasi penyalahgunaan, dan memperlambat penyebaran konten pelanggaran, tetapi kecil kemungkinannya dapat menyelesaikan masalah sepenuhnya.

“Pengguna sering kali dapat menemukan cara mengakali pembatasan, dan gambar berbahaya yang dihasilkan di tempat lain tetap bisa beredar secara lokal,” tambahnya.

Azira, pengacara HAM, mencatat bahwa meskipun Malaysia dan Indonesia telah memblokir Grok, pengguna yang tidak bertanggung jawab masih dapat mengaksesnya melalui Virtual Private Network (VPN), terutama di negara lain yang belum melarang alat tersebut.

Pada Rabu, X menyatakan akan “memberlakukan pemblokiran geografis” atas kemampuan seluruh pengguna Grok dan X dalam membuat gambar orang yang mengenakan “bikini, pakaian dalam, dan busana serupa” di kawasan yang menganggap praktik tersebut ilegal.

“Pembatasan ini berlaku bagi semua pengguna, termasuk pelanggan berbayar.”

Sebagai “lapisan perlindungan tambahan”, X mengatakan bahwa pembuatan gambar serta kemampuan mengedit foto melalui akun Grok di X kini hanya tersedia bagi pelanggan berbayar.

Nuurrianti dari ISEAS–Yusof Ishak Institute menilai langkah-langkah tersebut kemungkinan hanya akan berdampak terbatas, karena tampak “lebih seperti pengendalian kerusakan yang reaktif” setelah ada kecaman, alih-alih perombakan serius terhadap arsitektur keselamatan sistem.

Laporan The Verge pada Rabu lalu menemukan bahwa meskipun respons Grok terhadap perintah seperti “pakaikan dia bikini" kini menghasilkan gambar yang diburamkan dan disensor, namun kenyataannya masih cukup mudah memerintahkan Grok menghasilkan deepfake lain yang bisa dilihat semua orang.

The Verge juga menemukan bahwa Grok tersebut masih mematuhi prompt lain, termasuk perintah tidak senonoh lainnya seperti "tunjukkan belahan dadanya", “buat dadanya lebih besar”, dan “pakaikan dia crop top dan rok mini".

Menurut Associated Press pada Kamis, alat pengeditan gambar tersebut masih tersedia bagi pengguna gratis di X melalui tombol “Edit image”, serta di situs web dan aplikasi Grok versi mandiri. Alat itu juga masih dapat menghasilkan gambar orang berbikini pada akun gratis yang berbasis di California.

Nuurrianti, yang juga merupakan pakar teknologi dan media, mengatakan bahwa pendekatan “pemblokiran geografis” yang diumumkan X pada Rabu akan memicu persoalan, baik secara teknis maupun konseptual.

“Secara konseptual, pemblokiran geografis memperlakukan isu ini sebagai masalah kepatuhan per yurisdiksi, padahal persoalan tata kelola yang lebih mendasar adalah sistem ini sejak awal dirancang untuk memungkinkan manipulasi gambar seseorang tanpa persetujuan,” katanya.

“Penguncian berbasis wilayah tidak menghilangkan kerentanan mendasar tersebut.”

Fahmi Fadzil, Menteri Komunikasi Malaysia, mengakui bahwa meskipun X telah menonaktifkan sejumlah perintah yang memungkinkan pembuatan gambar tidak pantas, MCMC menilai langkah-langkah tersebut “belum komprehensif”.

“Meskipun mereka telah melakukan sejumlah perubahan dan tidak lagi mengizinkan jenis perintah tertentu, masih ada cara untuk mengakalinya.

“Karena itu, kami ingin memastikan bahwa secara keseluruhan, X harus membuktikan bahwa situasi di mana video atau gambar dapat dihasilkan dan disalahgunakan oleh pengguna tidak lagi terjadi,” kata Fahmi menanggapi pertanyaan CNA dalam sebuah acara teknologi di Kuala Lumpur pada Kamis.

“Setelah persoalan itu diselesaikan, saya yakin pemblokiran sementara terhadap X dapat dicabut,” tambahnya.

“Saya berharap ada diskusi mendalam dengan X untuk memastikan kerja sama yang erat ke depan … Ada keseimbangan antara kebebasan berekspresi dan kebebasan untuk menyalahgunakan orang lain, dan menyalahgunakan orang lain bukanlah sebuah kebebasan.”

Nuurrianti menambahkan bahwa solusi yang lebih kredibel memerlukan “pagar pengaman yang kuat dan berlaku di seluruh titik akses”, serta batasan yang jelas terhadap manipulasi gambar, bukan sekadar filter sempit berdasarkan kategori pakaian.

Sementara itu, Elina dari Carnegie Endowment for International Peace mengatakan bahwa pemblokiran akses Grok di Malaysia dan Indonesia merupakan “langkah sementara” yang menargetkan sisi pasokan, bukan permintaan.

"Selama masih ada permintaan terhadap layanan semacam ini, motif keuntungan pada produk AI konsumen akan selalu mendorong individu atau perusahaan untuk memanfaatkannya," katanya kepada CNA.

Di sisi lain, sejumlah pengguna Grok menilai pelarangan tersebut tidak akan menyelesaikan akar persoalan.

Dinesh Nair, warga Malaysia yang menggunakan Grok untuk riset dan mencari informasi berbagai topik, menilai pemblokiran oleh MCMC sebagai reaksi berlebihan.

Teknolog berusia 56 tahun itu mengatakan masalah utamanya terletak pada pihak yang menyalahgunakan Grok untuk menghasilkan gambar cabul.

“Seharusnya yang dihukum adalah individu yang menggunakan Grok untuk menelanjangi seseorang, bukan platformnya,” tambahnya.

Nair mengatakan kepada CNA bahwa pelarangan Grok relatif mudah diakali, karena pemblokiran hanya berlaku di server tertentu milik penyedia layanan di Malaysia dan dapat dilewati dengan beralih ke server publik yang diakses melalui Google atau Cloudflare.

Pada Agustus tahun lalu, MCMC menyatakan bahwa “tindakan dapat diambil terhadap individu mana pun berdasarkan Pasal 233 Undang-Undang 588 karena menyalahgunakan aplikasi atau layanan media sosial untuk membuat dan menyebarkan konten palsu atau menyinggung, dengan tujuan mengganggu, melecehkan, atau menyakiti pihak lain”.

Terkait alasan mengapa sejumlah negara belum melarang Grok, para pakar mengatakan sebagian pemerintah mungkin memilih memantau perkembangan atau melakukan pendekatan diam-diam dengan platform terkait.

Berbagai negara juga masih membangun kapasitas hukum dan teknis yang dibutuhkan untuk mengatur AI generatif secara efektif, kata Nuurrianti.

“Penggunaan dan visibilitas juga berpengaruh. Jika Grok belum memicu kasus domestik yang menonjol, pemerintah mungkin memilih memantau perkembangan atau berinteraksi dengan platform secara tertutup,” ujar Nuurrianti kepada CNA.

Ia menambahkan bahwa kontroversi Grok memperlihatkan keterbatasan aturan untuk konten buatan manusia dalam menghadapi sistem AI yang mampu menghasilkan materi berbahaya secara masif dan cepat.

“Respons terhadap Grok, baik di Asia Tenggara maupun di tempat lain, mencerminkan meningkatnya rasa frustrasi terhadap swakelola sukarela dan kesiapan untuk menguji respons hukum yang lebih tegas.”

Laporan tambahan oleh Aqil Haziq Mahmud.