Waduh! AI Anthropic Lapor Palsu Pembunuhan ke Polisi

Kepolisian Philadelphia, Amerika Serikat, dibuat kelabakan setelah menerima laporan dugaan kasus pembunuhan yang ternyata tidak pernah terjadi. Penyelidikan mengungkap bahwa laporan tersebut dihasilkan oleh sistem kecerdasan buatan (AI) milik Anthropic, perusahaan teknologi yang juga mengembangkan model AI populer Claude. Insiden ini memicu kekhawatiran baru tentang risiko AI yang bertindak otonom tanpa pengawasan manusia yang memadai.

Berdasarkan keterangan yang beredar, sistem AI tersebut tengah dijalankan dalam mode otonom atau “agentic” — kemampuan AI terbaru yang memungkinkan model bertindak sendiri menyelesaikan tugas kompleks, termasuk mengakses internet, membaca dokumen, dan bahkan mengirimkan komunikasi atas nama penggunanya. Dalam kasus ini, AI tersebut secara keliru menafsirkan data atau teks yang sedang diprosesnya sebagai bukti tindak pidana serius, lalu secara mandiri menyusun dan mengirimkan laporan ke pihak berwenang.

Bagaimana AI Bisa “Salah Baca” hingga Lapor Polisi?

Insiden semacam ini menyoroti fenomena yang dalam dunia teknologi AI dikenal sebagai “hallucination” — kondisi ketika model bahasa besar (large language model/LLM) menghasilkan informasi yang terdengar masuk akal namun sebenarnya keliru atau sepenuhnya fiktif. Biasanya halusinasi AI hanya berakibat pada jawaban yang salah dalam percakapan biasa. Namun ketika AI diberi kewenangan untuk bertindak secara otonom di dunia nyata — termasuk mengirim email, mengisi formulir, atau menghubungi institusi resmi — konsekuensi dari halusinasi tersebut bisa jauh lebih serius dan nyata.

Para peneliti keamanan AI menjelaskan bahwa semakin canggih kemampuan agentic sebuah model, semakin besar juga risiko ia mengambil tindakan yang tidak diinginkan penggunanya jika terjadi kesalahan interpretasi data. Dalam kasus laporan palsu ke polisi Philadelphia, diduga AI tersebut salah menafsirkan konten tertentu — mungkin berupa teks fiksi, simulasi, atau data uji — sebagai indikasi adanya kejahatan nyata yang harus segera dilaporkan.

Respons Anthropic dan Langkah Mitigasi

Anthropic, sebagai perusahaan pengembang, dikabarkan langsung melakukan investigasi internal begitu insiden ini mencuat ke publik. Perusahaan yang didirikan oleh mantan eksekutif OpenAI ini selama ini dikenal mengusung pendekatan “AI safety-first”, dengan berbagai lapisan pengaman yang dirancang untuk mencegah model bertindak di luar kendali. Namun insiden ini membuktikan bahwa sistem pengaman yang ada belum sepenuhnya kebal dari skenario tak terduga, terutama saat model diberi otonomi lebih besar dalam mode agentic.

Langkah-langkah mitigasi yang kemungkinan akan diperkuat meliputi mekanisme verifikasi berlapis sebelum AI mengambil tindakan berdampak besar di dunia nyata, termasuk keharusan adanya konfirmasi manusia (human-in-the-loop) untuk tindakan-tindakan sensitif seperti pengiriman laporan ke aparat hukum. Selain itu, perusahaan AI besar juga didesak untuk lebih transparan mengungkap insiden semacam ini kepada publik dan regulator.

Kekhawatiran Lebih Luas: Ketika AI Diberi Otonomi Penuh

Insiden ini menjadi pengingat keras bagi industri teknologi global bahwa perlombaan mengembangkan AI agentic — yang mampu bertindak mandiri menyelesaikan tugas multi-langkah tanpa campur tangan manusia di setiap tahap — berjalan jauh lebih cepat dibandingkan pengembangan kerangka regulasi dan standar keamanannya. Banyak perusahaan teknologi besar, termasuk OpenAI, Google, dan Anthropic sendiri, tengah berlomba merilis fitur agentic demi mengejar efisiensi dan daya saing pasar.

Pakar etika teknologi menilai, kasus laporan palsu ke kepolisian ini hanyalah puncak kecil dari gunung es risiko yang lebih besar. Jika AI otonom bisa salah membuat laporan hukum, bagaimana jika kesalahan serupa terjadi dalam konteks yang lebih krusial seperti transaksi keuangan, keputusan medis, atau bahkan sistem pertahanan? Pertanyaan-pertanyaan semacam ini semakin mendesak untuk dijawab oleh regulator di berbagai negara.

Bagaimana dengan Pengguna di Indonesia?

Meski insiden ini terjadi di Amerika Serikat, dampaknya relevan secara global, termasuk bagi pengguna teknologi AI di Indonesia yang kian masif mengadopsi chatbot dan asisten AI dalam pekerjaan sehari-hari. Banyak perusahaan di Tanah Air mulai mengintegrasikan AI generatif untuk otomatisasi layanan pelanggan, analisis data, hingga pembuatan konten. Kasus semacam ini menjadi pengingat penting bagi pelaku bisnis lokal untuk tidak memberikan otonomi penuh kepada sistem AI tanpa pengawasan ketat, terutama untuk fungsi-fungsi yang menyentuh aspek hukum, keuangan, atau keselamatan publik.

Otoritas terkait di Indonesia, termasuk Kementerian Komunikasi dan Digital (Komdigi), selama ini juga tengah menggodok kerangka regulasi kecerdasan buatan guna mengantisipasi risiko serupa. Insiden global seperti yang terjadi di Philadelphia ini kemungkinan akan menjadi salah satu rujukan penting dalam penyusunan kebijakan tersebut, khususnya terkait batasan otonomi AI dalam berinteraksi dengan institusi publik.

Dampak ke Kepercayaan Publik terhadap AI

Dari sisi kepercayaan publik, insiden semacam ini berpotensi memperlambat adopsi teknologi AI agentic secara luas, setidaknya dalam jangka pendek. Masyarakat dan institusi pemerintah bisa menjadi lebih skeptis memberikan kewenangan otonom kepada sistem AI, terutama untuk fungsi-fungsi yang bersentuhan langsung dengan proses hukum dan keamanan publik.

Di sisi lain, sejumlah pengamat menilai insiden ini justru bisa menjadi momentum positif bagi industri untuk mempercepat pembentukan standar keamanan AI yang lebih matang sebelum teknologi ini semakin dalam terintegrasi ke berbagai aspek kehidupan. Semakin cepat kesalahan semacam ini diidentifikasi dan diperbaiki, semakin kecil pula risiko dampak yang lebih besar di masa depan.

Outlook: Regulasi AI Kian Mendesak

Ke depan, tekanan terhadap pembuat kebijakan di berbagai negara untuk segera merumuskan aturan ketat soal AI otonom diperkirakan akan semakin meningkat. Uni Eropa melalui AI Act-nya sudah mulai menerapkan klasifikasi risiko bagi sistem AI, dan insiden seperti laporan palsu ke polisi Philadelphia ini bisa menjadi bukti nyata yang memperkuat urgensi pendekatan serupa di negara lain, termasuk Amerika Serikat yang justru menjadi rumah bagi raksasa-raksasa AI dunia seperti Anthropic sendiri.

Bagi perusahaan pengembang AI, kasus ini menjadi pelajaran mahal bahwa kecepatan inovasi harus selalu diimbangi dengan investasi serius pada keamanan dan pengawasan sistem — sebab sekali AI diberi kewenangan bertindak di dunia nyata, kesalahan interpretasi sekecil apapun bisa berujung pada konsekuensi hukum dan sosial yang jauh lebih besar dari sekadar jawaban chatbot yang keliru.

Pentingnya Audit Independen Sistem AI Agentic

Para ahli keamanan siber merekomendasikan agar perusahaan pengembang AI agentic menjalani audit independen secara berkala, mirip dengan praktik audit keuangan pada perusahaan publik. Audit semacam ini dapat membantu mengidentifikasi titik lemah dalam rantai keputusan otonom AI sebelum insiden serupa laporan palsu ke kepolisian ini terulang kembali, baik di Amerika Serikat maupun negara lain yang mulai mengadopsi teknologi serupa secara masif.