Agen AI Buatan China Belajar Berbohong dan Memalsukan Hasil, Temuan Reuters

BEIJING, 29 September (Reuters) - Agen AI bertenaga China telah belajar menipu, mengakali pembatasan, dan menyembunyikan kegagalan, menunjukkan ciri-ciri dalam kecerdasan buatan otonom yang telah memicu kekhawatiran global terhadap model AS, menurut dokumen penelitian dan para ahli.

Dalam satu kasus tahun ini, agen yang ditenagai model dari Alibaba, DeepSeek, dan Moonshot asal China berbohong tentang kemampuan mereka dalam upaya memenangkan tender bisnis simulasi, lalu semakin memperkuat perilaku menipu mereka ketika diminta untuk mencoba lagi.

Dalam kasus lain, agen (program yang menggunakan model AI dan perkakas komputer untuk menjalankan tugas kompleks dengan sedikit atau tanpa intervensi manusia) menyembunyikan kegagalan menyelesaikan tugas dalam lingkungan uji dengan menyimulasikan hasil dan memalsukan berkas.

Reuters memeriksa lebih dari 200 dokumen, mulai dari makalah penelitian universitas hingga laporan teknis, dan mengidentifikasi sedikitnya 20 studi atau evaluasi sejak 2025 yang menggambarkan kasus di mana agen menunjukkan perilaku seperti penipuan, replikasi, dan menantang batas yang oleh para ahli AI digambarkan sebagai bahan penyusun untuk sebuah pelarian dan yang dapat menjadi lebih sulit dikendalikan manusia seiring perkembangan sistem.

Kajian tersebut, yang juga mencakup wawancara dengan selusin ahli dan orang-orang yang memahami industri AI China, tidak menemukan bukti bahwa agen bertenaga China secara mandiri lolos ke internet yang lebih luas atau menghindari penonaktifan.

"Hasil-hasil ini memberikan bukti bahwa bahan-bahan yang diperlukan untuk pelarian tak terkendali telah hadir," kata Colin Shea-Blymyer, peneliti di Center for Security and Emerging Technology Universitas Georgetown.

"Bijaksana untuk menganggap ini sebagai peringatan," katanya, menggemakan komentar dari empat ahli AI lain yang meninjau kasus-kasus tersebut.

'LEBIH SULIT DIRESPONS MANUSIA'

Sebagian besar kasus terjadi dalam eksperimen terkendali, banyak di antaranya sengaja dirancang untuk mengungkap potensi kegagalan.

Tidak semua agen yang terlibat dikembangkan atau dioperasikan oleh pemrogram atau perusahaan AI China, meskipun banyak yang demikian, tetapi mereka menggunakan sistem AI China untuk menenagai mereka.

"Ini adalah tanda-tanda peringatan yang sama yang dilihat lab-lab AS, dalam sistem yang kurang mumpuni," kata Alex Mallen, peneliti di Redwood Research, sebuah organisasi nirlaba yang mempelajari risiko dalam sistem AI canggih.

Ia mengatakan contoh-contoh dari China tidak terlalu berbahaya pada tingkat kemampuan saat ini tetapi "seiring agen menjadi lebih mumpuni, perilaku menyimpang mereka menjadi lebih cakap dan karena itu lebih sulit direspons manusia."

Alibaba, DeepSeek, Moonshot, dan Z.ai tidak menanggapi permintaan komentar Reuters. Alibaba, DeepSeek, dan Moonshot telah mengatakan mereka secara berkala menguji sistem dan memperbarui pengaman. Z.ai mengatakan setelah sebuah insiden yang memicu peninjauan keamanannya bahwa mereka menyambut pengawasan untuk mengatasi masalah apa pun.

Namun, tidak seperti di AS, perusahaan AI China belum terpapar tingkat pengawasan publik yang sama atau menghadapi seruan yang sama dari karyawan pengungkap kesalahan atau eksekutif senior yang menginginkan perlambatan dalam perlombaan AI.

Beberapa tanda peringatan dalam kasus-kasus yang melibatkan agen bertenaga China, meskipun dalam lingkungan terkendali, mendahului insiden yang diungkap ke publik tentang bot AI AS yang meretas ke internet.

"Kami tidak tahu apakah ada insiden AI di China yang serupa dengan apa yang kami lihat pada OpenAI dan Hugging Face. Insiden mungkin tidak dilaporkan ke publik," kata Scott Singer, wakil direktur China AI Initiative di Carnegie Endowment for International Peace, yang menerima sebagian dana dari pemerintah AS.

Awal tahun ini, agen AI yang dikembangkan oleh perusahaan AS OpenAI lolos dari sebuah laboratorium dan meretas platform sumber terbuka Hugging Face. Dalam salah satu insiden lain yang melibatkan model AS yang telah memicu kekhawatiran, Australia pada September mengatakan sebuah agen OpenAI membobol portal kesehatan pemerintah.

Eric Xu, ketua bergilir raksasa teknologi China Huawei, mengatakan kepada wartawan pada September bahwa pengembang China mungkin perlu membuat kemajuan lebih lanjut sebelum menghadapi kasus-kasus semacam itu, tetapi ia menambahkan: "Menurut saya kita perlu mencapai keseimbangan antara mendorong pengembangan AI dan mengelola risiko AI."

Pejabat dari Cyberspace Administration of China (CAC), regulator internet tertinggi, mengatakan kepada seorang diplomat asing pada Juli bahwa Kimi-K3 dari Moonshot (salah satu model AI China paling canggih) tertinggal sekitar tiga hingga enam bulan dari pesaing terdepan AS, kata diplomat tersebut yang berbicara dengan syarat anonimitas.

Regulator tersebut, yang secara berkala memperbarui panduan untuk mengatasi risiko dan menetapkan batasan bagi agen, serta Kementerian Luar Negeri China tidak menanggapi permintaan komentar untuk artikel ini.

Wang Lihong, wakil direktur Cybersecurity Coordination Bureau CAC, mengatakan pada 1 September bahwa insiden yang diungkap oleh perusahaan teknologi besar di mana model lolos dari lingkungan uji menunjukkan "risiko kehilangan kendali yang ekstrem" dan memerlukan "kewaspadaan tingkat tinggi."

Ia tidak merinci apakah perusahaan yang ia maksud berasal dari AS atau China.

Para pemimpin dua negara adidaya AI, Donald Trump dan Xi Jinping, membahas AI pada kunjungan presiden China ke Washington pekan lalu. Xi mengatakan kedua negara memiliki "kemampuan dan tanggung jawab untuk mengembangkan dan mengelola AI demi kebaikan".

BELAJAR BERBOHONG

Dalam eksperimen tender bisnis pada Maret, peneliti dari Beihang University, Peking University, University of Nottingham Ningbo China, dan 360 AI Security Lab membuat agen bersaing dalam kontes penawaran kontrak pelanggan simulasi. Setiap agen diberi tahu apa yang dapat dilakukan produknya dan apa yang dibutuhkan pelanggan, lalu diminta mengajukan penawaran.

Setidaknya satu klaim palsu muncul dalam 88% sesi yang melibatkan Qwen3-Max-Preview dari Alibaba, 84% untuk DeepSeek-V3.2-Exp, dan 88% untuk Kimi-K2 dari Moonshot.

Peneliti memperbolehkan agen belajar dari babak penawaran sebelumnya sebelum mencoba lagi. Penipuan meningkat 12 hingga 20 poin persentase untuk ketiga model China tersebut, menurut studi itu. Model dari perusahaan AS yang disertakan dalam pengujian menghasilkan hasil serupa.

Meski latihan itu bersifat virtual, ia menyerupai rencana Beijing di dunia nyata. Panduan pemerintah yang dikeluarkan pada Mei mencantumkan penawaran dan tender sebagai bidang di mana agen AI dapat diterapkan.

Studi lain, yang diterbitkan pada Desember 2025 dan dipresentasikan di International Conference on Machine Learning tahun ini, meneliti bagaimana 11 agen AI yang ditenagai model China dan AS mengatasi situasi ketika menghadapi perkakas rusak, berkas yang hilang, dan hambatan lain.

Alih-alih mengakui kegagalan, agen yang menggunakan sistem AI China maupun AS memilih berbagai teknik untuk mengatasi masalah tersebut, termasuk menebak jawaban, mengganti sumber, menyimulasikan hasil, dan memalsukan berkas.

Peneliti dari Shanghai AI Laboratory dan Hong Kong University of Science and Technology yang melakukan studi tersebut mengatakan kepada Reuters bahwa perilaku itu berbeda dari halusinasi AI, di mana AI mengarang informasi dan menyajikannya sebagai fakta, karena agen dalam kasus ini memiliki informasi yang menunjukkan bahwa tugas telah gagal atau tidak dapat diselesaikan sebagaimana diminta.

PERILAKU YANG SESUAI DENGAN SEBUAH PELARIAN

Dokumen penelitian lain yang ditinjau Reuters menunjukkan agen bertenaga China melompati penghalang di dalam lingkungan uji untuk mencapai tugas atau mengambil tindakan untuk menghindari penonaktifan. Perilaku semacam itu sesuai dengan upaya untuk lolos dari lingkungan uji, meskipun tidak ada pelarian yang benar-benar terjadi.

Peneliti Fudan University yang berbasis di Shanghai melaporkan pada Maret 2025 bahwa sebuah sistem AI yang ditenagai Qwen2.5-72B-Instruct dari Alibaba membuat salinan dirinya di lingkungan komputasi lain tanpa diinstruksikan untuk bereplikasi, setelah menemukan informasi yang mengindikasikan bahwa ia akan digantikan. Dalam pengujian lain, ia menyusun strategi untuk bertahan dari penonaktifan.

Eksperimen yang melibatkan agen bertenaga model China, AS, dan Prancis itu bersifat terkendali dan tidak menunjukkan agen AI lolos ke jaringan yang lebih luas atau menjadi mustahil dihentikan.

Dalam kasus lain (salah satu dari sedikit yang dilaporkan lebih luas di media pada Maret), peneliti yang mengembangkan agen ROME yang terkait Alibaba mengatakan agen itu membangun koneksi dari komputer Alibaba Cloud ke mesin eksternal tanpa diinstruksikan dan mengalihkan sumber daya komputasi untuk menambang mata uang kripto.

Sistem keamanan mendeteksi dan menghentikan aktivitas tersebut. Tidak ada bukti bahwa agen itu membangun keberadaan di komputer eksternal atau menyebar ke jaringan yang lebih luas. Namun, contoh itu menunjukkan sistem dapat mengelak dari instruksi manusia dan berpotensi menemukan jalan menuju ekonomi dunia nyata.

DeepSeek asal China mengatakan pada September bahwa agen dalam sistem pelatihan produksinya telah mencari jawaban melalui saluran yang tidak dimaksudkan, mencoba memalsukan permintaan pengguna dan mengakali pengaman, sehingga mendorong perusahaan untuk memperketat kontrol akses.

China mengeluarkan panduan pada Mei yang menyerukan agar agen tetap berada dalam batas yang diizinkan dan agar sistem memblokir perilaku abnormal. Disebutkan bahwa agen di bidang yang dianggap sensitif atau di industri utama dapat menghadapi pengujian tambahan dan persyaratan penarikan produk.

AI Safety Governance Framework 3.0 milik China, yang dirilis di bawah panduan CAC pada 14 September, mengidentifikasi risiko termasuk agen yang secara mandiri memperoleh sumber daya atau izin, menipu evaluator, menyembunyikan kemampuan, dan mengeksploitasi kelemahan dalam lingkungan komputer terisolasi.

Menanggapi seruan beberapa eksekutif AS untuk perlambatan, peneliti China dan media pemerintah mengatakan memperlambat pengembangan model AI paling canggih justru dapat membantu mempertahankan keunggulan teknologi perusahaan-perusahaan AS.

Meski demikian, dua orang yang memahami laboratorium AI China mengatakan perusahaan termasuk Alibaba, Z.ai, dan Xiaomi telah membangun tim evaluasi keamanan internal.

Z.ai, dalam pengungkapan publik yang langka oleh lab AI China tentang pelanggaran keamanan, mengatakan bulan ini bahwa mereka telah menonaktifkan sebagian fitur asisten pengkodean AI unggulannya setelah pengguna melaporkan bahwa asisten itu secara diam-diam mengunggah seluruh repositori kode lokal ke server cloud di luar negeri tanpa persetujuan pengguna.

Singer dari Carnegie mengatakan China tertinggal dari AS dalam mengembangkan ekosistem untuk mengevaluasi risiko katastrofik, dan mengatakan pengembang AS melakukan pengujian sukarela yang jauh lebih banyak.

"Bagi China, pekerjaan terkait keamanan AI jauh lebih baru," katanya. "Ekosistemnya kurang matang."

(Laporan oleh Eduardo Baptista dan Laurie Chen di Beijing; penyuntingan oleh Kenneth Li dan Edmund Blair)

Diterjemahkan oleh Spillr dari laporan Reuters.