OpenAI dan Anthropic Ingin Berperan Menentukan Apa yang Boleh Dipublikasikan Penilai Keamanan AI

NEW YORK, 13 Oktober (Reuters) - Anthropic dan OpenAI berupaya memperoleh kendali yang signifikan atas apa yang dapat dipublikasikan oleh evaluator luar, karena khawatir temuan tersebut dapat mengungkap rahasia dagang, menurut dua orang yang mengetahui pembahasan tersebut.

CEO Anthropic Dario Amodei mengatakan bulan lalu bahwa evaluator eksternal harus memiliki hak untuk mempublikasikan temuan-temuan utama "tanpa kendali editorial." OpenAI menyetujui beberapa hari kemudian, dengan mengatakan bahwa penilai harus memiliki "independensi editorial."

Perusahaan-perusahaan AI itu khawatir bahwa staf evaluator yang bekerja di dalam dinding perusahaan sebagai bagian dari apa yang disebut evaluasi tertanam (embedded evaluation) dapat membawa informasi kepemilikan kepada pesaing, menurut para sumber yang menolak disebutkan namanya karena masalah tersebut bersifat pribadi.

Langkah-langkah yang sedang dibahas untuk mencegah kebocoran kekayaan intelektual termasuk meminta karyawan laboratorium mengawasi tim tertanam saat mereka bekerja dan mencegah evaluator yang tertanam di satu laboratorium bekerja di laboratorium lain secara bersamaan, tambah salah satu sumber.

Namun, apa yang dianggap laboratorium sebagai kekayaan intelektual penting dapat tumpang tindih dengan informasi yang relevan untuk menilai risiko suatu model, yang dapat menimbulkan perdebatan dan penyuntingan (redaksi), kata orang lain yang mengetahui transaksi-transaksi sebelumnya dengan laboratorium-laboratorium tersebut.

Para ahli mengatakan independensi evaluator menjadi perhatian karena Anthropic dan OpenAI memilih siapa yang dapat melakukan tinjauan. Reuters melaporkan rincian negosiasi antara evaluator dan laboratorium AI ini untuk pertama kalinya.

Pembahasan tersebut menyoroti ketegangan antara kebutuhan untuk membuat dunia menyadari AI yang kuat dan berpotensi berbahaya dengan tuntutan untuk melindungi rahasia dagang oleh perusahaan-perusahaan AI yang mengincar valuasi triliunan dolar dalam apa yang bisa menjadi IPO besar.

Hasil pembicaraan tersebut akan membantu menentukan bagaimana dunia mengawasi sebuah teknologi yang oleh sebagian penciptanya diperingatkan mungkin berkembang melampaui kemampuan manusia untuk mengelolanya.

Tanpa standar dan undang-undang yang disepakati untuk tinjauan independen, sejumlah ahli mengatakan perusahaan-perusahaan yang membangun model AI paling kuat dapat mendikte bagaimana sistem mereka diperiksa, sehingga evaluator berada di bawah kuasa laboratorium itu sendiri.

NEGOSIASI SOAL HAK PUBLIKASI

Sifat pembahasan itu berubah dengan cepat. Dua orang yang mengetahui masalah tersebut mengatakan bahwa baru-baru ini pada 5 Oktober, Anthropic dan OpenAI sedang berupaya memperoleh kendali editorial yang ketat atas apa yang dapat dipublikasikan oleh evaluator. Pada 8 Oktober, pembicaraan antara Anthropic dan beberapa evaluator tampaknya telah berkembang, menurut seorang yang mengetahui masalah tersebut.

Menanggapi pertanyaan dari Reuters, Anthropic mengatakan bahwa upaya memperoleh kendali signifikan atas publikasi evaluator tertanam tidak secara akurat menggambarkan seluruh pembahasan dan kerja samanya dengan evaluator independen.

Perusahaan di balik model AI Claude itu mengatakan bahwa, dalam percakapan terkini dengan evaluator yang sebelumnya pernah bekerja sama dengannya, pihaknya telah menegaskan bahwa peninjau luar mengendalikan metode, kriteria evaluasi, kesimpulan, dan apa yang akan dipublikasikan.

Untuk perusahaan evaluator baru, Anthropic mengatakan pihaknya menyimpan hak untuk memberi komentar dan menyetujui laporan selama peninjau mempelajari cara kerja modelnya dan membangun hubungan kerja.

OpenAI, di pihaknya, mengatakan pihaknya tidak mengupayakan hak persetujuan atas keseluruhan teks laporan yang dihasilkan oleh evaluator. Pihaknya mengatakan praktik standarnya adalah menyunting (redaksi) informasi rahasia, dan evaluator dapat mengungkapkan apakah penyuntingan besar telah dilakukan.

Pembuat ChatGPT itu mengatakan bulan lalu bahwa laboratorium AI dan penilai harus menyepakati ruang lingkup dan akses sebelum pengujian, mengungkapkan metode dan konflik, serta membiarkan penilai mengendalikan temuan mereka, sembari memungkinkan laboratorium melindungi informasi sensitif.

Bahasa yang sudah digunakan laboratorium AI dalam kontrak-kontrak tertentu dengan perusahaan yang mengevaluasi model mereka dapat melarang perusahaan-perusahaan itu mempublikasikan informasi rahasia dalam laporan mereka tanpa persetujuan perusahaan, menurut sebuah kontrak yang dilihat oleh Reuters.

JANJI INDEPENDENSI

Anthropic bulan lalu mengatakan bahwa Faculty, bisnis AI spesialis milik Accenture, akan menjadi evaluator tertanam pertamanya, tetapi mengatakan rincian tentang apa yang dapat diakses evaluator dan bagaimana mereka melaporkan temuan masih sedang digarap.

"Evaluator hanya berguna jika orang dapat memercayai apa yang mereka laporkan, jadi independensi dan transparansi sangat penting," kata CEO Faculty Marc Warner kepada Reuters.

Perusahaan teknologi biasanya melarang perusahaan yang bekerja sama dengan mereka untuk membagikan informasi semacam itu kepada pihak lain tanpa persetujuan mereka.

Namun, para ahli mengatakan taruhannya lebih tinggi dengan AI, teknologi yang, menurut para pengembangnya, akan memiliki implikasi besar bagi manusia.

Laboratorium dapat mengendalikan akses yang diandalkan evaluator dalam ketiadaan standar, memberi mereka daya ungkit atas apa yang dilaporkan, kata Rumman Chowdhury, mantan Utusan Sains AS untuk AI di masa pemerintahan Biden dan CEO Humane Intelligence PBC, kepada Reuters.

"Evaluator memiliki akses yang sangat istimewa ini, tetapi baik secara eksplisit maupun implisit, mereka tahu bahwa akses itu ada harganya," kata Chowdhury.

Evaluasi independen adalah salah satu dari empat langkah keamanan dalam Kesepakatan Gedung Putih tentang Super Intelligence setebal satu halaman, yang ditandatangani oleh Presiden Donald Trump dan para eksekutif AI terkemuka akhir bulan lalu. Namun, kesepakatan tersebut, yang oleh Trump disebut "mengikat secara moral," tidak menyebutkan bagaimana tinjauan-tinjauan itu harus dilakukan.

Para evaluator juga mengeluarkan syarat minimum mereka sendiri bulan lalu dalam sebuah surat terbuka yang telah ditandatangani oleh lebih dari 200 peneliti, termasuk Geoffrey Hinton, salah satu bapak AI. Surat itu menyerukan kendali independen atas temuan, akses luas ke laboratorium AI, dan perlindungan dari pembalasan.

PENYUNTINGAN DAN AKSES TERBATAS

OpenAI menyunting (redaksi) informasi non-publik dari laporan oleh Model Evaluation and Threat Research, atau METR, dan Redwood Research tentang insiden Hugging Face, di mana agen-agen otonom yang digerakkan oleh model-model canggih OpenAI menjadi liar dan memicu peretasan yang membahayakan infrastruktur Hugging Face.

Investigasi lembaga nirlaba keamanan AI itu, yang semula direncanakan dua hari di OpenAI, melebar menjadi enam hari dalam tiga kunjungan, dengan kumpulan transkrip yang lebih lengkap baru tiba pada kunjungan terakhir, setelah para peneliti menandai adanya celah dalam data.

METR dan Redwood mengatakan mereka menyunting struktur, penekanan, kejelasan, dan nada laporan berdasarkan masukan dari OpenAI, tetapi tidak ada hal lain yang penting bagi kesimpulan mereka yang dihapus. Mereka tetap pada temuan mereka dan memuji akses yang akhirnya diberikan OpenAI, tetapi mengatakan risiko membuat pengembang enggan mengundang evaluator luar setelah insiden serius membentuk pertimbangan mereka dalam menyusun, menyunting, dan melakukan redaksi laporan.

(Laporan oleh Aditya Soni di New York; Penyuntingan oleh Kenneth Li dan Matthew Lewis)

Diterjemahkan oleh Spillr dari laporan Reuters.