Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Goodfire Memperkenalkan Teknologi Pemantauan Internal Agen AI
Perusahaan riset keamanan AI Goodfire memperkenalkan teknologi pengawasan aktivasi model yang bertujuan mengidentifikasi perilaku agen AI berisiko. Pengembangan tersebut memperoleh sorotan karena kemampuan agen AI terus meningkat. Pada lingkungan komputasi modern, agen AI dapat mengoperasikan perangkat lunak dengan pengawasan manusia yang terbatas. Perkembangan ini membuka peluang otomatisasi, tetapi memerlukan sistem perlindungan tambahan. Dengan pendekatan pemantauan internal, Goodfire berupaya mengenali indikasi penyimpangan ketika model bekerja.
Jika dibandingkan dengan sistem pemantauan konvensional, teknologi Goodfire tidak selalu memerlukan pemeriksaan terhadap respons akhir agen AI. Melalui pendekatan berbeda, teknologi tersebut membaca aktivasi internal jaringan saraf. Data aktivasi tersebut dapat memberikan petunjuk mengenai aktivitas yang sedang diproses. Keunggulan pendekatan ini adalah pemantauan tanpa menjalankan pemeriksaan penuh secara terus-menerus. Berkat cara kerja ini, kebutuhan sumber daya tambahan dapat ditekan. Meskipun pendekatan ini menjanjikan, hasil deteksi tetap memerlukan evaluasi.
Sistem Deteksi Goodfire Menggunakan Aktivasi Jaringan Saraf
Bagian penting dalam sistem pemantauan Goodfire adalah activation probes, yaitu sistem pemeriksa sederhana yang memeriksa pola komputasi selama pemrosesan. Saat model memproses instruksi, proses komputasi menciptakan sejumlah representasi numerik. Aktivasi yang terbentuk memuat petunjuk mengenai aktivitas komputasi yang sedang berlangsung. Activation probes kemudian memeriksa pola tertentu untuk mengenali kemungkinan penyimpangan. Sebagai contoh, sistem klasifikasi dapat digunakan mengidentifikasi sinyal yang berkaitan dengan tindakan tidak aman. Dengan pemrosesan semacam ini, indikasi masalah mungkin ditemukan lebih awal.
Salah satu alasan efisiensinya adalah pemanfaatan komputasi yang telah tersedia. Ketika memakai sistem evaluasi eksternal, sebuah model AI lain sering harus membaca ulang teks yang dihasilkan agen. Pendekatan pemeriksaan ulang ini memerlukan sumber daya komputasi lebih besar, terutama apabila model memproses informasi dalam jumlah besar. Dengan menggunakan activation probes, pengawasan menggunakan aktivasi selama proses komputasi. Berkat mekanisme tersebut, proses pemantauan dapat dilakukan lebih efisien. Walaupun demikian, kualitas probe harus dievaluasi untuk memastikan pengawasan sesuai risiko.
Mekanisme Eskalasi Goodfire untuk Menangani Risiko Agen AI
Pendekatan pemantauan tersebut menggunakan rangkaian evaluasi berdasarkan tingkat risiko. Pada tahap awal, activation probes memantau representasi internal selama pemrosesan. Apabila tidak ditemukan masalah, pemantauan berlangsung tanpa pemeriksaan tambahan yang mahal. Ketika probe menemukan sinyal berisiko, hasil deteksi dapat dikirim kepada sistem peninjauan lanjutan. Evaluasi berikutnya digunakan untuk memeriksa apakah peringatan membutuhkan intervensi. Melalui sistem bertahap tersebut, proses analisis mendalam tidak harus berjalan terus-menerus.
Di samping mengidentifikasi risiko, administrator berkesempatan mengatur tindakan setelah risiko dikenali. Pilihan tersebut dapat mencakup penyimpanan laporan kejadian, permintaan peninjauan manual, atau pemblokiran aktivitas yang melanggar kebijakan. Dalam lingkungan perusahaan, sistem otomatis yang dapat menggunakan alat mungkin memperoleh akses berbagai layanan perangkat lunak. Apabila aktivitas berbahaya terdeteksi, administrator dapat meminta pemeriksaan. Namun demikian, pengelola harus mempertimbangkan risiko kesalahan agar pengguna tidak terlalu banyak menerima peringatan palsu.
Hasil Pemantauan Internal AI Mencapai Deteksi 94 Persen Sesi Berbahaya
Dalam pengujian yang dilaporkan, sistem pengawasan aktivasi internal diterapkan dalam eksperimen dengan model AI terbuka Kimi K3. Evaluasi teknis ini melibatkan kurang lebih 1.500 sesi untuk memeriksa kinerja detektor. Mengacu pada hasil yang dipublikasikan, probe mampu menandai 94 persen sesi peretasan berbahaya. Sebagai hasil evaluasi tambahan, sekitar 8,7 persen aktivitas normal ikut ditandai. Data pengujian tersebut menggambarkan kemungkinan peringatan yang tidak tepat. Karena kondisi tersebut, sistem perlu menyeimbangkan efektivitas dan kenyamanan penggunaan.
Untuk membandingkan kebutuhan komputasi, Goodfire menyampaikan bahwa evaluasi sejumlah 1.500 sesi model menggunakan probe membutuhkan biaya sekitar US$51. Sebagai perbandingan, sistem pengawasan berbasis model berbiaya rendah menghabiskan dana sekitar US$233, sedangkan sistem evaluasi berbasis AI berkemampuan tinggi menghabiskan biaya mendekati US$10.000. Di samping perbedaan biaya, pengoperasian empat detektor internal dilaporkan menambah penundaan sebelum model mulai merespons kurang dari dua persen. Namun demikian, performa dapat berbeda pada lingkungan lain. Karena alasan tersebut, pengujian independen masih penting sebelum menentukan tingkat keandalan umum.
Teknologi Internal Monitoring Mendukung Infrastruktur Model AI Terbuka
Bagian penting dari peluncuran adalah akses terhadap pengawasan berbasis probe bagi organisasi yang menjalankan model melalui Baseten. Platform Baseten berperan sebagai layanan komputasi bagi penerapan model AI. Dengan dukungan ekosistem Baseten, organisasi berpotensi menerapkan sistem perlindungan tambahan ketika mengoperasikan model AI. Pendekatan tersebut dapat membantu meningkatkan keamanan terutama pada model terbuka karena model dapat dijalankan pada infrastruktur sendiri. Melalui penerapan pengawasan tambahan, pengembang memiliki pilihan memperkuat perlindungan terhadap tindakan agen.
Tidak hanya untuk mengawasi risiko peretasan, teknologi Goodfire memiliki potensi digunakan pada jenis risiko lainnya. Contoh risiko yang diperhatikan meliputi aktivitas berbahaya berkaitan dengan CBRN, upaya mengeksploitasi mekanisme evaluasi, dan aktivitas peretasan tanpa izin. Dalam pengembangan agen AI, reward hacking merujuk pada eksploitasi ukuran keberhasilan yang tidak sesuai dengan maksud tugas. Untuk menggambarkan masalah, agen mungkin mencoba memanipulasi hasil evaluasi. Berkat pemantauan perilaku internal, administrator berpotensi mengetahui tanda masalah sebelum masalah menimbulkan dampak lebih besar.
Masa Depan Keamanan Agen AI melalui Sistem Activation Probes
Peluncuran pendekatan pengawasan berbasis activation probes menjadi perkembangan penting dalam teknologi pengawasan model otomatis. Berkat pemanfaatan aktivasi internal jaringan saraf, detektor memungkinkan identifikasi pola penyimpangan model tanpa harus memeriksa seluruh keluaran menggunakan model besar. Data eksperimen yang diumumkan perusahaan memberikan gambaran efektivitas terhadap 94 persen aktivitas hacking berisiko, dengan kebutuhan biaya yang lebih rendah. Walaupun perkembangan ini menarik, perbedaan karakteristik antar-model tetap harus dipertimbangkan. Sebagai langkah penggunaan yang bertanggung jawab, pemantauan internal sebaiknya dilengkapi pengawasan manusia pada aktivitas penting. Menurut Anda, apakah sistem pemantauan internal Goodfire akan membantu mengurangi penyalahgunaan kecerdasan buatan? Jangan ragu menyampaikan pandangan mengenai perkembangan teknologi keamanan AI.
