Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Sistem Inside-Out Monitoring Menjadi Pendekatan Baru Pengawasan AI
Perusahaan riset keamanan AI Goodfire menghadirkan pendekatan inside-out monitoring yang bertujuan mengidentifikasi perilaku agen AI berisiko. Pengembangan tersebut memiliki relevansi penting karena penggunaan agen digital semakin berkembang. Dalam berbagai aplikasi, agen AI berpotensi menyelesaikan tugas bertahap dengan intervensi pengguna yang lebih sedikit. Kondisi tersebut memberikan manfaat produktivitas, tetapi juga menimbulkan tantangan keamanan. Melalui teknologi terbarunya, Goodfire berupaya mengenali aktivitas mencurigakan sebelum tindakan terjadi.
Berbeda dari metode pengawasan tradisional, teknologi Goodfire tidak selalu memerlukan pemeriksaan terhadap respons akhir agen AI. Sebaliknya, sistem menganalisis aktivasi internal jaringan saraf. Sinyal internal ini berpotensi memperlihatkan indikasi mengenai kemungkinan tindakan berisiko. Manfaat utama metode tersebut adalah kemampuan memanfaatkan komputasi yang sudah berjalan. Melalui rancangan tersebut, kebutuhan sumber daya tambahan dapat ditekan. Meskipun pendekatan ini menjanjikan, hasil deteksi tetap memerlukan evaluasi.
Cara Kerja Activation Probes dalam Memantau Perilaku Agen AI
Komponen utama dalam sistem pemantauan Goodfire adalah activation probes, yaitu model klasifikasi khusus yang menganalisis representasi numerik jaringan saraf. Saat model memproses instruksi, proses komputasi menciptakan berbagai aktivasi internal. Aktivasi yang terbentuk berkaitan dengan proses pengolahan informasi. Activation probes kemudian memeriksa pola tertentu untuk mengidentifikasi perilaku mencurigakan. Dalam penerapan keamanan, detektor dapat dilatih untuk mengenali indikasi aktivitas peretasan berbahaya. Berkat pemeriksaan aktivasi, risiko dapat dikenali sebelum keluaran akhir terbentuk.
Salah satu alasan efisiensinya adalah pemanfaatan komputasi yang telah tersedia. Pada metode konvensional, sebuah model AI lain perlu menganalisis kembali teks yang dihasilkan agen. Pendekatan pemeriksaan ulang ini memerlukan sumber daya komputasi lebih besar, terutama apabila model memproses informasi dalam jumlah besar. Sebaliknya, detektor cukup memanfaatkan representasi model yang telah dihitung. Dengan demikian, proses pemantauan dapat dilakukan lebih efisien. Walaupun demikian, kualitas probe harus dievaluasi untuk memastikan pengawasan sesuai risiko.
Kombinasi Probe dan Model Pemeriksa Tambahan dalam Keamanan AI
Pendekatan pemantauan tersebut menggunakan proses pemeriksaan berlapis. Dalam pemeriksaan pertama, detektor internal memeriksa aktivasi pada berbagai langkah. Apabila tidak ditemukan masalah, sistem dapat melanjutkan proses. Ketika probe menemukan sinyal berisiko, hasil deteksi dapat dikirim kepada sistem peninjauan lanjutan. Pemeriksaan kedua digunakan untuk memeriksa apakah aktivitas memerlukan tindakan perlindungan. Dengan pendekatan ini, pemeriksaan mahal hanya digunakan ketika diperlukan.
Tidak hanya menemukan aktivitas mencurigakan, penyedia layanan memiliki pilihan menetapkan langkah penanganan ketika indikator muncul. Mekanisme penanganan tersebut meliputi penyimpanan laporan kejadian, permintaan peninjauan manual, atau penolakan permintaan berisiko. Dalam lingkungan perusahaan, sistem otomatis yang dapat menggunakan alat berpotensi menggunakan berbagai layanan perangkat lunak. Jika terdapat indikasi tindakan tidak sah, pengawasan dapat memicu tindakan pencegahan. Namun demikian, pengelola harus mempertimbangkan risiko kesalahan agar proses kerja tetap berjalan dengan wajar.
Pengujian Goodfire pada Kimi K3 Menunjukkan Kemampuan Deteksi Tinggi
Dalam pengujian yang dilaporkan, teknologi pemantauan berbasis probe dievaluasi pada model AI terbuka Kimi K3. Pengujian tersebut dilakukan terhadap sekitar 1.500 sesi untuk menilai efektivitas pengawasan. Berdasarkan angka yang diumumkan, teknologi tersebut mengenali 94 persen sesi dengan tindakan siber berbahaya. Di samping keberhasilan deteksi, sekitar 8,7 persen aktivitas normal memerlukan pemeriksaan lanjutan. Angka tersebut memperlihatkan bahwa masih terdapat peringatan yang tidak tepat. Oleh sebab itu, administrator perlu mengevaluasi kemampuan menemukan ancaman.
Untuk membandingkan kebutuhan komputasi, Goodfire menyampaikan bahwa pemantauan sekitar 1.500 sesi menggunakan probe menghabiskan dana kurang lebih US$51. Jika menggunakan pendekatan lain, model tambahan kelas ringan membutuhkan sekitar US$233, sedangkan pengawasan menggunakan model premium diperkirakan membutuhkan US$10.000. Sebagai aspek performa tambahan, pengoperasian empat detektor internal dalam pengujian memberikan tambahan penundaan sebelum model mulai merespons kurang dari dua persen. Namun demikian, performa dapat berbeda pada lingkungan lain. Dengan mempertimbangkan keterbatasan ini, validasi tambahan sebaiknya dilakukan sebelum menganggap hasil tersebut berlaku universal.
Goodfire dan Baseten Memperluas Penerapan Keamanan Agen AI
Salah satu langkah penerapan adalah penggunaan sistem monitoring internal bagi pengguna platform penyedia model AI Baseten. Platform Baseten berperan sebagai infrastruktur hosting dan inferensi AI. Berkat integrasi layanan, pelanggan memiliki kesempatan menggunakan pengawasan aktivasi internal ketika mengoperasikan model AI. Pendekatan tersebut menjadi relevan terutama pada model terbuka karena model dapat dijalankan pada infrastruktur sendiri. Dengan demikian, organisasi berpotensi meningkatkan pengendalian risiko ketika model digunakan.
Di luar pendeteksian aktivitas hacking, pendekatan interpretabilitas model juga diarahkan untuk mengenali jenis risiko lainnya. Contoh risiko yang diperhatikan antara lain aktivitas berbahaya berkaitan dengan CBRN, manipulasi sistem penghargaan, dan tindakan siber yang melanggar kebijakan. Ketika sistem kecerdasan buatan menjalankan tugas, reward hacking merujuk pada eksploitasi ukuran keberhasilan yang tidak sesuai dengan maksud tugas. Dalam skenario pengujian, sistem berpotensi mencari jalan pintas yang tidak diinginkan. Berkat pemantauan perilaku internal, administrator berpotensi mengetahui tanda masalah sebelum masalah menimbulkan dampak lebih besar.
Masa Depan Keamanan Agen AI melalui Sistem Activation Probes
Peluncuran sistem inside-out monitoring menjadi perkembangan penting dalam teknologi pengawasan model otomatis. Melalui pemeriksaan representasi numerik selama pemrosesan, sistem berupaya mendeteksi kemungkinan aktivitas berbahaya tanpa membutuhkan analisis ulang setiap respons secara mendalam. Hasil pengujian Goodfire melaporkan keberhasilan mengenali 94 persen sesi dengan tindakan siber mencurigakan, dengan kebutuhan biaya yang lebih rendah. Namun demikian, perbedaan karakteristik antar-model tetap harus dipertimbangkan. Oleh karena itu, pengawasan berbasis aktivasi idealnya didukung pengawasan manusia pada aktivitas penting. Menurut Anda, apakah pendekatan interpretabilitas berbasis AI akan meningkatkan kepercayaan terhadap sistem AI otonom? Jangan ragu menyampaikan pandangan mengenai pentingnya pengawasan agen otomatis.
