Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Sistem Inside-Out Monitoring Menjadi Pendekatan Baru Pengawasan AI
Perusahaan pengembang teknologi interpretabilitas AI Goodfire memperkenalkan pendekatan inside-out monitoring yang dirancang untuk mendeteksi potensi penyimpangan tindakan sistem otomatis. Teknologi pemantauan tersebut memiliki relevansi penting karena kemampuan agen AI terus meningkat. Dalam berbagai aplikasi, agen AI dapat mengoperasikan perangkat lunak dengan tingkat otomatisasi yang semakin tinggi. Peningkatan kemampuan tersebut memberikan manfaat produktivitas, tetapi memerlukan sistem perlindungan tambahan. Berkat pengembangan detektor khusus, Goodfire ingin mengidentifikasi indikasi penyimpangan ketika model bekerja.
Jika dibandingkan dengan sistem pemantauan konvensional, sistem pemantauan internal ini tidak selalu memerlukan pemeriksaan terhadap seluruh percakapan sistem. Sebagai alternatif, sistem menganalisis representasi numerik yang muncul selama pemrosesan. Data aktivasi tersebut dapat memberikan petunjuk mengenai arah perilaku model. Manfaat utama metode tersebut adalah penggunaan kembali proses perhitungan model. Berkat cara kerja ini, kebutuhan sumber daya tambahan dapat ditekan. Walaupun teknologi tersebut menawarkan keuntungan, akurasi pengawasan tidak dapat dianggap sempurna.
Teknologi Interpretabilitas Membaca Sinyal Internal Model AI
Elemen dasar dalam teknologi inside-out monitoring adalah activation probes, yaitu detektor berukuran kecil yang membaca aktivasi internal model AI. Saat model memproses instruksi, jaringan saraf membentuk pola sinyal pada lapisan pemrosesan. Sinyal tersebut dapat mencerminkan proses pengolahan informasi. Detektor aktivasi kemudian memeriksa pola tertentu untuk mengenali kemungkinan penyimpangan. Sebagai contoh, probe berpotensi dirancang mendeteksi indikasi aktivitas peretasan berbahaya. Berkat pemeriksaan aktivasi, risiko dapat dikenali sebelum keluaran akhir terbentuk.
Faktor yang mendukung kecepatan sistem adalah penggunaan kembali aktivasi model. Ketika memakai sistem evaluasi eksternal, sistem pengawas berbasis bahasa sering harus membaca ulang teks yang dihasilkan agen. Proses tersebut memerlukan sumber daya komputasi lebih besar, terutama apabila agen bekerja selama berjam-jam. Dengan menggunakan activation probes, detektor cukup memanfaatkan sinyal internal yang tersedia. Berkat mekanisme tersebut, beban pengawasan dapat dikurangi. Walaupun demikian, kualitas probe harus dievaluasi untuk memastikan pengawasan sesuai risiko.
Kombinasi Probe dan Model Pemeriksa Tambahan dalam Keamanan AI
Pendekatan pemantauan tersebut menggunakan rangkaian evaluasi berdasarkan tingkat risiko. Dalam pemeriksaan pertama, sistem klasifikasi membaca representasi internal selama pemrosesan. Ketika pola mencurigakan tidak terdeteksi, sistem dapat melanjutkan proses. Ketika probe menemukan sinyal berisiko, sistem berpotensi melakukan eskalasi kepada model pemeriksa tambahan. Evaluasi berikutnya bertujuan menentukan apakah peringatan membutuhkan intervensi. Berkat mekanisme eskalasi, sumber daya pengawasan dapat difokuskan.
Di samping mengidentifikasi risiko, penyedia layanan memiliki pilihan menetapkan tindakan setelah risiko dikenali. Mekanisme penanganan tersebut dapat mencakup logging untuk pemeriksaan, pengiriman kasus kepada manusia, atau penghentian tindakan tertentu. Dalam lingkungan perusahaan, asisten digital pengembang mungkin memperoleh akses berbagai layanan perangkat lunak. Apabila aktivitas berbahaya terdeteksi, pengawasan dapat memicu tindakan pencegahan. Namun demikian, pengelola harus mempertimbangkan risiko kesalahan agar aktivitas sah tidak sering terganggu.
Pengujian Goodfire pada Kimi K3 Menunjukkan Kemampuan Deteksi Tinggi
Berdasarkan evaluasi internal perusahaan, teknologi pemantauan berbasis probe diterapkan dalam eksperimen dengan model AI terbuka Kimi K3. Evaluasi teknis ini mencakup sekitar 1.500 sesi untuk menilai efektivitas pengawasan. Menurut laporan Goodfire, sistem berhasil mendeteksi 94 persen sesi peretasan berbahaya. Selain itu, sekitar 8,7 persen aktivitas tidak berbahaya memerlukan pemeriksaan lanjutan. Data pengujian tersebut memperlihatkan bahwa masih terdapat false positive. Karena kondisi tersebut, pengembang harus mempertimbangkan kemampuan menemukan ancaman.
Dari sisi biaya, Goodfire menyampaikan bahwa pemantauan sekitar 1.500 sesi menggunakan probe memerlukan pengeluaran sekitar US$51. Dalam pengujian pembanding, model AI pemeriksa yang lebih murah memerlukan biaya kurang lebih US$233, sedangkan model pemeriksa kelas atas diperkirakan membutuhkan US$10.000. Di samping perbedaan biaya, pemantauan menggunakan empat klasifikasi sekaligus dilaporkan menambah waktu tunggu awal respons di bawah dua persen. Walaupun hasil pengujian menjanjikan, performa dapat berbeda pada lingkungan lain. Oleh sebab itu, validasi tambahan sebaiknya dilakukan sebelum menentukan tingkat keandalan umum.
Goodfire dan Baseten Memperluas Penerapan Keamanan Agen AI
Perkembangan komersial sistem tersebut adalah penggunaan sistem monitoring internal bagi organisasi yang menjalankan model melalui Baseten. Baseten merupakan infrastruktur hosting dan inferensi AI. Berkat integrasi layanan, pelanggan memiliki kesempatan menggunakan detektor risiko berbasis model ketika mengoperasikan model AI. Teknologi Goodfire menjadi relevan terutama pada sistem AI yang bobotnya tersedia karena pengembang dapat memodifikasi pengaturannya. Dengan demikian, penyedia layanan AI dapat mengembangkan mekanisme keamanan saat inferensi.
Selain pemantauan keamanan siber, teknologi Goodfire juga diarahkan untuk mengenali jenis risiko lainnya. Bidang pengawasan yang dapat dipilih antara lain penyalahgunaan terkait senjata kimia dan biologis, upaya mengeksploitasi mekanisme evaluasi, dan aktivitas peretasan tanpa izin. Pada penggunaan model otomatis, reward hacking merujuk pada eksploitasi ukuran keberhasilan yang tidak sesuai dengan maksud tugas. Untuk menggambarkan masalah, model dapat mengeksploitasi kelemahan lingkungan pengujian. Melalui deteksi risiko secara dini, administrator berpotensi mengetahui tanda masalah sebelum tindakan berisiko berlanjut tanpa pengawasan.
Peran Interpretabilitas dalam Mengurangi Risiko Kecerdasan Buatan
Pengembangan sistem inside-out monitoring menunjukkan inovasi menarik dalam teknologi keamanan agen AI. Dengan menganalisis sinyal komputasi model, sistem berupaya mendeteksi indikasi perilaku berisiko tanpa harus memeriksa seluruh keluaran menggunakan model besar. Data eksperimen yang diumumkan perusahaan menunjukkan kemampuan mendeteksi 94 persen sesi dengan tindakan siber mencurigakan, dengan pengeluaran pemantauan yang relatif kecil. Walaupun perkembangan ini menarik, kebutuhan pengujian independen tetap harus dipertimbangkan. Oleh karena itu, pengawasan berbasis aktivasi idealnya didukung pembatasan izin agen. Bagaimana pendapat Anda, apakah pendekatan interpretabilitas berbasis AI akan membantu mengurangi penyalahgunaan kecerdasan buatan? Jangan ragu menyampaikan pandangan mengenai perkembangan teknologi keamanan AI.
