Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.
Inovasi Goodfire untuk Meningkatkan Keamanan Sistem Kecerdasan Buatan
Startup yang berfokus pada pemahaman model kecerdasan buatan Goodfire menghadirkan sistem pemantauan internal yang dikembangkan guna mengenali aktivitas kecerdasan buatan yang mencurigakan. Teknologi pemantauan tersebut memperoleh sorotan karena sistem kecerdasan buatan semakin mandiri. Dalam berbagai aplikasi, agen AI berpotensi menyelesaikan tugas bertahap dengan intervensi pengguna yang lebih sedikit. Peningkatan kemampuan tersebut mendukung efisiensi pekerjaan, tetapi menghadirkan risiko pengendalian. Berkat pengembangan detektor khusus, Goodfire mengembangkan kemampuan mendeteksi aktivitas mencurigakan sebelum tindakan terjadi.
Jika dibandingkan dengan sistem pemantauan konvensional, teknologi Goodfire tidak selalu memerlukan pemeriksaan terhadap seluruh percakapan sistem. Melalui pendekatan berbeda, teknologi tersebut membaca representasi numerik yang muncul selama pemrosesan. Informasi tersebut berpotensi memperlihatkan indikasi mengenai aktivitas yang sedang diproses. Manfaat utama metode tersebut adalah kemampuan memanfaatkan komputasi yang sudah berjalan. Dengan demikian, pengawasan dapat menjadi lebih hemat. Walaupun teknologi tersebut menawarkan keuntungan, hasil deteksi tetap memerlukan evaluasi.
Teknologi Interpretabilitas Membaca Sinyal Internal Model AI
Bagian penting dalam sistem pemantauan Goodfire adalah activation probes, yaitu sistem pemeriksa sederhana yang menganalisis aktivasi internal model AI. Ketika agen AI menjalankan tugas, proses komputasi menciptakan berbagai aktivasi internal. Sinyal tersebut dapat mencerminkan representasi yang dipelajari model. Sistem klasifikasi internal kemudian mencari indikasi dalam representasi tersebut untuk mengenali kemungkinan penyimpangan. Sebagai contoh, detektor dapat dilatih untuk mengenali indikasi aktivitas peretasan berbahaya. Melalui mekanisme tersebut, pengawasan tidak harus menunggu seluruh respons selesai.
Salah satu alasan efisiensinya adalah penggunaan kembali aktivasi model. Dalam pengawasan berbasis model tambahan, sebuah model AI lain perlu menganalisis kembali riwayat tindakan model. Pendekatan pemeriksaan ulang ini memerlukan sumber daya komputasi lebih besar, terutama apabila sistem menjalankan banyak langkah. Melalui pendekatan Goodfire, sistem dapat menganalisis representasi model yang telah dihitung. Oleh karena itu, kebutuhan komputasi tambahan berpotensi lebih rendah. Sekalipun metode tersebut dirancang hemat, kualitas probe harus dievaluasi untuk menjaga relevansi hasil.
Mekanisme Eskalasi Goodfire untuk Menangani Risiko Agen AI
Sistem keamanan ini memanfaatkan rangkaian evaluasi berdasarkan tingkat risiko. Ketika agen sedang bekerja, detektor internal memeriksa aktivasi pada berbagai langkah. Apabila tidak ditemukan masalah, sistem dapat melanjutkan proses. Sebaliknya, hasil deteksi dapat dikirim kepada model pemeriksa tambahan. Pemeriksaan kedua bertujuan menentukan apakah aktivitas memerlukan tindakan perlindungan. Berkat mekanisme eskalasi, proses analisis mendalam tidak harus berjalan terus-menerus.
Di samping mengidentifikasi risiko, administrator berkesempatan mengatur respons terhadap peringatan. Mekanisme penanganan tersebut dapat mencakup logging untuk pemeriksaan, pengiriman kasus kepada manusia, atau penghentian tindakan tertentu. Pada sistem AI yang digunakan untuk pekerjaan, asisten digital pengembang dapat memiliki kewenangan repositori kode. Jika terdapat indikasi tindakan tidak sah, akses tertentu bisa ditinjau sebelum dilanjutkan. Walaupun respons otomatis membantu, ambang deteksi perlu ditetapkan dengan hati-hati agar pengguna tidak terlalu banyak menerima peringatan palsu.
Hasil Pemantauan Internal AI Mencapai Deteksi 94 Persen Sesi Berbahaya
Berdasarkan evaluasi internal perusahaan, teknologi pemantauan berbasis probe diuji menggunakan model AI terbuka Kimi K3. Pengujian tersebut dilakukan terhadap sekitar 1.500 sesi untuk mengukur kemampuan pendeteksian. Mengacu pada hasil yang dipublikasikan, sistem berhasil mendeteksi 94 persen sesi dengan tindakan siber berbahaya. Di samping keberhasilan deteksi, sekitar 8,7 persen aktivitas tidak berbahaya memerlukan pemeriksaan lanjutan. Hasil ini memperlihatkan bahwa masih terdapat peringatan yang tidak tepat. Dengan demikian, sistem perlu menyeimbangkan tingkat kesalahan peringatan.
Dari sisi biaya, Goodfire menyampaikan bahwa pengawasan terhadap kurang lebih 1.500 aktivitas menggunakan probe membutuhkan biaya sekitar US$51. Sebagai perbandingan, sistem pengawasan berbasis model berbiaya rendah menghabiskan dana sekitar US$233, sedangkan model pemeriksa kelas atas diperkirakan membutuhkan US$10.000. Selain penghematan tersebut, pengoperasian empat detektor internal dalam pengujian memberikan tambahan latensi waktu menuju respons pertama kurang dari 2 persen. Namun demikian, hasilnya belum otomatis berlaku pada semua model. Oleh sebab itu, evaluasi pada model berbeda tetap diperlukan sebelum menerapkan sistem secara luas.
Goodfire dan Baseten Memperluas Penerapan Keamanan Agen AI
Perkembangan komersial sistem tersebut adalah penggunaan sistem monitoring internal bagi organisasi yang menjalankan model melalui Baseten. Platform Baseten berperan sebagai infrastruktur hosting dan inferensi AI. Berkat integrasi layanan, organisasi berpotensi menerapkan sistem perlindungan tambahan ketika menjalankan agen otomatis. Pendekatan tersebut menjadi relevan terutama pada sistem AI yang bobotnya tersedia karena model dapat dijalankan pada infrastruktur sendiri. Dengan demikian, organisasi berpotensi meningkatkan pengendalian risiko ketika model digunakan.
Di luar pendeteksian aktivitas hacking, pendekatan interpretabilitas model juga diarahkan untuk mengenali aktivitas berbahaya dalam konteks berbeda. Bidang pengawasan yang dapat dipilih mencakup risiko keselamatan kimia serta biologi, upaya mengeksploitasi mekanisme evaluasi, dan aktivitas peretasan tanpa izin. Ketika sistem kecerdasan buatan menjalankan tugas, reward hacking merujuk pada eksploitasi ukuran keberhasilan yang tidak sesuai dengan maksud tugas. Untuk menggambarkan masalah, sistem berpotensi mencari jalan pintas yang tidak diinginkan. Melalui deteksi risiko secara dini, tim keamanan memiliki kesempatan melakukan evaluasi sebelum aktivitas berkembang menjadi insiden.
Peran Interpretabilitas dalam Mengurangi Risiko Kecerdasan Buatan
Pengenalan pendekatan pengawasan berbasis activation probes menunjukkan inovasi menarik dalam teknologi keamanan agen AI. Melalui pemeriksaan sinyal komputasi model, detektor memungkinkan identifikasi indikasi perilaku berisiko tanpa selalu menjalankan pengawas AI berbiaya tinggi. Evaluasi menggunakan Kimi K3 memberikan gambaran efektivitas terhadap 94 persen sesi peretasan berbahaya, dengan kebutuhan biaya yang lebih rendah. Namun demikian, perbedaan karakteristik antar-model tetap perlu diperhatikan. Sebagai langkah penggunaan yang bertanggung jawab, sistem probe perlu diterapkan bersama evaluasi tindakan eksternal. Bagaimana pendapat Anda, apakah teknologi activation probes akan membantu mengurangi penyalahgunaan kecerdasan buatan? Mari berbagi pemikiran mengenai perkembangan teknologi keamanan AI.
