Microsoft Mage Kembangkan Agen Komputer yang Menggabungkan Kendali Layar dan Perintah Terminal
Microsoft memperkenalkan Mage-VL-Cowork, model kecerdasan buatan yang dirancang untuk mengoperasikan komputer melalui dua pendekatan sekaligus, yaitu antarmuka grafis dan perintah terminal. Dikembangkan oleh Microsoft Mage Team, model ini memiliki sekitar empat miliar parameter dan mampu menentukan kapan harus menggunakan mouse, keyboard, atau menjalankan kode untuk menyelesaikan pekerjaan. Dalam laporan teknis yang dipublikasikan pada 29 Oktober 2026, Microsoft menunjukkan kemampuan agen tersebut dalam menangani berbagai tugas komputer. Perkembangan TEKNOLOGI ini membuka peluang otomatisasi yang lebih fleksibel, terutama untuk pekerjaan yang melibatkan aplikasi desktop, pengolahan dokumen, spreadsheet, serta pengelolaan file digital.
Inovasi Mage-VL-Cowork Menggabungkan Interaksi Visual dan Pemrograman
Perkembangan kecerdasan buatan terus memperluas cara manusia menggunakan komputer dalam berbagai pekerjaan. Microsoft mengembangkan Mage-VL-Cowork sebagai model AI khusus yang dapat menjalankan tugas melalui antarmuka visual maupun terminal. Jika dibandingkan dengan agen yang hanya memanfaatkan tangkapan layar untuk menentukan tindakan, sistem ini mampu memilih metode interaksi berdasarkan karakteristik pekerjaan. Saat sistem harus memahami tampilan visual, agen dapat memanfaatkan kendali mouse dan keyboard. Untuk pekerjaan berbeda, perintah terminal dapat dipilih ketika pengolahan langsung melalui kode lebih sesuai. Strategi pengoperasian tersebut termasuk dasar penting dalam pengembangan agen komputer yang lebih fleksibel.
Salah satu karakteristik utama Mage-VL-Cowork adalah pemanfaatan satu kebijakan pengambilan keputusan untuk mengatur kedua jalur interaksi. Hal tersebut berarti, perpindahan antara antarmuka grafis dan terminal tidak harus diatur oleh sistem pengarah eksternal yang terpisah. Sistem kecerdasan buatan tersebut menggunakan kemampuan untuk menilai tindakan yang paling sesuai pada setiap tahap pekerjaan. Dalam penggunaan praktis, agen dapat mengamati tampilan aplikasi menggunakan screenshot, kemudian mengubah file dengan kode jika diperlukan. Setelah pekerjaan selesai, sistem dapat meninjau ulang hasil melalui antarmuka visual. Pola kerja tersebut dapat mengurangi langkah berulang dalam berbagai pekerjaan digital tanpa menghilangkan kebutuhan pengawasan pengguna.
Sistem Hybrid Computer Use Microsoft Menggabungkan Klik dan Eksekusi Kode
Ketika menerima instruksi, Mage-VL-Cowork menggunakan dua jalur tindakan yang menyediakan karakteristik berbeda. Metode interaksi pertama adalah graphical user interface atau GUI yang mendukung agen mengamati kondisi layar melalui tangkapan gambar. Melalui metode tersebut, agen dapat memilih tombol, mengarahkan kursor, mengetik teks, serta melakukan tindakan antarmuka lainnya. Fasilitas tersebut relevan ketika pekerjaan membutuhkan aplikasi dengan tata letak yang harus diperhatikan. Untuk memberikan ilustrasi, pengeditan gambar dapat memerlukan pemeriksaan langsung terhadap posisi objek, warna, dan hasil perubahan. Pada situasi seperti ini, penggunaan GUI menghadirkan konteks visual yang tidak selalu terlihat melalui perintah terminal.
Jalur kedua adalah terminal yang memungkinkan agen mengeksekusi perintah sistem dan kode pemrograman. Berkat akses terminal, pekerjaan yang berkaitan dengan pengolahan file terstruktur dapat diselesaikan secara langsung. Dalam penggunaan praktis, perubahan pada spreadsheet dapat dilakukan menggunakan pustaka Python tanpa harus mengklik setiap sel secara manual. Di samping pengolahan spreadsheet, terminal dapat diandalkan untuk memeriksa keberadaan file, menjalankan perhitungan, dan memvalidasi hasil pekerjaan. Berkat integrasi kedua metode tersebut, Mage-VL-Cowork berupaya untuk memilih jalur yang paling sesuai. Walaupun memiliki fleksibilitas tinggi, setiap tindakan tetap membutuhkan izin akses dan batasan keamanan sistem.
Contoh Otomatisasi Aplikasi Desktop Menggunakan Agen Microsoft
Salah satu penerapan menarik Mage-VL-Cowork ditunjukkan melalui pekerjaan yang melibatkan spreadsheet dan aplikasi desktop. Melalui evaluasi yang dipublikasikan, model diminta untuk mengubah lembar kerja menggunakan LibreOffice Calc. Pekerjaan tersebut menggabungkan penggabungan rentang sel, penambahan label, serta pembuatan grafik. Berbeda dari pendekatan yang memerlukan serangkaian klik panjang, agen memanfaatkan kode Python melalui terminal untuk memodifikasi file secara langsung. Berdasarkan contoh pelaksanaan, Mage-VL-Cowork menyelesaikan pekerjaan dalam waktu 39 detik dengan enam langkah. Pencapaian ini memperlihatkan bahwa pemilihan metode interaksi dapat memengaruhi efisiensi penyelesaian tugas. Meskipun hasilnya menarik, waktu pengerjaan tidak selalu sama untuk seluruh spreadsheet dan konfigurasi komputer.
Penerapan sistem hybrid juga didemonstrasikan dalam pengolahan gambar melalui aplikasi GIMP. Melalui demonstrasi penyuntingan, sistem mendapatkan instruksi untuk menambahkan alpha channel, menghapus latar tertentu, dan menyesuaikan dimensi gambar. Tidak seperti tugas pengolahan angka, penyuntingan visual membutuhkan pemahaman terhadap hasil yang muncul di layar. Dengan mempertimbangkan karakteristik tersebut, agen menggunakan GUI untuk melakukan perubahan dan terminal untuk mengevaluasi hasil file. Kemampuan berpindah tersebut memungkinkan penyelesaian tugas yang tidak cukup ditangani dengan satu metode. Namun demikian, hasil desain tetap perlu diperiksa agar sesuai dengan kebutuhan pengguna.
Hasil Benchmark Mage-VL-Cowork Menunjukkan Kemampuan Agen AI
Sebagai bagian dari penelitian, Microsoft menguji Mage-VL-Cowork menggunakan benchmark OSWorld-Verified. Evaluasi ini diterapkan untuk memeriksa keberhasilan agen komputer ketika melaksanakan pekerjaan pada lingkungan desktop. Menurut hasil yang dipublikasikan, model Mage-VL-Cowork memperoleh tingkat keberhasilan 66,0 persen dengan batas maksimal 50 langkah. Pencapaian tersebut dilaporkan berdasarkan pengujian terhadap 361 tugas yang tidak digunakan dalam pelatihan. Nilai benchmark tersebut menunjukkan kemampuan model berukuran relatif ringkas dalam mengelola pekerjaan komputer yang beragam. Namun demikian, skor tersebut juga memperlihatkan bahwa sejumlah tugas masih memerlukan pengembangan lebih lanjut. Oleh sebab itu, hasil benchmark tidak boleh dianggap sebagai jaminan keberhasilan pada seluruh kondisi nyata.
Di samping evaluasi sistem operasi, Microsoft juga menguji model dalam pekerjaan berbasis browser. Pada evaluasi navigasi web, versi Mage-VL-Cowork setelah supervised fine-tuning mencapai tingkat keberhasilan 58,6 persen. Pengujian ini menyediakan gambaran mengenai kemampuan agen dalam menjalankan berbagai aktivitas web. Selain itu, Microsoft mengukur kemampuan sistem dengan konfigurasi yang menggunakan lebih banyak jalur interaksi. Hasil penelitian mengindikasikan bahwa penambahan alat tidak selalu meningkatkan hasil akhir. Dalam pengujian tertentu, konfigurasi GUI dan kode justru menghasilkan hasil lebih baik dibandingkan pendekatan dengan jalur aksesibilitas tambahan. Hasil perbandingan tersebut memperlihatkan pentingnya rancangan sistem yang efisien, bukan sekadar jumlah alat yang tersedia.
Metode Pelatihan Mage-VL-Cowork dan Tantangan Keamanan
Untuk membangun kemampuan hybrid, Microsoft menggunakan metode pelatihan bertahap yang meliputi beberapa jenis pembelajaran. Proses pertama diarahkan pada pemahaman visual dan kemampuan mengenali elemen antarmuka. Setelah kemampuan dasar terbentuk, model dilatih untuk menjalankan tindakan GUI serta menggunakan terminal dan kode. Sesudah itu, pelatihan hybrid membantu agen mempelajari kapan harus menggunakan masing-masing metode. Tim pengembang turut menggunakan reinforcement learning untuk memperbaiki keberhasilan penyelesaian pekerjaan. Strategi pelatihan ini dirancang agar sistem tidak hanya memahami satu tindakan, tetapi juga menyelesaikan rangkaian pekerjaan yang lebih panjang. Melalui proses bertahap tersebut, model dapat memperkuat hubungan antara pengamatan, keputusan, dan pemeriksaan hasil.
Meskipun agen AI menghadirkan berbagai kemudahan operasional, keamanan tetap menjadi aspek penting. Model yang mampu menggunakan perintah terminal memiliki kemampuan untuk memodifikasi file atau menjalankan tindakan yang memengaruhi lingkungan komputer. Dengan mempertimbangkan risiko tersebut, penggunaan agen sebaiknya diatur melalui izin akses yang sesuai. Pada sistem yang memuat data penting, administrator dapat menerapkan lingkungan terisolasi, pembatasan direktori, serta pemeriksaan sebelum tindakan sensitif. Selain itu, hasil pekerjaan sebaiknya diverifikasi sebelum digunakan secara resmi. Pemeriksaan hasil otomatisasi tidak dapat diabaikan karena model dapat tidak tepat menjalankan instruksi dalam kondisi tertentu. Dengan pengelolaan tersebut, otomatisasi dapat digunakan secara lebih bertanggung jawab.
Penutup dan Prospek Microsoft Mage dalam Otomatisasi Komputer
Pengenalan Mage-VL-Cowork menjadi langkah penting dalam ekosistem otomatisasi digital. Berkat integrasi kendali GUI dan perintah terminal, model Microsoft ini menawarkan pendekatan yang lebih fleksibel untuk mengelola pekerjaan komputer. Penerapan satu kebijakan pemilihan tindakan memungkinkan agen menentukan kapan harus mengklik antarmuka dan kapan lebih tepat menjalankan kode. Evaluasi penelitian sebesar 66,0 persen pada OSWorld-Verified menggambarkan kemampuan yang menarik untuk model berukuran sekitar empat miliar parameter. Meskipun menunjukkan kemajuan, agen tersebut masih membutuhkan pengembangan lanjutan dan pengawasan ketika menangani pekerjaan sensitif.
Pada masa mendatang, agen AI dengan kemampuan hybrid diperkirakan meningkatkan otomatisasi pekerjaan yang melibatkan berbagai aplikasi. Untuk peneliti kecerdasan buatan, pendekatan Microsoft memberikan gambaran mengenai pentingnya pengelolaan alat otomatisasi. Sebagai kebutuhan pengembangan, keamanan, transparansi tindakan, dan validasi hasil tetap harus menjadi prioritas. Dengan pendekatan yang tepat, agen komputer dapat mendukung berbagai pekerjaan digital. Dari sudut pandang Anda, apakah agen yang dapat menggabungkan kendali layar dan terminal akan mengubah cara bekerja dalam industri TEKNOLOGI? Tuliskan pandangan Anda mengenai potensi agen AI untuk penggunaan komputer.
