GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
Teknologi AI GitHub Copilot Kini Mendukung Interaksi dengan Aplikasi Desktop
Pengenalan fitur Computer Use menandai perkembangan penting dalam otomatisasi pekerjaan berbasis AI. Pada fungsi utamanya, GitHub Copilot banyak dimanfaatkan untuk membantu penulisan kode. Dengan hadirnya Computer Use, Copilot memiliki kemampuan bekerja pada aplikasi desktop menggunakan perintah berbentuk percakapan. Kemampuan tersebut memungkinkan AI memahami konteks visual, kemudian mengklik tombol sesuai kebutuhan pengguna. Dengan pendekatan tersebut, aktivitas administratif dapat dikerjakan secara lebih efisien tanpa bergantung sepenuhnya pada pengoperasian pengguna.
Kemampuan otomatisasi desktop ini tersedia dalam GitHub Copilot CLI dan aplikasi GitHub Copilot untuk sistem operasi Windows dan macOS. Saat pertama diperkenalkan, fitur tersebut berstatus public preview. Kondisi ini menunjukkan bahwa, kemampuan dan perilakunya berpotensi mengalami penyempurnaan berdasarkan umpan balik pengguna. Keunggulan yang menonjol adalah kemampuan menangani perangkat lunak konvensional yang tidak memiliki antarmuka perintah. Untuk perangkat lunak semacam ini, Copilot dapat menggunakan interaksi visual seperti navigasi menu untuk mendukung pekerjaan. Meski menawarkan kemudahan, fitur ini tetap membutuhkan izin akses yang sesuai.
Panduan Menyalakan Fitur Computer Use di Windows dan macOS
Sebelum menggunakan Computer Use, pengguna perlu memastikan bahwa perangkat telah memiliki aplikasi Copilot yang sesuai. Sesudah masuk ke aplikasi, akses halaman Settings, kemudian masuk ke Computer Use. Melalui panel yang tersedia, ubah menjadi aktif pilihan Enable Computer Use agar Copilot dapat meminta akses aplikasi. Secara bawaan, fitur ini tidak langsung dihidupkan. Mekanisme aktivasi tersebut menghadirkan kesempatan menentukan izin kepada pengguna sebelum sistem menjalankan kendali antarmuka. Melalui proses tersebut, pengguna memiliki kesempatan memilih kapan Copilot boleh menggunakan kemampuan desktop.
Pada komputer Mac, pengaturan tambahan menjadi bagian dari aktivasi agar Computer Use bisa berfungsi dengan aplikasi lokal. Persyaratan akses ini terdiri atas Accessibility dan Screen Recording. Melalui Accessibility, sistem dapat berinteraksi dengan elemen antarmuka, sedangkan Screen Recording memungkinkan pemeriksaan konteks visual. Untuk menyelesaikan pengaturan, pengguna perlu mengikuti arahan pada halaman Computer Use. Di sisi lain, langkah memulai dapat dijalankan dari menu Computer Use tanpa persyaratan izin macOS tersebut. Namun demikian, akses terhadap aplikasi tetap berada dalam kendali pengguna.
Cara Mengaktifkan Computer Use dengan Perintah Terminal
Selain melalui aplikasi grafis, Computer Use bisa diaktifkan melalui GitHub Copilot CLI. Untuk profesional yang bekerja dengan terminal, cara ini menghadirkan pengaturan yang langsung. Setelah menjalankan sesi Copilot CLI yang memiliki kemampuan Computer Use, pengguna perlu menjalankan perintah `/computer on` untuk menyalakan kemampuan interaksi desktop. Untuk mengetahui status fitur, gunakan perintah `/computer show`. Sementara itu, perintah `/computer off` memungkinkan pengguna menonaktifkan fitur. Dengan pilihan tersebut, pengguna bisa menentukan kapan otomatisasi aktif sesuai kondisi sesi.
Setelah Computer Use aktif, pengguna memiliki kesempatan menyampaikan arahan tugas berbentuk percakapan. Sebagai contoh, pengguna dapat meminta Copilot untuk membuka aplikasi tertentu, kemudian merangkum data di jendela aplikasi. Apabila tugas melibatkan perubahan, Copilot berpotensi melakukan navigasi antarmuka setelah pengguna menyetujui tindakan yang diminta. Agar proses berjalan lebih terarah, tentukan batasan pekerjaan secara mudah dipahami. Sebagai ilustrasi, pengguna bisa memberikan permintaan untuk memperbarui bagian tertentu dalam presentasi dengan ketentuan pekerjaan yang ditentukan. Instruksi terarah tersebut membantu mengurangi perubahan di luar tujuan.
Contoh Otomatisasi Pekerjaan Desktop dengan GitHub Copilot
Salah satu penerapan utama adalah otomatisasi pekerjaan administratif yang melibatkan beberapa aplikasi. Dalam pekerjaan kantor, pengguna terkadang perlu memindahkan informasi. Berkat kemampuan interaksi antarmuka, sebagian pekerjaan berulang dapat dibantu AI. Pada kebutuhan tertentu, Copilot dapat diarahkan untuk mengakses program administrasi, kemudian membaca data yang tersedia. Setelah mendapatkan otorisasi, sistem mampu membantu melakukan pembaruan kolom tertentu. Dengan demikian, pekerjaan yang biasanya membutuhkan banyak klik mampu diselesaikan dengan bantuan otomatisasi.
Computer Use turut relevan bagi organisasi yang memiliki perangkat lunak konvensional. Sejumlah sistem perusahaan mendukung otomatisasi melalui terminal. Keterbatasan integrasi ini berpotensi menjadikan otomatisasi lebih sulit. Dengan memanfaatkan konteks visual, Copilot berpotensi menangani tugas melalui tombol dan menu. Pada contoh pekerjaan, pengguna dapat meminta untuk memeriksa status dalam sistem lama. Namun demikian, ketepatan tindakan perlu mempertimbangkan desain antarmuka yang sedang dibuka.
Pengawasan Pengguna Penting dalam Otomatisasi Berbasis AI
Meskipun Computer Use menawarkan kemudahan, pengamanan akses aplikasi harus dipertahankan sebagai bagian penting. Saat AI mengendalikan perangkat lunak lokal, data dalam jendela dapat menjadi bagian dari konteks pemrosesan AI. Sebagai langkah perlindungan, pengguna sebaiknya membatasi aplikasi yang diberikan izin. Sistem Computer Use menerapkan mekanisme izin sebelum mengendalikan aplikasi sesuai konfigurasi izin yang berlaku. Dengan mekanisme tersebut, pengguna memiliki kesempatan membatasi tindakan berdasarkan tingkat sensitivitas aplikasi.
Di samping persetujuan setiap sesi, GitHub Copilot juga menawarkan pengaturan Always allow untuk perangkat lunak tertentu. Melalui pilihan tersebut, Copilot dapat menggunakan kembali aplikasi yang sebelumnya telah disetujui tanpa mengulang seluruh proses persetujuan. Meski mempermudah penggunaan berulang, penyimpanan otorisasi aplikasi harus dipertimbangkan secara cermat, terutama untuk sistem berisi data pribadi. Pemilik komputer memiliki kesempatan memeriksa otorisasi yang telah disimpan dan mengatur ulang daftar izin sesuai kebijakan organisasi. Tidak kalah relevan, operasi yang sedang berlangsung memiliki mekanisme penghentian melalui tombol Stop atau tombol Esc sesuai petunjuk aplikasi. Dengan demikian, AI tidak harus bekerja tanpa pengawasan.
Fitur Computer Use Menghubungkan AI dengan Pekerjaan Komputer Sehari Hari
Pengenalan Computer Use memperlihatkan kemajuan baru GitHub Copilot dari pendukung penulisan kode menuju otomatisasi aplikasi desktop. Berkat akses terhadap konteks visual, Copilot mampu mendukung navigasi menu menggunakan arahan pengguna. Pendekatan otomatisasi tersebut menjadi relevan bagi aplikasi tanpa API yang sulit diotomatisasi menggunakan cara konvensional. Namun demikian, pengoperasian masih membutuhkan penjelasan tugas yang jelas agar risiko kesalahan dapat dibatasi.
Seiring kemajuan kecerdasan buatan, otomatisasi melalui antarmuka visual dapat berkembang sebagai pendukung aktivitas profesional. Walaupun kemampuan tersebut terus berkembang, risiko salah klik memerlukan langkah mitigasi. Pengembang fitur tersebut menjelaskan bahwa computer use dapat mengalami perubahan selama pengembangan. Supaya otomatisasi lebih terarah, tentukan batasan pekerjaan dan periksa hasil tindakan. Apa pendapat Anda, apakah Computer Use GitHub Copilot mampu mengurangi pekerjaan berulang pada masa mendatang? Silakan bagikan pendapat Anda mengenai fitur Computer Use.
