GitHub Copilotがデスクトップアプリを操作

APIのない画面操作にも対応

GitHubは2026年10月2日4時11分頃（日本時間）、Copilotのcomputer useをパブリックプレビューで提供しました。

対象はmacOSとWindowsのGitHub Copilot CLIおよびGitHub Copilotアプリです。

Copilotはアクセシビリティ情報と画面の視覚情報を読み、クリック、文字入力、キー操作、スクロール、ドラッグを実行できます。

API、CLI、MCP連携がない従来型ソフトやGUI専用アプリを含む作業を自動化できます。

利用者が許可するまでCopilotはアプリを操作せず、常時許可したアプリは後から確認・リセットできます。

macOSではアクセシビリティと画面収録の権限設定が案内されます。

組織管理者は管理設定からcomputer useを無効化できます。

Copilot CLIでは/computer onで有効化し、/computer showで状態確認、/computer offで停止します。

CopilotアプリではSettingsのComputer Useから有効化できます。

GitHubはブラウザ通知の要約、プレゼン資料の更新、デスクトップアプリ間の情報移動を利用例に挙げています。

原文

• GitHub Changelog: GitHub Copilot can now interact with desktop apps with computer use