讓 AI 高效率使用電腦上的任何 App

Sun, 15 Nov 2026 08:00:00 +0800

要讓 AI 幫忙處理電腦上的工作，常見做法是先截圖，再讓模型猜按鈕在哪裡。這樣不但慢，也容易點錯，更難穩定地跑重複流程。

Vercel Labs 開源的 agent-desktop，走的是另一條路：它讀取 App 提供的按鈕、文字欄等介面資訊，讓現有的 Agent 按指定項目點擊或輸入。它本身不是 Agent，裡面也沒有模型，負責的是把「操作桌面 App」變成 Agent 用得上的命令。macOS、Windows 與 Linux 都支援同一套命令，預設以無頭方式運行，不必搶走你正在用的滑鼠。授權為 Apache-2.0，GitHub 已有逾 2.3 萬星。

網頁自動化請用另一套工具 agent-browser。agent-desktop 針對的是電腦上的桌面 App；它只能操作 App 有對外提供的介面元素，沒有提供這些資訊的畫面就無法對準。

實用例子

只要步驟清楚，而且是靠按鈕、選單、文字欄完成的工作，都可以交給 Agent 重複執行。下面是幾個常見用法。

填寫沒有 API 的業務軟體。 許多進銷存、會計或內部系統只能在視窗裡操作。Agent 可以依欄位名稱填入客戶、金額、日期，再按「儲存」，或從選單匯出檔案，不必每次人手重跑同一套步驟。

測試桌面 App。 打開要測的程式，在登入或表單欄位輸入測試內容，依指定路徑點擊，再檢查某個按鈕是否出現、某個欄位或提示是否顯示預期文字。官方的操作迴圈也是先讀取畫面、對準項目執行動作，再讀一次確認結果。視窗位置變了，也不必改座標。

每天重複的匯出與搬資料。 例如打開本機報表工具、選好日期範圍、按匯出並存到指定資料夾；或從一個桌面 App 複製內容，貼到另一個 App 的指定欄位。這類固定流程最適合交給 Agent，讓人去處理例外情況。

接到現有的 Agent。 自 v1.2.0 起可用 agent-desktop mcp，讓已在用的 Agent 直接呼叫讀取畫面、點擊、輸入等命令，不必另外再做一套點擊工具。

官方入門示範是操作計算機：對準數字按鈕點擊，再確認顯示值是否正確。真正省時間的，通常是上面那些會反覆出現的填表、測試與匯出工作。

讓 Agent 用自己的桌面

若 Agent 與你共用同一個桌面，再精準的點擊，也可能打斷你正在做的事。v1.3.0 新增 macOS 虛擬機沙盒：在 Apple Silicon Mac 上，先人手設定好第一部虛擬機，之後就能複製出給 Agent 使用的桌面，不必碰你正在用的工作畫面。從映像建立第一部虛擬機，官方仍標為實驗性；Intel Mac 不支援本機沙盒。Linux 與 Windows 目前也沒有本機沙盒，官方另有託管的 Linux 沙盒，與本機命令不是同一套做法。

沙盒隔開的是桌面，不是網絡或主機，不能當成執行不可信程式的安全保證。快照、剪貼簿與截圖也可能含私人內容，不宜放到公開日誌。

MacOS on Zedo.dev

讓 AI 高效率使用電腦上的任何 App

實用例子

讓 Agent 用自己的桌面