Anthropic今日宣佈全面升級其AI助手Claude的「計算機使用」能力，新功能現處於Beta測試階段，已面向Claude Pro和Max訂閱使用者開放，macOS版率先體驗。此次升級的核心變化在於，Claude現在可以在後台視窗執行任務，無需佔用使用者的滑鼠和鍵盤，從而讓使用者與AI在同一台電腦上並行工作。
此前，Claude的「計算機使用」功能已於今年3月隨Dispatch一起上線，其工作原理是一個迴圈：截圖→模型看圖→輸出座標→系統去點。然而，這種模式存在明顯侷限——當AI操作電腦時，使用者的滑鼠和鍵盤會被“接管”，導致使用者只能旁觀AI執行任務，無法同時進行其他工作。
此次升級後，在macOS 15及以上系統中，Claude預設通過後台視窗工作，不佔用使用者正在使用的滑鼠和鍵盤。使用者可以繼續寫文件、回訊息，而Claude則在另一邊開啟應用、整理檔案、測試程式。如果檢測到使用者正在輸入，Claude還會主動等待。只有當任務必須接管整個螢幕時，Claude才會在每次會話中首次發起前台操作前徵求使用者許可。
從Anthropic公開的文件來看，Claude的桌面操作建立在經典的「感知—決策—執行—反饋」迴圈之上。每執行一步，系統會擷取當前視窗畫面，將截圖交給視覺模型理解，識別按鈕、輸入框、選單和頁面狀態，隨後生成點選座標、鍵盤輸入或滾動等動作。執行後，系統再次截圖，Claude判斷操作是否成功並規劃下一步，如此迴圈直到任務完成或遇到需要使用者確認的問題。
這種GUI智慧體的實現難度遠高於普通工具呼叫，因為API返回的是結構化資料，而螢幕只提供畫素，同一個按鈕可能出現在不同位置、尺寸和主題中，還可能被彈窗遮擋。視窗移動、頁面載入變慢或點選未生效都可能導致後續步驟偏離。
此次更新覆蓋了Cowork和Claude Code場景，並採用三級降級執行架構：首先，如果任務涉及Gmail、谷歌和微軟辦公套件，Claude優先通過底層API聯結器互動，數秒內完成；其次，若無直連API，Claude會接管內建瀏覽器進行網頁自動化操作；最後，若以上兩者均不滿足，Claude才觸發螢幕互動能力。在macOS 15環境下，螢幕互動體驗得到顯著提升。
過去兩年，AI智慧體一直在學習使用工具，從調用搜索和程式碼直譯器，到接入瀏覽器、郵箱與辦公軟體，如今開始直接進入作業系統。Claude此次升級表面上解決了“不搶滑鼠”的問題，背後爭奪的卻是桌面作業系統中的第二個工作席位。當AI能夠在後台看螢幕、開軟體、跑流程，人類與電腦的關係正在改變——前台是人，後台是智慧體，使用者負責判斷、溝通和決策，AI則持續處理漫長、重複、跨應用的工作。