Anthropic今日宣布全面升级其AI助手Claude的「计算机使用」能力，新功能现处于Beta测试阶段，已面向Claude Pro和Max订阅用户开放，macOS版率先体验。此次升级的核心变化在于，Claude现在可以在后台窗口执行任务，无需占用用户的鼠标和键盘，从而让用户与AI在同一台电脑上并行工作。
此前，Claude的「计算机使用」功能已于今年3月随Dispatch一起上线，其工作原理是一个循环：截图→模型看图→输出坐标→系统去点。然而，这种模式存在明显局限——当AI操作电脑时，用户的鼠标和键盘会被“接管”，导致用户只能旁观AI执行任务，无法同时进行其他工作。
此次升级后，在macOS 15及以上系统中，Claude默认通过后台窗口工作，不占用用户正在使用的鼠标和键盘。用户可以继续写文档、回消息，而Claude则在另一边打开应用、整理文件、测试程序。如果检测到用户正在输入，Claude还会主动等待。只有当任务必须接管整个屏幕时，Claude才会在每次会话中首次发起前台操作前征求用户许可。
从Anthropic公开的文档来看，Claude的桌面操作建立在经典的「感知—决策—执行—反馈」循环之上。每执行一步，系统会截取当前窗口画面，将截图交给视觉模型理解，识别按钮、输入框、菜单和页面状态，随后生成点击坐标、键盘输入或滚动等动作。执行后，系统再次截屏，Claude判断操作是否成功并规划下一步，如此循环直到任务完成或遇到需要用户确认的问题。
这种GUI智能体的实现难度远高于普通工具调用，因为API返回的是结构化数据，而屏幕只提供像素，同一个按钮可能出现在不同位置、尺寸和主题中，还可能被弹窗遮挡。窗口移动、页面加载变慢或点击未生效都可能导致后续步骤偏离。
此次更新覆盖了Cowork和Claude Code场景，并采用三级降级执行架构：首先，如果任务涉及Gmail、谷歌和微软办公套件，Claude优先通过底层API连接器交互，数秒内完成；其次，若无直连API，Claude会接管内置浏览器进行网页自动化操作；最后，若以上两者均不满足，Claude才触发屏幕交互能力。在macOS 15环境下，屏幕交互体验得到显著提升。
过去两年，AI智能体一直在学习使用工具，从调用搜索和代码解释器，到接入浏览器、邮箱与办公软件，如今开始直接进入操作系统。Claude此次升级表面上解决了“不抢鼠标”的问题，背后争夺的却是桌面操作系统中的第二个工作席位。当AI能够在后台看屏幕、开软件、跑流程，人类与电脑的关系正在改变——前台是人，后台是智能体，用户负责判断、沟通和决策，AI则持续处理漫长、重复、跨应用的工作。