Google 把“操作电脑”塞进 Gemini 3.5 Flash 了 - 话题详情

AI Agent 正在从“会聊天、会调用 API”，走向“会使用软件”。

Google 这次更新就很典型。

6 月 24 日，Google 发布 Gemini 3.5 Flash 的 computer use 能力。

根据 Google 官方博客，computer use 现在已经成为 Gemini 3.5 Flash 支持的内置工具。它此前是独立的 Gemini 2.5 computer use model，现在被原生集成进主 Gemini Flash 模型。

简单说：

Gemini 3.5 Flash 可以看屏幕截图，理解当前界面，并建议下一步 UI 操作。

比如点击按钮、输入文字、滚动页面、完成表单、检查网页流程。

这件事值得关注，因为很多真实任务没有干净的 API，只存在于网页后台、移动端界面、桌面软件和各种管理系统里。

computer use 的方向，就是让模型直接“看界面，然后决定下一步怎么操作”。

它能做什么？

Google AI for Developers 文档里写到，Computer Use 工具可以用来构建控制浏览器、移动端和桌面环境的 Agent。

核心能力可以这样看：

注意，它不是直接控制你的电脑。

更准确地说：

Gemini 负责看截图、理解目标、给出下一步动作；真正执行动作的是你的客户端环境。

比如浏览器场景里，可以用 Playwright 执行它返回的点击、输入和截图循环：

截图 -> Gemini 判断下一步 -> Playwright 执行 -> 再截图 -> 继续

所以它不是普通 function calling。

function calling 是调用你定义好的函数；computer use 面对的是变化中的界面，要判断按钮、输入框、当前步骤和下一步操作。

也就是说，它更接近“让 Agent 使用软件”。

我觉得第一批适合尝试的，不是生产系统，而是这些低风险任务：

Google 官方博客提到，这项能力可以用于企业自动化任务，例如持续软件测试和跨专业应用的知识工作。

Gemini API 文档也列了类似场景：网站重复数据录入、Web 应用和用户流程测试、跨多个网站做研究。

这里我最看好的是自动化测试。

传统 E2E 测试很稳定，但也很脆。DOM 结构变了、按钮文案变了、流程多一步，脚本就可能挂。

computer use 不会替代传统测试，但可以补一种新方式：

让 Agent 像真实用户一样看页面、理解目标、尝试走完整个流程。

比如注册流程是否顺、某个入口是否能找到、多语言页面是否有明显错位、文档页面是否有可访问性问题。

computer use 很酷，但风险也比普通聊天大。

普通问答错了，最多是输出错。computer use 操作错了，可能会点错按钮、提交错误表单、泄露页面里的敏感信息，甚至在登录态下执行不可逆操作。

Google 官方博客里也专门提到了安全问题。

为了缓解 prompt injection 风险，Google 对 Gemini 3.5 Flash 的 computer use 做了定向对抗训练，并发布了两个可选的企业防护系统：

Gemini API 文档也提醒：Computer Use 目前仍是 Preview 能力，可能包含错误和安全漏洞。官方建议重要任务要密切监督，并避免把它用于关键决策、敏感数据，或者严重错误无法纠正的动作。

我的建议是：

一句话：

先在测试环境里跑，不要一上来就给真实账号和高权限。

这几类人可以重点看：

人群	为什么值得看
做 AI Agent 的开发者	Agent 不再只调用 API，而是开始操作界面
做自动化测试的团队	可以尝试更接近真实用户行为的测试方式
做内部工具自动化的人	适合从低风险后台流程开始验证
做浏览器 Agent 的人	computer use 会推动浏览器沙箱和执行器生态
关注 AI 工具的人	这是 Agent 从聊天框走向真实软件的一步

不太适合的情况：