过去二十年,软件入口几乎被同一种假设统治:用户会学会界面。菜单、导航、表单、权限树、工作台——产品经理用信息架构把能力摆出来,用户用点击路径把意图翻译成操作。大模型把这件事反过来了:用户可以直接表达意图,系统(或 Agent)再去找能力、拼路径、执行动作。入口不再只等于「打开某个 Web 页面」,而越来越多地变成:自然语言 + 可执行工具面——命令行里的 Agent、业务系统里的助手,以及能对界面发出点击/输入/滚动的 UI Action(业界也称 Computer Use / GUI Agent)。

一、旧范式为什么越来越贵:界面入口的认知税
1. 用户真正想要的,往往不是「某个页面」
在 ERP、OA、CRM、研发平台里,高频抱怨几乎一样:
- 找不到:功能藏在三级菜单,培训手册比产品还厚
- 走不完:跨模块流程要开五六个页面,上下文在脑子里拼
- 不敢点:权限与后果不清,怕点错造成脏数据
- 学不会:界面为「全量能力」设计,不为「这一次任务」设计
这不是 UI 设计师不努力,而是 GUI 默认用空间换能力:能力越多,导航越深,新用户与偶发用户付出的搜索成本越高。

2. 大模型改变的不是「多一个聊天框」,而是交互单位
传统交互单位是 控件(按钮、表单项)。
Agent 时代的交互单位是 意图(Goal)与 动作轨迹(Action Trajectory)。
| 维度 | 传统 Web/系统界面 | 大模型入口(CLI / 助手 / UI Action) |
| --- | --- | --- |
| 用户输入 | 点击、填写、筛选 | 自然语言、少量确认 |
| 系统理解 | 精确但窄(字段与路由) | 宽但需校验(意图与约束) |
| 能力发现 | 靠菜单与搜索框 | 靠语义检索 + 工具注册表 |
| 执行方式 | 用户亲手走完流程 | Agent 规划并调用工具/操作 UI |
| 失败形态 | 点错、填错 | 幻觉、越权、误点、循环 |
关键洞察:界面不会消失,但「界面作为唯一入口」正在结束。 界面更像 Agent 的工作台与人类的监督台,而不再是唯一的操作入口。
二、正在成型的三类新入口
1. 命令行 / 终端:专业用户的「意图编译器」
开发与运维场景里,CLI Agent 回潮并非怀旧,而是效率:终端天然接近文件系统、脚本、Git、CI,权限边界也更清晰。Claude Code、Cursor CLI 等产品把「读仓—改文件—跑命令—提 PR」收成自然语言工作流;无头(headless)模式还能嵌进流水线。对资深用户,一句话比十次 GUI 导航更短。

适合:高复用、可脚本化、要审计轨迹的任务。
边界:视觉验收(布局、图表观感)仍需要 GUI 或截图反馈闭环。
2. Web/系统内嵌助手:在旧界面上叠加「语义导航」
多数企业不会推倒重来。更现实的路径是:保留现有 Web,加助手层——侧边栏对话、全局命令面板(Cmd/Ctrl+K 升级版)、流程内 Copilot。助手做三件事:
- 找得到:把「我想报销差旅」映射到正确菜单与表单
- 填得对:根据上下文预填、校验规则解释
- 走得快:一次发起多步引导,减少页面跳跃
这时助手未必直接替你点完,但已经显著降低认知税——用户体感从「学系统」变成「说需求」。

3. UI Action / Computer Use:让 Agent「像人一样用界面」
当系统没有完备 API,或要跨越多个异构应用时,Agent 需要像人一样:看见屏幕 → 决定点哪里 → 输入什么 → 再观察结果。业界代表性路径包括:
- Computer Use:模型基于截图理解界面,输出鼠标/键盘动作,由运行时执行(如 Anthropic Computer Use、OpenAI Computer Use / CUA 一脉)
- GUI Agent / UI-TARS 等:用视觉—语言模型做跨桌面、浏览器的原生 GUI 操控
- 产品内 UI Action:不依赖像素盲点,而是把按钮、路由、表单控件注册为可调用工具(结构化、可审计,企业落地通常更稳)

可以把它理解成三层能力光谱:
| 层级 | 机制 | 优点 | 风险 |
| --- | --- | --- | --- |
| API / Tool Calling | 直接调后端能力 | 稳、快、可权限控制 | 要改造系统、覆盖不全 |
| 结构化 UI Action | 控件/路由作为工具 | 与现网 UI 共存,可观测 | 需埋点与动作契约 |
| 像素级 Computer Use | 截图 + 键鼠 | 几乎通吃任意 GUI | 慢、贵、易误点,要强沙箱 |
有远见的产品策略通常是:优先 API,其次结构化 UI Action,像素操控作补位与长尾。
三、全栈视角:入口变化会倒逼系统怎么造
1. 从「页面优先」到「能力可发现」
过去研发交付物是页面与路由;Agent 时代还要交付:
- 工具清单(Tool Catalog):每个能力的名称、参数 schema、副作用等级
- 权限与策略:谁能调、能否自动执行、是否需二次确认
- 可观测性:一次意图对应哪些动作、输入输出、失败原因
没有这些,助手只能聊天,不能办事;UI Action 也只是「会点按钮的不可控脚本」。
2. 交互设计从「信息架构」扩展到「意图架构」
设计问题变成:
- 用户常见意图有哪些?成功率目标多少?
- 哪些步骤可自动,哪些必须人确认(转账、删除、发文、改权限)?
- 失败时如何优雅回退到 GUI,而不是卡在对话里?
好的体感不是「全自动黑盒」,而是 可中断、可解释、可接管。
3. 安全与治理成为入口的一部分
自然语言入口扩大了攻击面:提示注入、越权调用、误操作放大。企业落地至少要:
- 动作分级(只读 / 写入 / 资金与权限类)
- 高风险步骤强制确认与审计日志
- 像素级操控跑在隔离环境(容器/虚拟桌面)
- 对公网模型脱敏;涉密系统走内网模型或禁止 Computer Use
四、用户体感会怎么变:更快找到,更少迷路
从真实使用闭环看,提升体感的关键指标不是「聊得多智能」,而是:
- 任务完成时间:从打开系统到办完事的时长
- 导航步数:点击与跳转次数下降
- 首次成功率:一句话能否落到正确功能
- 纠错成本:错了能否一键撤回或回到清晰 GUI
当助手能说「我帮你打开差旅报销并预填了日期,请确认金额」时,用户感到的是 被系统理解;当 Agent 用 UI Action 跨三个旧系统把报表拉齐时,用户感到的是 双手被解放——前提是过程可见、结果可验。
五、未来三到五年:入口会分层,而不是互相消灭

可预期的稳态大致是:
- 意图层:对话、语音、CLI、IM 机器人——用户只表达「要什么」
- Agent 层:规划、工具选择、UI Action / API 执行、反思重试
- 系统层:原有 Web/App/桌面仍在,既给人监督,也给 Agent 操作面
GUI 会更「薄」:少堆菜单,多暴露清晰状态与确认点。
CLI 会更「厚」:不是回到 DOS 美学,而是专业域的自然语言壳。
助手会更「敢动手」:从答疑升级为带权限的执行者。
对建设者的建议很具体:
- 短周期:在现有 Web 加语义搜索 + 流程助手,先吃掉「找不到」
- 中周期:沉淀 Tool Catalog 与结构化 UI Action,让助手真能办事
- 长周期:对长尾与遗留系统补 Computer Use,但关进沙箱与审计
六、小结
- 旧入口教用户适应系统;新入口让系统理解用户意图。
- CLI Agent、内嵌助手、UI Action/Computer Use 是同一趋势的三种表面。
- 界面不会消失,但不再是唯一入口;它变成 Agent 的舞台与人类的仪表盘。
- 真正提效来自「意图 → 可执行动作」的闭环,而不是多一个聊天皮肤。
- 有远见的系统会同时投资能力可发现、动作契约与治理——否则智能入口只会更快地帮用户点错。
延伸阅读(公开资料):Anthropic Computer use、OpenAI Computer use、字节跳动 UI-TARS / Agent TARS、Claude Code 与 Cursor CLI 等终端 Agent 产品文档。具体能力以各厂商当前文档为准。