给每个智能体一个清晰起点。Croli 用户手册:每一屏是什么,以及怎么用。
查看产品预览 ↗
用户手册

电脑操作

「设置 → 电脑操作」让智能体看见并操作你共享给它的桌面窗口——不是整台电脑,是你一个个点过去的那几个窗口。

副标题:「让智能体查看并操作你共享给它的桌面窗口。」

这一屏只决定边界;真正的共享动作在状态栏的「电脑操作」气泡里完成(「共享窗口…」)。换句话说:这里把门修好,共享在那里开。

启用电脑操作

总开关,默认关闭。

打开之后智能体获得的能力是分层的:

  1. 列出应用和窗口——总开关一开就有。
  2. 读取窗口画面与内容——只对你共享过的窗口。
  3. 点击和输入——只对你共享时选了「可操作」的窗口。

也就是说,在你从状态栏共享之前,任何窗口都读不到。总开关关掉之后,这一屏下方的权限与共享设置也随之收起或变灰。

驱动

电脑操作通过开源的 cua-driver 读取和操作窗口。Croli 只运行经过核对的那个固定版本,首次需要时自动下载。

状态行会显示:已安装 + 版本号 / 未安装 / 「已安装 x,当前 Croli 使用 y」(版本不一致)/ 「cua-driver 没有适用于此平台的版本。」。按钮按状态变成安装 / 升级到 x / 卸载,下载时显示「正在下载… {已完成} / {总计} MB」的进度。

这一节只在电脑操作真正落地的那台机器上出现——桌面应用自己,或一个共享它自己屏幕的服务器。

系统权限(仅 macOS)

macOS 要求授权,而且授权对象是 Croli Computer Use 这个 helper,不是 Croli 本体。这是故意的隔离:权限给了 helper,就只有 Croli 能用它,智能体自己的命令行用不了。

两项权限:

权限 用途
辅助功能 读取窗口内容并操作窗口
屏幕录制 截图和读取窗口标题

授权状态自动刷新,不需要重启应用。列表里找不到 Croli Computer Use 时,可以从访达把它拖进去(面板上有「在访达中显示」按钮)。

如果 Croli 本体也持有辅助功能或屏幕录制权限,面板会提示一句:此时智能体的命令行可以绕过共享机制直接用这些权限——非必要的话,请在系统设置里把 Croli 本体的这两项关掉。

Windows 和 Linux 没有这层 helper 隔离。那里的设置决定的是「智能体通过 Croli 能拿到什么」,而不是「电脑上的程序能做什么」。

共享、输入与停止

一张卡片,涵盖共享有效期、黑名单、停止手段和前台切换。改完要点保存,这一节不自动保存。

窗口闲置多久后停止共享

下拉五档:10 分钟、30 分钟(默认)、60 分钟、240 分钟、永不(直到我停止)。

计时按「有没有被智能体读取」算,不是按你有没有在用那个窗口。

永不共享的应用

名单里的应用,窗口在共享选择器里直接不可选。出厂默认项按平台过滤后是 macOS 11 项 / Windows 9 项 / Linux 5 项,除了常被提到的那几项:

  • 系统设置
  • 系统密码与授权弹窗
  • 钥匙串访问
  • 密码

名单里还出厂带一批密码管理器:1Password、Bitwarden、KeePass / KeePassXC、LastPass、Enpass、Proton Pass、Dashlane,Linux 上另有 seahorse 和 KWallet。界面上会把当前平台适用的全部列出来。

不需要的默认项可以移除,也可以自己加——支持 bundle 标识(com.example.app)、可执行文件名(app.exe)或完整路径。「恢复默认」会把你加的清掉、把你移除的加回来,弹窗里会明确告诉你两边各有几条,并提示「保存后生效」。

Croli 自己的窗口永远不能共享,而且不是靠这张名单实现的:能操作 Croli 的智能体可以替自己批准权限请求,或者给自己共享更多窗口。其它 Croli 实例的窗口同理。

停止快捷键(仅桌面端)

在任何应用里按下即可停止共享所有窗口,等于点「停止共享」。

默认是 macOS ⌃⌘Esc、其它平台 Ctrl+Alt+Esc。录制规则比普通快捷键严:

  • 至少两个修饰键,其中一个必须是 Ctrl(macOS 上也可以是 ⌘)。
  • 主键限字母、数字、F1–F12、Esc 或标点。
  • macOS 之外不能包含 Super / Windows 键(⌘ 只在 macOS 上算合法修饰键)。

状态行有四种:已生效 / 「开启电脑操作后生效」/ 已关闭(只能用按钮停)/ 「未生效:这组按键可能已被其他应用占用,请换一组」。按钮有「默认」和「关闭」。

电脑操作开启期间这组键归 Croli 抢占,所以选一组别处不用的组合。

悬浮停止条(仅桌面端)

默认开启。 共享期间在所有窗口上方悬浮一条提示条,写明智能体此刻能做什么,并带「停止共享」按钮。关掉之后仍可从状态栏的气泡或停止快捷键停止。

允许智能体把窗口切到前台

默认开启。

有些应用在后台收不到按键和打字——Windows 上所有基于 Chromium 的应用都是如此(Edge、Chrome、VS Code)。开启后智能体可以把一个「可操作」的窗口切到前台完成一次操作,再切回你原来的窗口(Linux 上窗口会留在前台)。

代价是明确的:那一瞬间你敲的字可能进到那个窗口,点击也可能挪动你的鼠标指针。

默认操作方式

后台(默认) / 前台。智能体没有明确指定时,点击、滚动、打字、按键怎么送达:

  • 后台 — 窗口留在原处,鼠标键盘仍归你用。
  • 前台 — 每次操作都把窗口切到前台。

上面那个开关关掉时,这一项会被锁成「后台」并变灰,说明文字换成「不允许把窗口切到前台时,始终为后台。」。

允许智能体打开应用和移动窗口

默认关闭。 开启后智能体可以在后台启动已安装的应用(Croli 和永不共享名单里的除外),也可以移动或缩放它有操作权的窗口。启动一个应用不等于共享它的窗口——共享仍然要你来点。

允许智能体使用剪贴板

默认关闭。 开启后智能体可以把文本放到剪贴板再粘贴,也能读回它自己从共享窗口里复制的内容。你自己复制的东西永远不会读给它,它也只能粘贴自己放上去的内容。

允许共享整个屏幕(macOS / Windows)

默认关闭。Linux 上这一行不出现——Linux 没有一份完整的全窗口清单可以逐个判定。

开启后,共享选择器里多出「整个屏幕」:智能体能看到整屏画面、在任意位置点击,所有可共享窗口随之共享,连桌面本身的快捷键也算在内。Croli 自己的窗口和永不共享名单里的应用始终被遮盖。关掉此项会立即结束整屏共享。

值得了解

  • 智能体能用这些能力的前提还有一条:扩展工具里的「查看和操作桌面窗口」开关要打开(默认关闭)。两处都开才真正注入工具,而工具是智能体启动时注入的。
  • 共享是全局的,不是按会话:共享一个窗口之后,所有对话里的智能体都能读它。
  • CROLI_COMPUTER_USE 环境变量可以在部署层面控制这套能力的可用性。
  • 服务器部署下,电脑操作作用于运行 croli-server 的那台机器的屏幕,不是你浏览器所在的机器。停止快捷键与悬浮停止条此时不存在(它们是桌面应用独有的),停止按钮在这一屏上。