dsh-desktop-automation
macOS 桌面控制插件:agent 像人一样操作非浏览器应用(剪映/PS/WPS/原生客户端)——14 个工具覆盖鼠标/键盘/滚动/应用/窗口/截图,并整合视觉闭环(desktop_see 识图 + desktop_locate UI 定位坐标,复用 dsh 既有视觉凭据)。服务 GUI 会话按需拉起,非登录自启。
macOS desktop control for DeepSeek Harness: agent operates non-browser apps (CapCut, Photoshop, WPS, native clients) like a human — 14 tools for mouse, keyboard, scrolling, app activation, windows and screenshots, plus a vision closed-loop (desktop_see for image understanding + desktop_locate for UI element coordinates) that reuses dsh existing vision credentials. GUI-session service starts on demand, no login autostart.
怎么安装
dsh plugin add dsh-desktop-automation 简介
dsh-desktop-automation macOS 桌面自动化 dsh 插件:让 dsh 的 agent 能直接控制桌面——鼠标/键盘/滚动/应用/窗口/截图,并整合**视觉闭环**(截图 → 识图 → 定位 → 点击 → 验证)。 **主模型多模态/纯文本均可使用**:截图走系统 screencapture(屏幕录制已授权);识图/定位复用 dsh 视觉凭据(OPENCODE_GO_API_KEY),与 dsh-autovision 共用同一套凭据,无需单独配 key。 它解决什么问题(主要功能) 浏览器自动化(playwright 等)只能操作网页;**非浏览器的桌面软件**——剪辑工具、设计软件、办公套件、系统设置、原生 App——一直够不着。这个插件把「agent 操作 macOS 桌面」补上:agent 像人一样看屏幕、移鼠标、敲键盘。 **核心场景**: **操作非浏览器应用**:剪映/PS/Axure/WPS/企业内部原生客户端——「点这里、填这个、导出那个」直接吩咐 **自动化办公**:批量重命名、表单填写、重复性 GUI 操作、跨应用搬运数据 **GUI 测试/验收**:对桌面软件跑「截图→操作→再截图验证」的闭环,替代人工点检 **远程指挥**:人在别处,让 dsh 在 Mac 上替你完成桌面操作 **视觉定位点击**:不依赖 accessibility …
推荐参考
信息
- 协议
- MIT
- 语言
- JavaScript
- GitHub 星标
- 0
- 月下载
- –
- 最近更新
- 2026-08-20
- 创建于
- 2026-08-19
基础安全检查
- 检查结果
- 无
- 收录来源
- curated:awesome-dsh-plugin.com, curated:awesome-dsh-plugin/awesome-dsh-plugin
- 主题标签
- desktop-automation, dsh-plugin, macos
同类推荐
dsh-ios
ZSeven-W/dsh-ios
在对话里直接操作 iOS 模拟器或 USB 连接的 iPhone:22 个 Agent 工具用于启动、构建、按无障碍标识或 OCR 文本驱动 UI、列表行操作与 SwiftUI 预览热重载,并附带可点击拖拽的流式侧边栏面板。
dsh-full-remote
JUANWANG-BUAA/dsh-full-remote
远程访问 DeepSeek Harness 且服务端 API 完整:转发时改写 Host/Origin,恢复其他方案必定 403 的 settings.* / credentials.* / host.listDirectory。令牌门、按设备会话、可选首访审批。
dsh-web
zhu1090093659/dsh-web-ui/tree/main/packages/dsh-remote-web-ui
手机/PC 远程操控 dsh web 工作区:扫码配对、令牌门控通道、SSE 实时同步,提供移动端与完整桌面 GUI 两种远程形态。
dsh-web
zhu1090093659/dsh-web-ui/tree/main/packages/dsh-ssh
SSH 远程运维面板:Web 终端、SFTP 传输、本地端口转发与一条命令并发集群执行,Agent 与面板共用同一份主机配置。