dsh-video-understand
低成本视频理解工具：video_understand 把 B站链接/BV号/本地视频转成 AVIS 信息层（ASR+场景结构+对象轨迹+YOLO 标签）并输出摘要+问答。问题驱动动态路由分层（L0 ASR / L1 对象轨迹 / L2 关键帧 VLM）、语义层复用（重复提问直接查层）、单次问题预算上限。引擎自包含，无外部依赖。
Low-cost video understanding tool: a video_understand tool turns a Bilibili link / BV / local video into an AVIS info layer (ASR + scene structure + object tracks + YOLO labels) and returns summary + Q&A. Question-driven dynamic routing across layers (L0 ASR / L1 object tracks / L2 key-frame VLM), semantic-layer reuse for repeat questions, per-question budget cap. Self-contained engine, no external dependencies.
怎么安装
dsh plugin add dsh-video-understand 简介
dsh-video-understand 低成本视频理解插件：给 dsh agent 注册 video_understand 工具——B站链接 / BV 号 / 本地视频 → AVIS 信息层（ASR 转写 + 场景结构 + 运动对象轨迹 + YOLO 语义）→ 摘要+问答。采用 Python 引擎：核心层需 faster-whisper / opencv / yt-dlp（约 200-300MB），可选语义层另需约 2GB 的 torch / transformers / ultralytics，内置 doctor --fix 一键建 venv 并装齐两者。 安装 bash npm 安装 npm install dsh-video-understand 或 dsh plugin add dsh-video-understand **装完即用**：首次调用 video_understand 时自动创建插件本地隔离环境（.venv）并安装核心依赖（优先 uv，回退 venv+pip 清华镜像）——无需手动执行任何命令，不污染系统 Python。 **引擎已内含**，无需额外克隆外部仓库。 环境自检 bash npx dsh-video-understand doctor # 逐项检测 + 给出修复命令 npx dsh-video-understand doctor --fix # 一…
推荐参考
信息
- 协议
- MIT
- 语言
- Python
- GitHub 星标
- 0
- 月下载
- –
- 最近更新
- 2026-08-24
- 创建于
- 2026-08-16
基础安全检查
- 检查结果
- 无
- 收录来源
- curated:awesome-dsh-plugin.com, curated:awesome-dsh-plugin/awesome-dsh-plugin
- 主题标签
- avis, bilibili, deepseek-harness, dsh, dsh-plugin, low-cost, plugin, video-understand, video-understanding
同类推荐
brave-search-mcp-server
brave/brave-search-mcp-server
Brave Search MCP服务器：网页结果、图片、视频、富结果、AI摘要等。
ms-365-mcp-server
softeria/ms-365-mcp-server
一个模型上下文协议（MCP）服务器，通过Graph API与Microsoft 365和Office服务交互。