dsh-llm-as-a-verifier
面向 DSH 智能体的细粒度 LLM 验证：基于评分 token logprob 期望的成对打分、概率枢纽锦标赛 N 选一与逐步进度追踪。
Fine-grained LLM verification for DSH agents: pairwise rewards over score-token logprobs, Probabilistic Pivot Tournament best-of-N selection, and per-step progress tracking.
怎么安装
dsh plugin add dsh-llm-as-a-verifier 简介
dsh-llm-as-a-verifier English | 中文 把 LLM-as-a-Verifier（arXiv 上的统一验证框架）魔改进 DeepSeek Harness（dsh）：让智能体在干活时能对自己的候选答案做**细粒度概率化验证**——不再是「好/坏」一锤子判断，而是读取验证模型在 20 级评分字母上的完整 logprob 分布并取期望。 你会得到 三个模型可直接调用的工具（安装后自动注册，无需重启即可用）： | 工具 | 能力 | 复杂度 | |---|---|---| | verify_compare | 对两个候选（代码/方案/轨迹）按评价标准打分，返回 [0,1] 的细粒度奖励 (scoreA, scoreB) | 1 次验证调用 / 标准 / 次 | | verify_select | N 选一：Probabilistic Pivot Tournament（概率枢纽锦标赛），O(Nk) 次比较替代 O(N²) 全循环 | 线性于 N | | verify_track | 逐步进度追踪：验证器以 A(0%)..T(100%) 为每个 checkpoint 打分，画出进度曲线 | O(K) 次调用 | **为什么比「LLM-as-a-Judge」更细？** 上游框架的核心思想是：① 用细粒度评分（20 级字母尺度）；② 对评分 token 的**完整 lo…
推荐参考
信息
- 协议
- NOASSERTION
- 语言
- TypeScript
- GitHub 星标
- 5
- 月下载
- 573
- 最近更新
- 2026-08-24
- 创建于
- 2026-08-20
基础安全检查
- 检查结果
- 无
- 收录来源
- curated:awesome-dsh-plugin.com, curated:awesome-dsh-plugin/awesome-dsh-plugin
- 主题标签
- dsh-plugin