dsh-llm-as-a-verifier

怎么安装

简介

dsh-llm-as-a-verifier English | 中文 把 LLM-as-a-Verifier（arXiv 上的统一验证框架）魔改进 DeepSeek Harness（dsh）：让智能体在干活时能对自己的候选答案做**细粒度概率化验证**——不再是「好/坏」一锤子判断，而是读取验证模型在 20 级评分字母上的完整 logprob 分布并取期望。 你会得到 三个模型可直接调用的工具（安装后自动注册，无需重启即可用）： | 工具 | 能力 | 复杂度 | |---|---|---| | verify_compare | 对两个候选（代码/方案/轨迹）按评价标准打分，返回 [0,1] 的细粒度奖励 (scoreA, scoreB) | 1 次验证调用 / 标准 / 次 | | verify_select | N 选一：Probabilistic Pivot Tournament（概率枢纽锦标赛），O(Nk) 次比较替代 O(N²) 全循环 | 线性于 N | | verify_track | 逐步进度追踪：验证器以 A(0%)..T(100%) 为每个 checkpoint 打分，画出进度曲线 | O(K) 次调用 | **为什么比「LLM-as-a-Judge」更细？** 上游框架的核心思想是：① 用细粒度评分（20 级字母尺度）；② 对评分 token 的**完整 lo…

推荐参考

信息

协议

NOASSERTION

语言

TypeScript

GitHub 星标

3

月下载

338

最近更新

2026-08-24

创建于

2026-08-20

链接

基础安全检查

检查结果

无

收录来源

curated:awesome-dsh-plugin.com, curated:awesome-dsh-plugin/awesome-dsh-plugin

主题标签

dsh-plugin