dsh-llm-as-a-verifier
Fine-grained LLM verification for DSH agents: pairwise rewards over score-token logprobs, Probabilistic Pivot Tournament best-of-N selection, and per-step progress tracking.
面向 DSH 智能体的细粒度 LLM 验证：基于评分 token logprob 期望的成对打分、概率枢纽锦标赛 N 选一与逐步进度追踪。
How to install
dsh plugin add dsh-llm-as-a-verifier About
dsh-llm-as-a-verifier English | 中文 把 LLM-as-a-Verifier（arXiv 上的统一验证框架）魔改进 DeepSeek Harness（dsh）：让智能体在干活时能对自己的候选答案做**细粒度概率化验证**——不再是「好/坏」一锤子判断，而是读取验证模型在 20 级评分字母上的完整 logprob 分布并取期望。 你会得到 三个模型可直接调用的工具（安装后自动注册，无需重启即可用）： | 工具 | 能力 | 复杂度 | |---|---|---| | verify_compare | 对两个候选（代码/方案/轨迹）按评价标准打分，返回 [0,1] 的细粒度奖励 (scoreA, scoreB) | 1 次验证调用 / 标准 / 次 | | verify_select | N 选一：Probabilistic Pivot Tournament（概率枢纽锦标赛），O(Nk) 次比较替代 O(N²) 全循环 | 线性于 N | | verify_track | 逐步进度追踪：验证器以 A(0%)..T(100%) 为每个 checkpoint 打分，画出进度曲线 | O(K) 次调用 | **为什么比「LLM-as-a-Judge」更细？** 上游框架的核心思想是：① 用细粒度评分（20 级字母尺度）；② 对评分 token 的**完整 lo…
Recommendation signals
Meta
- License
- NOASSERTION
- Language
- TypeScript
- GitHub stars
- 3
- mo. downloads
- 338
- Last push
- 2026-08-24
- Created
- 2026-08-20
Basic safety check
- Findings
- None
- Sources
- curated:awesome-dsh-plugin.com, curated:awesome-dsh-plugin/awesome-dsh-plugin
- Topics
- dsh-plugin
Related plugins
mobile-mcp
mobile-next/mobile-mcp
Model Context Protocol Server for Mobile Automation and Scraping (iOS, Android, Emulators, Simulators and Real Devices)
brave-search-mcp-server
brave/brave-search-mcp-server
Brave Search MCP Server: web results, images, videos, rich results, AI summaries, and more.
ms-365-mcp-server
softeria/ms-365-mcp-server
A Model Context Protocol (MCP) server for interacting with Microsoft 365 and Office services through the Graph API