vLLM 官方博客介绍,其投机解码的自适应验证现已支持所有基于草稿模型的投机类型。对于 EAGLE、MTP、DFlash 等没有置信头的草稿模型,系统用在线拟合的 logistic 回归,从草稿分布的最大概率 token 的 log-odds 预测目标模型接受概率,并持续用实际接受/拒绝标签更新系数,无需重新训练草稿模
vLLM 为无置信头草稿模型推出在线拟合接受估计器