DeepSeek联合北大发布DSpark框架:大模型推理速度提升60%–85%

6月27日,DeepSeek团队联合北京大学发布名为《DSpark》的研究论文(基于speculative decoding方向),提出一种用于加速大模型推理的新方法。论文指出,现有并行“草稿生成”方式虽然能一次生成更长token,但由于token间关联不足,容易导致被拒绝比例上升,并浪费验证算力。为此,DSpark引入半自回归结构,在并行生成骨干上加入轻量级顺序模块,以增强token之间的依赖关系,提高草稿质量。同时,DSpark提出“基于置信度的动态验证机制”,根据不同请求的成功概率与系统负载,自适应调整验证长度,从而减少无效计算开销。在离线测试中,该方法显著提升了可接受生成长度;在DeepSeek-V4线上系统中,相比基线模型,推理速度提升约60%–85%,并有效降低高并发下的吞吐损耗。论文同时开源模型检查点与训练框架DeepSpec,以推动社区进一步研究。责任编辑:刘德宾…

DeepSeek联合北大发布DSpark框架:大模型推理速度提升60%–85%

6月27日,DeepSeek团队联合北京大学发布名为《DSpark》的研究论文(基于speculative decoding方向),提出一种用于加速大模型推理的新方法。论文指出,现有并行“草稿生成”方式虽然能一次生成更长token,但由于token间关联不足,容易导致被拒绝比例上升,并浪费验证算力。为此,DSpark引入半自回归结构,在并行生成骨干上加入轻量级顺序模块,以增强token之间的依赖关系,提高草稿质量。同时,DSpark提出“基于置信度的动态验证机制”,根据不同请求的成功概率与系统负载,自适应调整验证长度,从而减少无效计算开销。在离线测试中,该方法显著提升了可接受生成长度;在DeepSeek-V4线上系统中,相比基线模型,推理速度提升约60%–85%,并有效降低高并发下的吞吐损耗。论文同时开源模型检查点与训练框架DeepSpec,以推动社区进一步研究。责任编辑:刘德宾…

研究被导师抄袭,博士后坚持撤稿:我不像学生那样害怕学术强权

编译|刘如楠如果自己的研究成果被导师抄袭发表,你会怎么做?作为学生,很多人可能会有所顾虑不敢发声。但一位来自加拿大的博士后却绝不忍气吞声,她在与导师沟通无果后,决定公开此事。在她的要求下,这篇论文被期刊强制撤稿。不出所料,导师并不同意撤稿,声称自己是该研究项目的“首席研究员”,但除了拿头衔压人,他对撤稿的事实已无能为力。校方随后也展开了调查,认为该论文确实存在抄袭、未注明作者身份的情况。博士后是研究主要完成者,作者却只有导师一个人这位博士后名叫艾米•勒梅(Amy Lemay)。2020年8月至2023年1月间,勒梅在加拿大布鲁克大学做博士后,其导师是该校教授查尔斯•康特(Charles Conteh)。Charles Conteh。图源自学校官网博士后期间,勒梅曾参与了一项关于加拿大安大略省的农业调查项目,作为主要完成人撰写了调查报告——《不断增长的农业创新:安大略省农业部门采用自动化和机器人技术…