DeepSeek发布Prover-V2模型,参数量达6710亿

BlockBeats 消息,4 月 30 日,DeepSeek 今日于 AI 开源社区 Hugging Face 上发布了一个名为 DeepSeek-Prover-V2-671B 的新模型。据悉,DeepSeek-Prover-V2-671B 使用了更高效的 safetensors 文件格式,并支持多种计算精度,方便模型更快、更省资源地训练和部署,参数达 6710 亿,或为去年发布的 Prover-V1.5 数学模型升级版本。在模型架构上,该模型使用了 DeepSeek-V3 架构,采用 MoE(混合专家)模式,具有 61 层 Transformer 层,7168 维隐藏层。同时支持超长上下文,最大位置嵌入达 16.38 万,使其能处理复杂的数学证明,并且采用了 FP8 量化,可通过量化技术减小模型大小,提高推理效率。(金十)

声明:本文所述观点不代表沐林数字货币安全教育网立场,文章内容仅供学习、阅读和参考。对购买、持有或出售任何数字资产不提供观点。投资存在风险,请自行评估。转载需注明来源,违者必究!

相关推荐

ZachXBT:3.3亿美元BTC被盗事件为针对美国一老年人的社会工程盗窃

BlockBeats 消息,4 月 30 日,据链上侦探 ZachXBT 披露,此前导致门罗币(XM…

交易员完全定价美联储将在2025年底前四次降息25个基点

BlockBeats 消息,4 月 30 日,交易员完全定价美联储将在 2025 年底前四次降息 2…

美股股指持续走低,纳指跌2.69%

BlockBeats 消息,4 月 30 日,美股股指持续走低,标普 500 指数跌 2%,纳指跌 …