月之暗面开源Kimi K3模型权重、技术报告,公开三大题Infra技术
新浪科技讯 7月28日上午消息,暗面昨日晚间,开源开月之暗面发布Kimi K3 模型权重、型权技术报告,重技并开源支撑 Kimi K3 模型训练的术报题 Infra 技术:MoonEP、FlashKDA和AgentEnv。技术

Kimi K3是暗面一个具有 2.8 万亿参数的混合专家(MoE)模型,具有原生视觉理解能力,开源开并协助 100 万 token 的型权上下文窗口,其参数规模是重技 Kimi K2.5 的 3 倍左右,在并不宽裕的术报算力需下,凭借 Kimi Delta Attention、技术Attention Residuals 以及 MoonEP 等一系列技术创新,暗面规模化效率提高了 2.5 倍。开源开
目前,型权每个人都可以下载并部署 Kimi K3 模型——无比如是用于内部研发,还是嵌入到照章性终端用户的产品中,均可自由采取。
据悉,支撑 Kimi K3 训练效率与稳固性的题技术有三项:MoonEP、FlashKDA和AgentEnv。之前,月之暗面已开源FlashKDA ,MoonEP 和 AgentEnv 则随本次发布正式开源。
MoonEP 是为超大的细粒度 MoE 打造的高性能通信库,让专家并行(expert-parallel)的通信在不均衡的状况下仍然实现极致效率。
FlashKDA 是Kimi Delta Attention 高性能算子(kernel)。在英伟达 H20 上,相比 flash-linear-attention 基线,它的 prefill 高效度提高 1.72-2.22 倍,可以直接作为 flash-linear-attention 的替换后端。
AgentENV 是月之暗面与 KVCache.ai 合作开发的沙箱系统,用于大规模运行 Agent 环境。它为 Kimi K3 的后训练给予高保真、强隔离沙箱,灵活协助高效高效快照、恢复和分叉(fork)等,可以处理大规模并行的 Agent 工作流与训练任务。(文猛)
海量资讯、精准解读,尽在新浪财经APP 责任编辑:杨赐
相关文章:
相关推荐:
- 奶爸梭哈Smoggy:清仓了,容我物色个一定涨的选手-无畏契约-虎扑社区
- 阿根廷队抵达世界杯决赛地 此前航班延误
- 美加墨世界杯决赛前瞻:西阿之战藏着四大悬念
- 没完了,针对科怀·伦纳德与Aspiration的第2份潜在赞助展开调查
- 邮报:布莱顿主帅许尔策勒光头造型亮相,球迷猜测他再次植发|罗马|法比安|克洛普_网易订阅
- 那么严重?!小卡或将整赛季禁赛!
- 肢残运动员齐栋:举重已成为我生命中不可或缺的一部分
- 阿根廷队逆转击败英格兰队,连续两届世界杯闯入决赛
- 皇马拿下第四场友谊赛,六名候选小孩,谁是“穆一年”皇马新人王|罗马|吕迪格|马丁内斯|皇家马德里|何塞·穆里尼奥|塞尔希奥·拉莫斯·加西亚_网易订阅
- 卡尔:我们的默契越来越好 夏联的目标就是争冠
- 中信证券:A股市场处于超跌反弹阶段 科技聚焦核心资产 增配能化、有色等板块_新浪财经_新浪网
- 重磅利好落地!两大史诗级主线,下周A股别乱操作|a股|药企|创新药|技术性熊市_网易订阅
- 新疆图瓦人村落中的一场特殊“party”
- 德天空:霍芬海姆边锋丹尼斯-蔡特勒租借加盟帕德博恩|帕德博恩队_网易订阅
- 江苏升级暴雨黄色预警:今天下午到明天,南京、无锡、常州、苏州、南通、镇江等地区将出现强降雨;江苏海域海浪三级黄色警报|无锡市|江苏省|镇江市|南通市|苏州市|中国空调_网易订阅
- 阿里主席官宣离婚才4天,恶心一幕发生,出轨女主持真相太离谱|绯闻|蔡崇信|吴明华|阿里巴巴集团_网易订阅
- 第84分钟扳平,第93分钟绝杀,山东泰山绝境翻盘,成功逆袭|皮球|禁区|阿尔瓦罗|山东泰山足球俱乐部_网易订阅
- 横滨站又“翻车”!国乒男单女单双双失守,亚运会要凉?|周启豪|王楚钦|张本智和|横滨冠军赛_网易订阅
- 马尔蒂尼披露足协选帅辞职内情|安切洛蒂|瓜迪奥拉|十大中场|保罗·马尔蒂尼|安德烈亚·皮尔洛_网易订阅
- 华智数媒上半年营收5397.85万元 净利润同比增160.73%_新浪财经_新浪网
