央广网北京5月28日消息(记者 朱冠安)近日,面壁智能正式发布并开源了新一代端侧文本基座大模型MiniCPM5-1B。该模型延续面壁智能提出的“密度定律”——大模型智能密度约每3.5个月翻一番。其Base版本由面壁自研AI训练框架ForgeTrain预训练完成,这是全球首个完全由AI编写的生产级训练框架。

记者从北京智源人工智能研究院了解到,众智FlagOS社区基于统一多芯片软件栈,通过vLLM-plugin-FL推理插件完成MiniCPM5-1B的跨芯片适配与推理部署Day-0发布。此次适配覆盖英伟达、华为昇腾、平头哥、摩尔线程、海光、昆仑芯、沐曦、天数智芯等8类数据中心AI加速芯片,并针对MiniCPM5面向端侧部署的特点,首次将Day-0适配延伸至ARM端侧平台。FlagOS支持MiniCPM5-1B在ARM上以int8、bf16、fp32三种精度运行,实现从数据中心多款AI芯片到端侧ARM的“一套代码、跨架构运行”。在性能方面,多款AI芯片的首token延迟(TTFT)低于NVIDIAH20原生基线,进一步验证FlagOS统一软件栈在跨芯片适配和推理优化上的能力。

北京智源人工智能研究院相关负责人介绍,为解决不同AI芯片大规模落地应用,北京智源研究院联合众多科研机构、芯片企业、系统厂商、算法和软件相关单位等国内外机构共同发起并创立众智FlagOS社区。成员单位包括北京智源研究院、中科院计算所、中科加禾、安谋科技、北京大学、北京师范大学、百度飞桨、硅基流动、寒武纪、海光信息、华为、基流科技、摩尔线程、沐曦股份、澎峰科技、清微智能、天数智芯、先进编译实验室、移动研究院、中国矿业大学(北京)等多家在FlagOS软件栈研发中做出卓越贡献的单位。

FlagOS是一款专为异构AI芯片打造的开源、统一系统软件栈,支持AI模型一次开发即可无缝移植至各类硬件平台,大幅降低迁移与适配成本。它包括大型算子库、统一AI编译器、并行训推框架、统一通信库等核心开源项目,致力于构建“模型—系统—芯片”三层贯通的开放技术生态,通过“一次开发跨芯迁移”释放硬件计算潜力,打破不同芯片软件栈之间生态隔离。

编辑:王进文
更多精彩资讯请在应用市场下载“央广网”客户端。欢迎提供新闻线索,24小时报料热线400-800-0088;消费者也可通过央广网“啄木鸟消费者投诉平台”线上投诉。版权声明:本文章版权归属央广网所有,未经授权不得转载。转载请联系:cnrbanquan@cnr.cn,不尊重原创的行为我们将追究责任。
长按二维码
关注精彩内容