端侧大模型也有新进展,新技术“推理阶段释放约6倍显存红利”


全链路在华为昇腾上原生完成。今日重要性:✨

据澎湃新闻5月25日报道,面壁智能联合清华大学正式开源中国首个基于昇腾训练的低比特端侧大模型BitCPM-CANN,全链路在华为昇腾上原生完成,推理阶段释放约6倍显存红利,模型能力保留率维持在90%至97.2%。

点评:中银国际认为,此前谷歌4月初正式推出的Gemma 4和特斯拉AI5芯片的流片分别从软件和硬件两个层面为端侧AI产业提供了新的增量逻辑,尤其是AI5流片的成功是端侧算力的重要进展,表明端侧算力正在成为海外科技巨头们的必争之地,AI端侧正在从单点突破走向生态竞争。

其指出,尽管目前端侧AI仍处于商业化早期阶段,但头部企业在模型轻量化与端侧算力上的持续投入,正在逐步降低终端部署的门槛,并为芯片、模组、终端及应用等环节提供更明确的技术路径与合作基础,AI端侧产业链有望持续受益。

国盛证券表示,端侧算力的真正驱动力已从隐私性、低成本缩圈至"低时延"这一核心命题,主要体现在机器人、智能车等类人终端对本地实时感知与响应的需求。模型层面,从YOLO到ViT,再到VLA、世界模型,端侧模型范式持续升级,使扩张的算力真正转化为能力提升而非"空中楼阁"。

同时其认为,GPGPU架构渗透率持续提升,认为其在大模型开发环境与适配能力上的优势相较NPU进一步放大;同时指出物联网模组处于连接上游芯片与下游分散客户的关键位置,无论哪种芯片路线最终胜出,模组厂商均可获得价值量提升。

公司方面,据上市公司互动平台、公告及券商研报表示,

移远通信:群益证券表示,公司通过“模组+大模型+算法+平台”全方位布局端侧AI领域,5G模组与英伟达Jetson AGXOrin完成联调,实现5G通信+ AI边缘计算能力。

广和通:公司为全球物联网模组龙头之一。长城证券指出,公司积极布局端侧AI领域,专注于AI硬件解决方案的商业化,同时具身智能开发平台Fibot已成功在端侧部署了客户的新一代机器人大模型。

*免责声明:文章内容仅供参考,不构成投资建议

*风险提示:股市有风险,入市需谨慎

本资讯中的内容来自持牌证券机构,意见仅供参考,并不构成对所述证券买卖做出保证。投资者不应将本资讯作为投资决策的唯一参考因素。亦不应以本资讯取代自己的判断。

本文内容和观点不代表选股通APP平台观点,请独立判断和决策。在任何情况下,选股通APP不对任何人因使用本平台中的内容所引致的任何损失负任何责任。

    联系微信二维码 联系微信
    回到顶部