随着国产GPU(图形处理器)芯片的兴起,如何将进口和国产GPU有效结合在一起,打造异构芯片算力集群,成为发展人工智能的一个重要问题。2024世界人工智能大会上,上海企业无问芯穹发布了业内首个千卡规模异构芯片混训平台,其算力利用率最高达到97.6%。这家源于清华大学电子工程系的企业与清华大学、上海交通大学科研团队合作,实现了华为昇腾、天数智芯、沐曦、摩尔线程、AMD、英伟达等6种品牌芯片的交叉混合训练,为大模型训练提供了算力解决方案。
据介绍,Infini-AI云平台集成了大模型异构千卡混训能力,是业内首个可进行单任务千卡规模异构芯片混合训练的平台,并具备万卡扩展性,支持采用华为昇腾、AMD、英伟达等6种异构芯片的大模型混合训练。
与国际上模型层与芯片层“相对集中”的格局相比,国内模型层与芯片层更加“百花齐放”。这是市场竞争充分的一种表现,但大量的异构芯片也造成了“生态隔离”,给算力的使用方带来一系列技术挑战。据不完全统计,宣布拥有千卡规模的国内算力集群不少于100个,但存在难以有效整合与利用的问题,这是当前大模型行业面临“算力荒”的一个重要原因。
针对这个问题,无问芯穹提出解决方案:开发高效整合异构算力资源的算力平台,以及支持软硬件联合优化与加速的中间件,让异构芯片真正转化为大算力。
本文采编:CY