毫末智行联合火山引擎推出DriveGPT参数规模达到1200亿 具体是什么情况?

【毫末智行联合火山引擎推出DriveGPT，参数规模达到1200亿】具体的是什么情况呢，跟随小编一起来看看！

2023年1月，毫末智行联合火山引擎，推出中国自动驾驶行业最大的智算中心MANA OASIS(雪湖·绿洲)。4月，毫末智行又正式官宣首个应用GPT模型和技术逻辑的自动驾驶算法模型，中文名“雪湖·海若”。4月18日，在火山引擎Force原动力大会上，毫末智行CEO顾维灏亲临现场，分享了与火山引擎的合作成果。

顾维灏表示，DriveGPT，是毫末智行开发的自动驾驶生成式预训练模型，由毫末智行与火山引擎合作打造的智算中心MANA OASIS提供算力支持。大模型对计算能力提出了很高的要求，包括算力资源的弹性调度、底层算子性能、训练稳定性等等。

对此，毫末智行与火山引擎一同在算力端做了大量优化，高性能计算、高性能存储、高性能网络并举。实现67亿亿次/秒浮点运算，以及2T/秒的存储带宽、800G/秒的通信带宽。基于海量真实人驾数据预训练的大模型，在RLHF加持下，Hardcase通过率提升48%。

目前，DriveGPT已拥有 4000万公里量产车驾驶数据，参数规模1200亿。

顾维灏介绍到，自动驾驶1.0时代是硬件驱动的，硬件就是自动驾驶的能力上限，雷达传感器的数量越多、性能就越强，对应的自动驾驶智能化程度就越高。但整车成本居高不下，智能化程度较低，行驶里程较短。

2.0时代则是软件驱动的，以深度学习为基础的AI技术潮，大幅降低了单车成本的同时，自动驾驶里程逐渐增加至上千万公里。

而目前的3.0时代，则是数据驱动的，AI依然是核心技术，不同就在于AI对数据的要求发生了质变，“大模型”成为新的技术基石，以真实道路行驶场景为核心的数据驱动。

当下，生成式大模型已成为自动驾驶系统进化的关键，基于Transformer大模型训练的感知、认知算法，将逐步在车端进行落地部署。基于自动驾驶数据的大规模增长，以及大模型的深入应用，也让智算中心成为自动驾驶行业的“新基建”。

DriveGPT自动驾驶认知大模型，采用RLHF（人类反馈强化技术）算法，通过不断输入真实人驾接管数据，持续优化自动驾驶决策模型，借鉴海量真实驾驶数据，在不同路况、天气和变量下，做出最优解。

DriveGPT得以推出，有赖于能够支持海量数据训练的智算中心。顾维灏表示，MANA OASIS从算力优化等层面升级了三大能力,进一步支持DriveGPT雪湖·海若的算力。

首先，毫末智行与火山引擎全新搭建了“全套大模型训练保障框架”，实现了异常任务分钟级捕获和恢复能力，可以保证千卡任务连续训练数个月没有任何非正常中断，有效保证了大模型训练稳定性。

其次，毫末智行研发出以真实数据回传为核心的增量学习技术，并将其推广到了大模型训练，构建了一个大模型持续学习系统，自主研发任务级弹性伸缩调度器，分钟级调度资源，集群计算资源利用率达到95%；最后，MANA OASIS通过提升数据吞吐量来降本增效，满足Transformer大模型训练效率，通过引入火山引擎提供的Lego算子库实现算子融合，端到端吞吐提升84%。

在会上，火山引擎总裁谭待也介绍了火山引擎在支持大模型训练方面的举措。“国内有数十家做大模型的企业，大多已经在火山引擎云上”，谭待认为，大模型不会一家独大。与其他云厂商力推自家大模型不同的是，火山引擎将接入多家大模型深度合作，为企业和消费者提供更丰富的AI应用。他表示，目前，火山引擎已经支持MiniMax、智谱、昆仑万维等企业在大模型领域快速发展。

同时，本次会上，火山引擎还发布了“智能推荐-高速训练引擎”新品，并分享了机器学习平台重点功能的全面升级。谭待表示，火山引擎全力支持大模型发展，不让任何创新因为算力不足而夭折。（作者：谭晓刚）

以上就是关于【毫末智行联合火山引擎推出DriveGPT，参数规模达到1200亿 具体是什么情况?】相关内容！

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！