突破百亿级大模型计算瓶颈 采用Chiplet技术 云天励飞发布新一代边缘AI芯片 (突破百亿大关)

近日，云天励飞在高交会上重磅发布新一代芯片DeepEdge10。据介绍，DeepEdge10是国内首创国产14nm Chiplet大模型推理芯片，采用自主可控的国产工艺，内含国产核，支持大模型推理部署。

大模型时代，AI芯片面临新挑战

人工智能正在带来史无前例的新一轮科技革命浪潮，以ChatGPT为代表的大模型领域在过去的一年多的时间内取得了很大进展，在对话生成、图像生成、图像分割、音乐生成等领域都展现了让人惊叹的效果，并迅速的在一些场景快速应用落地，例如网络搜索、会议摘要、自动化编程、自动化办公软件等等。

在另一方面，大模型的能力也迅速的从自然语言处理快速的向语音、图像、视频等领域横向扩展，多模态大模型的出现昭示着通用人工智能的时代即将来临。

边缘计算的场景呈现出算力碎片化、算法长尾化、产品非标化、规模碎片化等特征，传统的算法开发和芯片都难以适应新一代人工智能边缘计算场景的产品化需求。大模型的出现，为行业提供了算法层面的解决之道。但大模型在边缘计算场景要面向实战发挥作用，则需要AI大模型推理芯片的支持。

根据任务的不同，AI芯片可分为训练芯片和推理芯片。训练，即通过输入大量数据来构建神经网络模型，使之可以适应特定的功能。训练芯片对算力、精度、通用性有较为苛刻的需求，需要能够处理海量数据以及适应各种不同的学习任务；推理，即借助现有神经网络进行运算，通过新输入的数据来获得推理结论。推理芯片对性能和精度的要求相对较低，更注重对成本、功耗、时延等指标的综合考量。

云天励飞DeepEdge10：国产AI大模型推理芯片的新标杆

云天励飞董事长兼CEO陈宁对媒体表示，训练不是目的，生产大模型不是目的，千行百业的落地和应用才是最终目的。不论是机器人、无人驾驶汽车智能传感，还是各类智能硬件，甚至脑机接口芯片，都需要大模型的推理芯片。

与训练芯片相比，目前推理芯片市场还处于百家争鸣的状态。尤其在中国，已经开始考虑怎么基于国产工艺落地推理芯片，构建国产工艺推理芯片的生态。

对于AI芯片来说，当前备受关注的大模型，带来了全新的计算范式和计算要求。云天励飞副总裁李爱军谈到，芯片需要具备更大的算力、更大的内存带宽、更大的内存容量，才能支持巨量参数的大模型在边缘端运行。

云天励飞新一代AI芯片可承载百亿大模型运算

自2014年成立之初，云天励飞就一直坚持自主研发芯片，沉淀算法芯片化的核心能力。陈宁指出，算法芯片化并不是简单的算法+芯片，而是云天励飞基于对场景的理解，以及对算法关键计算任务在应用场景中的量化分析，将芯片设计者的理念、思想与算法相融合的AI芯片设计流程，能够让AI芯片在实际应用中发挥更优的效果。

在算法芯片化核心能力的支持下，云天励飞目前已完成3代指令集架构、4代神经网络处理器架构的研发，且陆续商用。4年前，云天励飞第一代AI芯片DeepEye1000实现独立商用。如今，大语言模型逐步向边缘和终端渗透，云天励飞聚焦构建边缘推理芯片的自主可控生态，推出新一代边缘AI推理芯片DeepEdge10。

该芯片采用国内先进工艺、支持多芯粒扩展的Chiplet技术，可提供12TOPS（INT8）整型计算和2LOPS（FP16）浮点计算的深度学习推理计算算力，满足市场对处理芯片在算法的多样性、准确性、算力密度及效能方面的要求。

并且，配合DeepEdge10系列边缘智能芯片的处理器架构和硬件架构升级，工具链和软件栈也进行了相应的升级，满足多种深度学习算法模型在复杂的应用场景下的部署需求。

Edge10系列芯片，满足不同应用场景需求

云天励飞EDGE10系列芯片针对各类应用场景，云天励飞已开发出Edge10C、Edge10标准版和Edge10Max三款芯片。Edge10C采用8核、算力8Tops，Edge10标准版采用10核CPU、算力12Tops，两者均应用于智慧安防、智慧城市和智能制造等领域。Edge10Max采用16核、算力20Tops，应用于机器人、无人驾驶、智能物流等领域。

结语

云天励飞DeepEdge10的发布，标志着国产AI芯片产业进入了一个新的阶段。这款芯片打破了国外厂商对大模型推理芯片的垄断，为中国人工智能产业的发展提供了强有力的支持。相信在 DeepEdge10 的赋能下，中国人工智能产业将迎来新的突破，为各行各业的智能化转型升级注入新的动能。