AI 机器人平台升级 机器人技术革新 Isaac 加速 NVIDIA (AI机器人平治信息)

本文中提到了NVIDIA发布了用于Isaac机器人平台的新工具，包括IsaacLab和OSMO。IsaacLab旨在支持机器人学习，而OSMO则用于混合云工作流编排，使机器人能够在不同环境中无缝切换和协作。这两个工具对于ProjectGR00T和机器人基础模型的开发都至关重要，为机器人技术的未来发展奠定了坚实基础。

---

中华电信藉 NVIDIA AI 技术，为其客服系统引进 AI 智慧升级

台湾现在产业也面临少子化的冲击，除了制造业以外，服务业也受到人力匮乏的引响，许多企业与公司亦开始着手将内部作业流程进行科技化与数位转型，借此做为因应劳动人口不足的手段；而做为电信龙头的中华电信亦相当早就意识到问题，毕竟电信业务相当依赖第一线客户服务为其客户解惑与排除问题，然而由于电信业务总类繁多，客服人员人力有限又经常面对重复问题，故透过科技手段降低人力负担即是中华电信的一大课题。

而中华电信旗下的中华电信研究院当中，不仅在新一代通讯技术、物联网、云端运算以外进行研究，包括人工智慧与深度学习等领域亦为其专注的领域，十个研究单位当中的巨量资料研究所汇集百余位大数据领域专家，在严谨的资料安全保护下进行大数据的极大化应用，并且开发多元的应用，而与中华电信本身最息息相关的包括聊天机器人与104查号台语音辨识服务。

据中华电信研究院副院长陈荣贵博士表示，现在聊天机器人Chatbot早已广泛被企业导入，不过多数的企业仅是导入由外部软体公司或是服务平台提供的解决方案，而中华电信研究院则一手包办自前端开发到应用层面，并以中华电信的巨量数据资料与技术做为后盾，提供合乎电信服务的解决方案。

为了降低客服人员负担，中华电信先以基于Chatbot的智慧文字客服解决客户的常见问题，透过语意分析方式解决客户的常见问题，减少客服电话人力并降低客户等待时间与服务品质。然而光是只有文字客服仍不足以解决电信业所需提供的服务需求，故中华电信也意图导入基于人工智慧的语音客服，但语音系统所牵涉的远比文字更为复杂，加上语音转文字后的复杂度更牵涉到口音差异、语意分析，故此时需要仰赖更大的运算量解决语音客服系统所需的深度学习与神经网路。

中华电信在AI语音客服系统开发的同时，在2010年之际已着手研究影像分析与人脸辨识系统，不过当时深度神经网路由于GPU加速还未成熟，以当时的技术，中华电信并未突破80%的准确度，但也由于中华电信持续研发影像分析与人脸辨识系统，后续也发现NVIDIAGPU对于影像辨识的优势，并将其导入系统架构，中华电信导入TeslaK80加速器与神经网路架构后，在短短一年内达到91.1%的精确度，并且进行2万人共100万张的人像资料库训练亦仅需要72小时，中华电信虽认为超过9成已经是相当大的突破，但仍未因此满足，此时也决定加码导入NVIDIA的GPU。

中华电信于2017年导入基于Pascal架构的TeslaP100GPU，在进行相同的训练库数量培训后，仅需24小时就达到原本需72小时的模型训练，同时在同年底更导入DGX-1超级电脑，以新一代的NVIDIATeslaV100GPU再度把训练时间缩减至1/3，同时精确度进一步达到99.6%的高水准，而中华电信也同步将NVIDIAGPU加速应用在AI语音客服。

中华电信起初使用传统基于CPU的AI模型训练试图建构语音客服的人工智慧模型，但成果与性能还无法合乎中华电信的要求；中华电信除了导入kaldin3语音辨识工具进行TDNN训练外，透过NVIDIATeslaV100GPU进行培训，不仅将训练语料由48小时大幅提高到1,000小时，能够进行更复杂的语意分析，还把语言与语意的辨识精确度由47.53%提升到82.8%。

同时，中华电信也看到拥抱开放的创新力量，为使更多企业、教育机构与创客能享用到AI资源，中华电信还将云端AI(Paas+Iaas)平台开放，让有志于AI深度学习服务的开发者，能够利用中华电信所提供的平台作为开发影像辨识、语音合成、语音辨识等技术与服务，以拥抱开放携手开发者进行AI技术创新与应用开发。

英伟达秀全球最大GPU，黄仁勋从烤箱里拿出的产品果然「爆了」

SegmentFault 思否报道丨公众号：SegmentFault

是他，还是那个男人，那个熟悉的皮夹克。

5 月 14 日 晚，黄仁勋在厨房召开了英伟达 GTC 2020 线上发布会。由于新冠病毒疫情影响，英伟达原计划的现场活动被迫取消，定于 3 月 24 日通过媒体发布的新闻稿也未见踪影。千呼万唤中，黄仁勋终于在烤箱前和大家见面了。

本届 GTC 从预热开始就不走寻常路，黄仁勋在大会前一天晒出了自己从烤箱里拿出了 全新的安培（Ampere）架构 GPU NVIDIA A100 。

令人颇感意外的是，虽然无法举办线下活动，英伟达竟然连线上直播都懒得办，直接播放了黄仁勋在自家厨房里录制的视频完成了新品发布。果然是手里有「硬货」就不在乎形式了。

英伟达的首款安培架构 GPU 可以算「史上最强」了，基于 7nm 工艺制程，拥有 540 亿晶体管，面积为826mm²，与 Volta 架构相比性能提升了 20 倍 ，既可以做训练也可以做推理。

NVIDIA A100 具有 TF32的第三代 Tensor Core 核心，能在不更改任何代码的情况下将 FP32 精度下的 AI 性能提高 20倍，达到19.5万亿次/秒 。

多实例 GPU-MG 可将单个 A100 GPU 分割为 7 个独立的 GPU，根据任务不同提供不同的计算力，实现最佳利用率和投资回报率的最大化。

NVIDIA A100 新的效率技术利用了AI数学固有的稀疏性，优化之后性能提升了一倍。

英伟达将 NVIDIA A100 的特性总结为以下 5 点：

黄仁勋说：“Ampere架构的突破性设计为英伟达第八代GPU提供了迄今为止最大的性能飞跃， 集 AI 训练和推理于一身，并且其性能相比于前代产品提升了高达 20 倍 。这是有史以来首次，可以在一个平台上实现对横向扩展以及纵向扩展的负载的加速。A100 将在提高吞吐量的同时，降低数据中心的成本。”

NVIDIA A100 是第一个基于 NVIDIA 安培架构的 GPU，提供了在 NVIDIA 八代 GPU 里最大的性能提升，它还可用于数据分析，科学计算和云图形，并已全面投产并交付给全球客户。

全球 18 家领先的服务提供商和系统构建商正在将 NVIDIA A100 整合到他们的服务和产品中，其中包括阿里云、AWS、网络云、思科、Dell Technologies、Google Cloud、HPE、Microsoft Azure和甲骨文。

黄仁勋还介绍了基于 NVIDIA A100 的第三代 AI 系统 DGX-A100 AI。DGX-A100 AI 是世界上第一台单节点 AI 算力达到 5 PFLOPS 的服务器 ，每台 DGX A100 可以分割为多达 56 个独立运行的实例，还集合了 8 个 NVIDIA A100 GPU，每个 GPU 均支持 12 路 NVLink 互连总线。

据了解，与其他高端 CPU 服务器相比，DGXA100 的 AI 计算性能高 150 倍、内存带宽高 40 倍、IO 带宽高 40 倍。

黄仁勋说：“AI已经被应用到云计算、 汽车 、零售、医疗等众多领域，AI算法也正变得越来越复杂和多样。ResNet模型的算力需求从2016年到现在已经增加了3000倍，我们需要更好的解决方案。”

如此强大的 DGX-A100 AI 售价自然也不便宜，标价 19.9 万美元，约合人民币 141 万元。

此外，黄仁勋还提到了英伟达新一代 DGXSuper POD 集群，由 140 台DGXA100系统组成，AI算力达 700 Petaflops，相当于数千台服务器的性能 。

据了解，首批 DGXSuper POD 将部署在美国能源部阿贡国家实验室，用于新冠病毒疫情相关的研究。

除了以上两款重磅产品，黄仁勋还宣布推出了 NVIDIA Merlin，这是一个用于构建下一代推荐系统的端到端框架，该系统正迅速成为更加个性化互联网的引擎。Merlin将创建一个 100 TB 数据集推荐系统所需的时间从四天减少到 20 分钟。

英伟达此次还推出了众多 AI 领域相关产品，包括 以太网智能网卡 Mellanox ConnectX-6 Lx SmartNIC、EGX 边缘 AI 平台和一系列软件更新扩展。

1.以太网智能网卡 Mellanox ConnectX-6 Lx SmartNIC

ConnectX-6 Lx 是业界首个为 25Gb/s 优化的安全智能网卡，可提供两个 25Gb/s 端口或一个 50Gb/s 端口。

边缘 AI 平台

EGX Edge AI 平台是首款基于 NVIDIA 安培架构的边缘 AI 产品，可接收高达 200Gbps 的数据，并将其直接发送到 GPU 内存进行 AI 或 5G 信号处理。

英伟达还宣布在 Spark 3.0 上支持 NVIDIA GPU 加速，基于 RAPIDS 的 Spark 3.0，打破了提取，转换和加载数据的性能基准。它已经帮助 Adobe Intelligent Services 将计算成本降低了90％。

黄仁勋在发布会中详细介绍了 NVIDIA Jarvis，这是一个新的端到端平台，可以充分发挥英伟达 AI 平台的强大功能，创建实时多模态对话式 AI。

交互 AI

现场展示中，一个名为 Misty 的 AI系统展示了实时理解并回答一系列有关天气的复杂问题的交互过程。

自动驾驶方面，英伟达也将安培架构嵌入了新的 NVIDIA DRIVE 平台。据了解，小马智行、法拉第未来等自动驾驶企业已宣布采用 NVIDIA DRIVE AGX 计算平台。

英伟达的 NVIDIA Isaac 软件定义的机器人平台还将用于宝马集团工厂。英伟达机器人技术全球生态系统涵盖配送、零售、自主移动机器人、农业、服务业、物流、制造和医疗保健各个行业。

英伟达这场时隔 3 年的发布会可谓诚意满满，首次推出的安培架构给足了惊喜，性能提升 20 倍的 NVIDIA A100 GPU 可谓性能飞跃。

虽然发布会并不是现场直播，但依旧爆点十足。一台就比千台强的 DGX-A100 AI 也印证了黄仁勋那就经典名言“买的越多，赚的越多”。英伟达的 AI 解决方案已经覆盖了各行各业，强大的 AI 生态正在形成。

中国工程院院士倪光南曾表示：「芯片设计门槛极高，只有极少数企业能够承受中高端芯片研发成本，这也制约了芯片领域创新。」

英伟达在本届 GTC 上推出的安培架构和基于此的一系列 AI 平台无一部显示了一个 AI 芯片巨头的实力，又一次树立了性能标杆。

根据 Gartner 的预测数据 ，未来 5 年内全球人工智能芯片市场规模将呈飙升趋势 ，自 2018 年的 42.7 亿美元 ，升高至 343 亿美元 ，增长已超过 7 倍，可见 AI 芯片市场有较大增长空间。

尽管与西方发达国家相比，中国的 AI 芯片研发还存在一定差距，但过去两年中，中国 AI 芯片初创企业已获得了数亿美元的资金。华为等公司也开发了令人印象深刻的芯片设计。

但芯片开发极具复杂性，中国人才的短缺以及缺乏多家全球销售排名前 15 位的中国半导体公司的情况表明，中国仍需要取得重大进展，才能在半导体领域与美国匹敌。

终于，英伟达成为了一家软件公司

如果说图形芯片、AI芯片、数据中心芯片供应商英伟达是一家软件公司，可能会被很多人笑话“不专业”，但事实上，英伟达正在成为一家靠着软件平台驱动来赚钱的芯片公司。 内部人士透露，英伟达75%的员工为研发人员，而研发人员中一半为软件开发人员，这样的人员比例足以见证软件平台战略在其公司中地位，英伟达也一直声称自己是“计算平台”公司而非芯片企业。 英伟达创立时市场上有20多家图形芯片企业，三年后市场上的图形芯片玩家是70多家，英伟达之所以能够一骑绝尘，离不开15年前英伟达开发的CUDA编程模型和数据中心GPU平台，正是这个平台把英伟达带到通用计算芯片市场。 靠着定制的软件平台、开发工具、应用工具，英伟达构建了“由软件、大学、初创公司和合作伙伴组成的强大而稳健且自给自足的生态系统”（福布斯评价）。 通过研发特定软件平台，英伟达不断拓展疆土，超越英特尔、AMD、三星、台积电，成为全球市值最高的半导体公司。 在前几天举行的英伟达GTC大会上，身着皮衣、又一次在自家厨房“谈话”的英伟达创始人兼CEO黄仁勋，同样没有大谈坚硬的芯片，而是细数了几大新软件平台，而这其中的每一个平台都有可能给英伟达创造数以百亿美元计的新增市场机会。 黄仁勋总能撩动产业与资本的神经，因为他的芯片策略永远是梦想与平台开路，当开发者如期来到他的特定平台，自然带来芯片的大卖。 其梦想与平台先行战略屡试不败，现在正呈现雪球效应，在这次GTC大会上黄仁勋透露，目前英伟达的开发者近300万，在过去15年里CUDA的下载量是3000万次，而去年一年，其下载量达到了700万次。 现在，英伟达再次将平台战略复制到元宇宙市场。 今年元宇宙烧得热火朝天，而英伟达早在两年前就开始了它的元宇宙平台研发。 去年12月英伟达云宇宙平台Omniverse正式上线公测，黄仁勋没有像脸书那样将元宇宙平台吹得神乎其神，而称其为全球4000多万工程师、设计师的实时仿真与协作平台，但这个协作平台被各界看好。 前几天，英伟达的市值超过伯克希尔哈撒韦成为全美排名第7的公司，富国银行（Wells Fargo）将英伟达的股票价格预期从245美元调高到320美元，给出的理由为“英伟达将是元宇宙的硬件入口”，未来5年，元宇宙将为英伟达提供100亿美元的市场增值份额机会。 而这个能够带来100亿美元增长的引擎，正是Omniverse。 Roundhill的研究副总裁Mario Stefanidis认为， 英伟达的Omniverse平台是虚拟现实兼容的，允许用户实时合作，用真实的光线创建精确的物理模拟。 “这种类型的基础设施将是虚拟世界的关键，因为用户会寻求身临其境的体验，将现实世界和虚拟世界连接起来。 ” 关于英伟达的元宇宙策略，HTC中国区总裁汪丛青认为 英伟达提供PC/服务器/云图形解决方案和内容创建工具解决方案的基础设施技术提供商，拥有许多基于云的XR解决方案/工具，用于将工作处理转移到网络；英伟达与业内许多参与者合作，试图实现他们的计划，应该说英伟达的元宇宙战略，会为行业带来很高的价值。 “当一家公司明确他们在整个元宇宙故事中扮演一个角色，而不是成为整个元宇宙的所有者时，他们将有更大的成功机会。 ” 汪丛青说。 就在几天前，《时代》杂志将2021年的最佳发明奖颁给了Omniverse，评价是“虚拟世界不仅仅是为 游戏 而打造——其对于道路、建筑等基础设施的规划来说也有帮助，并且可以用于测试自动驾驶 汽车 。 极度逼真的虚拟空间有助于现实世界目标的实现，NVIDIA 的 Omniverse 项目正在让其创造过程变得更简单。 该平台结合了最新的 NVIDIA GPU 的光线追踪技术与一系列开源工具，允许在真实感十足的 3D 世界中进行实时协作。 Foster 建筑事务所等建筑专家正使用该技术在更早的设计阶段进行建筑细节的可视化；宝马公司使用它建造了一个工厂的数字孪生，以测试更高效的流水线的可能性” 。 Meta（脸书）元宇宙的目标客户是茶余饭后 娱乐游戏 人群，英伟达则是企业工程师与设计人员。 元宇宙对于大众消费者或许是“锦上添花”，但对于企业用户和创业人员则是创造生产力的“必须品“。 而事实上，英伟达竞争对手并不是的Meta（脸书）而是AMD与英特尔，就在英伟达举行GTC的11月9日，AMD与脸书宣布达成合作，脸书将采用AMD的数据中心芯片，就这个消息让AMD的股价创下了 历史 新高，同为芯片厂商，AMD要触达上层的元宇宙应用生态需要借助脸书的平台，而英伟达自己就有平台，这才是英伟达在资本市场扶摇直上的根本原因。 Omniverse去年年底开始上线测试，现在拥有700多家企业级用户，包括宝马、爱立信、航空航天制造商洛克希德·马丁、索尼影视动画等。 此前，英伟达介绍，Omniverse分为三部分。 第一部分，数据库引擎Omniverse Nucleus，用户可在此连接并进行 3D 资产和场景描述的交换，需要进行建模、布局、阴影、动画、照明、特效或渲染的设计师可以一起协作创建场景。 第二部分是合成、渲染和动画引擎——虚拟世界的模拟，比如英伟达的图形技术可以实时模拟每条光线如何在虚拟世界中反射。 第三部分是NVIDIA CloudXR，它包括客户端和服务器软件，可用于将扩展现实内容从 OpenVR 应用程序传输到 Android和 Windows设备，允许用户进出Omniverse。 今年的GTC，英伟达发布了一系列Omniverse性能更新以及最新工具，并举办了一个 Omniverse技术专场。 黄仁勋表示：“有了Omniverse，我们就有了创建全新3D世界，或对物理世界进行建模的技术。 而如何使用Omniverse模拟仓库、工厂、物理和生物系统、5G边缘、机器人、自动驾驶 汽车 ，甚至是虚拟形象的数字孪生，是一个永恒的主题。 ” 英伟达的软件平台与开发工具、应用开发工具之所以赢得大量的“开发粉”，当然不是因为老黄能忽悠，从PC时代开始，英伟达对工具重视、对开发者体贴，现在这一传统在元宇宙发扬光大。 其一是Omniverse Avatar（阿凡达），这是一个用于创建虚拟人的开发工具，基于Omniverse平台和世界上最大的定制语言模型Megatron 530B，该工具可以让开发者便捷地开发出AI驱动的交互式虚拟形象，可使此角色具备视觉和语言能力，能够就各类主题进行交谈，并理解自然语言中的深层含义。 为了让开发者见识英伟达阿凡达能力，黄仁勋现场展示了用阿凡达创造的黄仁勋虚拟形象“Toy-Me”，还带来了帮人点餐的虚拟人“蛋壳人”以及可以嵌入在会议软件中的虚拟人。 其二是Omniverse Replicator，这是一种合成数据生成引擎，目的是帮助构建更好的数字孪生体。 Replicator应用使开发者能够以人类无法做到的方式引导AI模型、填补现实世界的数据空白，并标记真值数据。 在GTC的主题演讲中，英伟达还展示了 Omniverse 的一系列新功能，包括 Showroom， Farm以及 Omniverse AR等，Omniverse VR将率先推出完全图像、实时光线追踪 VR 环境。 作为全球市值节节攀升的平台型半导体公司，当然不会只守着元宇宙这一亩三分地，在包括自动驾驶、机器人、地球气候建模、大模型、数据中心等领域，英伟达不能错漏一个，统统进行了布局，推出相关的平台、框架、工具以及算法模型等。 自动驾驶开启的是万亿美元的市场，黄仁勋认为“到2024年，绝大多数新电动车都将具备真正的自动驾驶功能。 ”针对自动驾驶，英伟达不可能缺席，推出了NVIDIA DRIVE，这是NVIDIA的自动驾驶 汽车 全栈开放式平台，而Hyperion 8是NVIDIA最新的完整硬件和软件架构。 这次大会上，黄仁勋详细介绍了Hyperion内置的几项新技术，包括用于DRIVE Sim的Omniverse Replicator。 事实上，目前自动驾驶领域的诸多领先企业、创业团队都采用了英伟达的端到端自动驾驶解决方案，包括Lotus、网络、威马 汽车 、高合 汽车 、蔚来、轻重智行等，甚至特斯拉早期同样采用了英伟达的GPU以及系统平台。 机器人是又一个兵家必争之地，英特尔同样在此重兵布局。 目前英伟达的机器人生态系统VIDIA Isaac已有700多家公司和合作伙伴，这个数字在过去4年里增长了5倍。 黄仁勋在GTC大会上宣布，NVIDIA Isaac机器人平台现可轻松集成至机器人操作系统（ROS）中。 这是一套应用广泛的软件库和工具，适用于机器人应用。 黄仁勋解释道，建立在Omniverse之上的Isaac Sim是有史以来最逼真的机器人模拟器。 大模型被视为通往通用AI的一条可能路线，也是AI战略要地，目前IT头部企业均在此布局。 针对大模型，黄仁勋发布了用于训练大型语言模型的Nemo Megatron。 他表示，此模型 “将成为有史以来最大的主流HPC应用。 ”同时英伟达还发布了NVIDIA Modulus用于构建和训练物理学机器学习模型，这些模型可以学习并充分遵守物理学法则。 此外，黄仁勋还宣布推出了全新的Clare Holoscan平台以创建更好的医疗 健康 服务；推出量子计算模拟平台显著提升量子模型性能，并将于12月上线，将构建Earth Two （E-2）来模拟和预测气候变化。 “为了创建Earth Two，我们将需要使用迄今为止发明的所有技术。 ”黄仁勋说。 不过，对于英伟达是否是一家软件公司，汪丛青认为:“Not really, 英伟达是工具和基础设施提供商。 他们不制作内容，而是提供一些底层技术/工具，让其他人能够制作。 ”黄仁勋在GTC演讲的开头说自己是AI：“英伟达、深度学习和无所不在的人类智慧，让我融入每个人的生活。 ” 在数字经济时代，在软件正在定义一切的时代，我们用软件构建一切，而这一切，又怎么能离开芯片，这是英伟达打造计算平台、开发工具、应用工具的真正逻辑。 作者丨李佳师 编辑丨连晓东 美编丨马利亚