近期，NVIDIA发布了Jetson生成式实验室（JetsonGeneraveAILab），为开发者提供了在边缘设备上探索生成式AI的无限可能性。Jetson与其他嵌入式平台不同，能够本地运行大型语言模型（LLM）、视觉Transfmer和stablediffusion，包括交互速率运行的Llama-2-70B模型。图1显示了领先的生成式AI模型，建议使用Jetson生成式AI实验室提供的教程和资源在Jetson上快速测试最新的模型和应用。这使得开发者能够专注于探索生成式AI在物理世界中尚未被开发的潜力。本文将探讨Jetson设备上可以运行和体验到的令人振奋的生成式AI应用，并在实验室的教程中进行了详细说明。
边缘生成式AI是AI领域快速发展的一部分，生成式模型备受关注。这些在AI领域的巨大进步激发了许多人的想象力。如果深入了解支持这些前沿模型推理的基础架构，就会发现它们通常依赖云端的处理能力，限制了某些需要高带宽、低延迟数据处理的边缘应用的开发。视频1展示了NVIDIAJetsonOrin为边缘带来的强大生成式AI模型。这种在本地环境中运行LLM和其他生成式模型的新趋势正在开发者社群中日益盛行。
在线社区的蓬勃发展为爱好者提供了一个讨论生成式AI技术最新进展及其实际应用的平台，如Reddit上的r/LocalLlama。在Medium等平台上发表的大量技术文章深入探讨了在本地设置中运行开源LLM的复杂性，其中一些文章提到了利用NVIDIAJetson。Jetson生成式AI实验室是发现最新生成式AI模型和应用，以及学习如何在Jetson设备上运行它们的中心。随着该领域快速发展，几乎每天都有新的LLM出现，并且量化程序库的发展也在一夜之间重塑了基准，NVIDIA认识到了提供最新信息和有效工具的重要性。因此，他们提供简单易学的教程和预构建容器。
实现这一切的是jetson-containers，一个精心设计和维护的开源项目，旨在为Jetson设备构建容器。该项目使用GitHub Actions以CI/CD的方式构建了100个容器。这些容器使您能够在Jetson上快速测试最新的AI模型、程序库和应用，无需繁琐地配置底层工具和程序库。通过Jetson生成式AI实验室和jetson-containers，您可以集中精力使用Jetson探索生成式AI在现实世界中的无限可能性。
以下是一些在Jetson生成式AI实验室提供的NVIDIAJetson设备上运行的令人振奋的生成式AI应用。stable-diffusion-webui为StabilityAI发布的StableDiffusion提供了一个用户友好的界面。您可以使用它执行许多任务，包括：网络应用会在首次启动时自动下载StableDiffusionv1.5模型，因此您可以立即开始生成图像。如果您有一台JetsonOrin设备，只需按照教程执行简单的命令即可。有关运行stable-diffusion-webui的更多信息，请参见Jetson生成式AI实验室教程。JetsonAGXOrin还能运行较新的StableDiffusionXL（XL）模型，本文开头的主题图片就是使用该模型生成的。text-generation-webui也是一个基于Gradio、可在本地环境中运行LLM的常用网络接口。虽然官方资源库提供了各平台的一键安装程序，但jetson-containers提供了一种更简单的方法。通过该界面，您可以轻松地从HuggingFace模型资源库下载模型。根据经验，在4
本文原创来源：电气TV网，欢迎收藏本网址，收藏不迷路哦！
添加新评论