这篇文章给大家聊聊关于vmware 和 nvidia 推动企业向生成式 AI 迈进，以及对应的知识点，希望对各位有所帮助，不要忘了收藏本站哦。

VMware Private AI Foundation 与NVIDIA 合作将使企业能够自定义模型并运行各种生成式AI 应用程序，例如智能聊天机器人、助手、搜索和摘要等。该平台将是一个完全集成的解决方案，使用NVIDIA 的生成式AI 软件和加速计算，基于VMware Cloud Foundation 构建并针对AI 进行了优化。

VMware 首席执行官Raghu Raghuram 表示：“生成式AI 和多云是完美的搭配。” “客户的数据无处不在，在他们的数据中心、边缘、云端等等。我们将与NVIDIA 一起帮助企业充满信心地在其数据附近运行生成操作。”

NVIDIA 创始人兼首席执行官黄仁勋表示：“世界各地的企业都在竞相将生成式AI 融入其业务中。” “通过扩大与VMware 的合作伙伴关系，我们将能够为金融服务、医疗保健、制造等领域的数千家客户提供支持。万嘉为客户提供他们所需的全栈软件和计算，以使用根据他们自己的数据定制的应用程序来实现充分挖掘生成式人工智能的潜力。”

全栈式计算大幅提升生成式 AI 的性能为了更快地实现业务效益，企业希望简化并提高生成式人工智能应用程序的开发、测试和部署效率。据麦肯锡称，生成式人工智能每年可为全球经济增加4.4 万亿美元。

VMware Private AI Foundation 与NVIDIA 将帮助企业利用这种能力来定制大型语言模型、创建更安全的私有模型供内部使用、以服务形式向用户提供生成式AI 以及更安全地扩展运行推理工作负载。

该平台计划提供各种集成的人工智能工具，帮助企业经济有效地运行根据其私人数据训练的复杂模型。该平台基于VMware Cloud Foundation 和NVIDIA AI Enterprise 软件构建，预计将带来以下优势：

• 隐私：通过保护数据隐私和安全访问的架构，无论数据位于何处，客户都可以轻松运行人工智能服务。

• 选择：从NVIDIA NeMo 到Llama 2 等，企业在构建和运行模型的位置上将有多种选择，包括领先的OEM 硬件配置以及未来的公共云和服务提供商解决方案。

• 性能：最近的行业基准测试表明，在NVIDIA 加速基础设施上运行的某些用例可达到或超过裸机性能。

• 数据中心规模：虚拟化环境中优化的GPU 扩展使AI 工作负载能够在单个虚拟机上跨多个节点扩展至多达16 个vGPU/GPU，从而加速生成式AI 模型的微调和部署。

• 降低成本：来自GPU、DPU和CPU的所有计算资源将被最大化，以降低总体成本并创建可以在团队之间高效共享的池化资源环境。

• 加速存储：VMware vSAN Express 存储架构提供性能优化的NVMe 存储，并通过RDMA 支持GPUDirect 存储，从而无需CPU 即可实现从存储到GPU 的直接I/O 传输。

• 加速网络：vSphere 和NVIDIA NVSwitch 技术之间的深度集成将进一步确保多GPU 模型的执行不会出现GPU 间瓶颈。

• 快速部署和价值实现时间：vSphere Deep Learning 虚拟机映像和映像库将提供稳定的交钥匙解决方案映像，这些映像预装了各种框架和性能优化的库，以实现快速原型设计。

该平台将由NVIDIA NeMo 提供支持，NVIDIA NeMo 是NVIDIA AI Enterprise 中包含的端到端云原生框架，NVIDIA AI Enterprise 是NVIDIA AI 平台的操作系统，使企业能够在几乎任何地方构建、定制和部署生成式AI 模型。 NeMo 结合了自定义框架、护栏工具包、数据整理工具和预训练模型，使企业能够以简单、经济且快速的方式采用生成式人工智能。

为了将生成式AI 部署到生产中，NeMo 使用TensorRT for Large Language Models (TRT-LLM) 来加速和优化最新LLM 在NVIDIA GPU 上的推理性能。通过NeMo，VMware Private AI Foundation 与NVIDIA 将使企业能够导入自己的数据，并在VMware 混合云基础设施上构建和运行自定义生成式AI 模型。

在VMware Explore 2023 大会上，NVIDIA 和VMware 将重点介绍企业内的开发人员如何使用新的NVIDIA AI Workbench 提取社区模型（例如Hugging Face 上提供的Llama 2）、远程自定义这些模型并在VMware 环境中运行它们部署生产级生成式人工智能。

生态圈对 VMware Private AI Foundation With NVIDIA 的广泛支持与NVIDIA 合作的VMware Private AI Foundation 将得到戴尔、HPE 和联想的支持。这三家公司将率先提供由NVIDIA L40S GPU、NVIDIA BlueField-3 DPU 和NVIDIA ConNECtX-7 SmartNIC 提供支持的系统，这些系统将加速企业LLM 定制和推理工作负载。

与NVIDIA A100 Tensor Core GPU 相比，NVIDIA L40S GPU 将生成式AI 推理性能提高了1.2 倍，训练性能提高了1.7 倍。

NVIDIA BlueField-3 DPU 可加速、卸载和隔离GPU 或CPU 上的大量计算工作负载，包括虚拟化、网络、存储、安全和其他云原生AI 服务。

NVIDIA ConnectX-7 SmartNIC 为数据中心基础设施提供智能、加速的网络，以托管一些世界上最苛刻的AI 工作负载。

VMware Private AI Foundation 与NVIDIA 建立在两家公司长达十年的合作之上。双方的联合研发成果优化了VMware的云基础设施，使其能够以与裸机相当的性能运行NVIDIA AI Enterprise。 VMware Cloud Foundation 提供的资源和基础架构管理以及灵活性将进一步使共同客户受益。

供应情况VMware 计划于2024 年初与NVIDIA 发布VMware Private AI Foundation。