开运登录进口

本文编者为VMware中国资深架构师安浦，处置方先容基于2024年2月21日VMware by Broadcom 在 Tech Field Day 勾当现场AI Field Day 4主题的案详系列报告清算。报告佳宾为Chris Wolf，处置方先容Senior Director of Engineering, AI and Advanced Services，案详VMware By Broadcom。处置方先容

内容择要

-VMware与浩繁AI范畴ISV厂商有着很好的案详开运登录进口协作根本，相互之间是处置方先容非协作性干系，VMware专一于供给AI根本举措措施、案详优化、处置方先容宁静、案详数据隐衷和数据办事。处置方先容

-VMware从本身的案详AI理论中获益颇多，在无限的处置方先容估算内完成了更高效的代价。

-VMware Private AI处置打算的案详上风：

**为企业AI根本举措措施的构建供给更多矫捷性和挑选性;

**Private AI处置打算加强了隐衷掩护和宁静节制才能;

**完成疾速成立AI任务集群并加载预装模子，极大简化安排流程，处置方先容进步任务效力;

**加倍智能地办理AI算力资本，完成差别操纵处景之间的GPU算力分派，从而进步资本操纵率;

**防止发生新的AI算力池运维孤岛，完成与现有经营工具集成，下降整体具备本钱;

**在用户既有的VMware情况中间接操纵AI模子， 完成既有数据湖与新的AI模子毗连的才能;

**VMware Private AI Foundation，经由进程与业界抢先AI厂商的产物集成，和推行开源参考架构，加快将AI计较和模子引入企业数据中间、私有云和边缘装备的历程。

-VMware联袂客户和ISV生态火伴配合打造Private AI开放生态情况。

VMware与浩繁AI范畴ISV厂商有着很好的协作根本

VMware在2023年8月推出了Private AI，其方针是云开·kaiyun官方网站加快完成AI的普惠化，并激起各行业的营业立异才能。在这一进程中，咱们熟悉到隐衷和节制对良多构造相当首要，这也是VMware但愿集合存眷并供给撑持的范畴。

咱们注重到，以后良多AI自力软件供给商(ISV)很是情愿与VMware协作，由于在AI根本举措措施、优化、宁静、数据隐衷和办事方面，VMware并不与他们发生间接协作干系。VMware明白表现，顶层的AI办事是这些ISV的专业范畴，而VMware则专一在为AI根本举措措施层面供给平台手艺撑持。与之相反，在私有云范畴中，私有云办事商常常也供给顶层AI办事，不可防止的组成与ISV的间接协作干系。对AI生态情况的浩繁ISV厂商而言，挑选与VMware协作配合进入客户的名目，须要相互之间成立充实的信赖干系，VMware清楚的定位有助于处置这一题目。

VMware本身也是AI手艺成长的受害者

在AI现实操纵方面，以后良多构造的研发团队都在研讨代码赞助天生这一范畴，VMware也在该范畴停止了摸索。比方，咱们针对C开辟的云开平台登录进口ESXi内核停止了测验考试，挑选了一个极具挑衅性的操纵处景，但愿咱们的软件工程师能够或许或许或许或许或许或许从中受害。当咱们起头接纳这个基于开源模子打造的外部赞助代码天生处置打算时，软件工程师的接管率高达92%。这让咱们备受鼓励，证实了咱们能够或许或许或许或许或许在无限的估算内完成更高效的代价。

咱们也停止了一项试点名目，并正在停止额定的丈量任务。咱们存眷的是能够或许或许或许或许或许或许严酷节制的AI代码开辟范畴。对VMware而言，一个上风是咱们外部本就会停止庞杂的代码扫描，以确保开源合规性。咱们在这方面投入了大批精力，确保对操纵的任何开源代码都有恰当的合规援用。正式藉由这些外部流程，咱们得以取得胜利。今朝，咱们仍在进一步尽力，以肯定若何为AI天生的代码供给恰当的合规援用，并尽力鞭策这一范畴的成长。

和良多企业一样，VMware也具备摸索精力。咱们延续存眷着GitHub Copilot的成长。但是，咱们最后的操纵案例首要集合在下游开源，由于这不会对咱们的常识产权或别的方面发生任何影响。VMware设有AI委员会，并拟定了呼应的办理理论。在这个范畴，咱们以为本身抢先于良多还不成立此类办理机制的公司。这是一个延续尽力的进程，但无疑咱们已取得了明显的停顿。

至于呼唤中间的处置打算，每一个构造都有这方面的须要，不管是高等信息检索仍是处置医疗保健、法令、发卖或客户撑持等范畴的数据。能够或许或许或许或许或许或许疾速为手艺撑持职员供给谜底，都是具备现实的贸易代价的。咱们的处置打算能够或许或许或许或许或许为你供给赞助，并且在数据搜集方面，也为用户供给良多开源处置打算以供挑选。比方，环绕LlamaIndex的开源社区供给了良多数据收罗器，这些处置打算凡是能够或许或许或许或许或许在几周内乃至更早地被启用。这些初期操纵案例为咱们展现了其壮大的潜力。

VMware Private AI处置打算的上风

从VMware Private AI处置打算的特定上风来看，咱们寻求的是确保隐衷和宁静性下的矫捷性和挑选性。不管挑选运转处置打算的硬件仍是软件，咱们都但愿构造能够或许或许或许或许或许或许停止有用的AI根本举措措施投资，并享有更多的挑选权。贸易AI办事、云AI办事或开源AI办事，差别的营业线能够或许或许或许有差别的优先事变或偏好。是以，投资能够或许或许或许或许或许撑持上述一切范例AI办事的根本举措措施，对完成机能优化、简化安排和下降危险相当首要。

在安排方面，咱们正在做一些别的公司还不涉足的任务。这也触及到实行体例和机能。经由进程咱们的打算，用户能够或许或许或许或许或许在约莫3秒钟内启动一个AI集群，并将您的模子预加载到内存中。这在私有云或裸机上都是没法完成的。咱们从行业协作火伴那边领会到，在裸机上完成这一操纵凡是须要5到7分钟。

用户存眷若何最有用的办理其IT情况中的AI算力资本。当须要同时办理多个名目，而每一个名目都要操纵一个自力的集群或云办事时，是没法做到这一点，并且这些资本的现实操纵率会呈现岑岭与低谷。

客户挑选VMware的首要原因有以下几个：

起首，咱们具备被市场普遍承认的假造化根本举措措施层，这象征着客户能够或许或许或许或许或许加倍智能地办理内存拜候、GPU拜候和收集容量须要，并在这些差别的操纵处景之间完成资本的智能分派。正如之前提到的，对推理操纵处景，能够或许或许或许只须要局部GPU资本，而VMware在这方面的手艺很是成熟，比方DRS，它能够或许或许或许或许或许按照差别任务负载的容量须要停止负载平衡。

其次，从办理操纵的角度来看，客户不但愿为AI任务负载成立自力的运维孤岛，由于这触及大批的资金投入、新工具、新流程等。经由进程VMware处置打算，客户能够或许或许或许或许或许操纵现有的工具集和持久履行的流程，从而防止投资于全新的工具孤岛情况。

这两点身分使得咱们的客户希冀经由进程咱们的处置打算手艺栈完成更低的整体具备本钱。

第三点是挑选权。咱们专一于这些范畴，并但愿与协作火伴在这些范畴成立协作干系。这一样令客户感应高兴，由于他们不但愿自愿接管单一的AI手艺仓库，而是但愿保留本身的数据和挑选的存储体例，同时能够或许或许或许或许或许或许引入新的AI操纵办事。

在某种程度上，VMWare正在拓展本身的营业范畴，不再仅限于手艺供给商的脚色，而是正尽力成为客户的处置打算供给商，但并不只仅如斯。咱们也在持续撑持行业处置打算供给商，主动推行开源手艺。咱们正在为一切的协作火伴成立Private AI参考架构和指南，并供给咱们的操纵供他们操纵，乃至正在斟酌将其开源。体系集成商能够或许或许或许或许或许按照须要自界说和撑持这些操纵，并为其客户供给有偿办事。咱们在能够或许或许或许或许或许或许增添代价的处所投入资本，分享咱们外行业中的最好理论，以便别的人也能从中受害。

VMware在AI操纵处景方面的别的一个首要上风，便是良多客户但愿将AI引入他们已有的数据情况中，良多构造在鼎力推行AI或LLM之前，已胜利成立并操纵了数据湖/仓、贸易智能模子等，而这个情况常常是基于VMware底座的。是以，他们但愿能够或许或许或许或许或许或许在现有的VMware情况中间接操纵AI模子， 而VMware具备将这些现有数据湖/仓与新的AI模子毗连的才能。

以我之前分享的批发案例为例，他们不但愿将一切店肆的数据传输到中心数据湖中停止推理，而是但愿能在本地停止疾速呼应。每家店肆的AI处置仅需两个GPU。这是一个实在运转的AI场景，处置24到36个走廊上的摄像头数据。固然我不能流露详细的走廊数目，但如许的操纵处景正在不时增添，对VMware来讲具备庞大的代价。客户但愿咱们能够或许或许或许或许或许或许到场这些名目并供给撑持。

在诠释为甚么挑选VMware时，我还想补充一点，咱们已具备浩繁宁静功效，包含宁静启动和假造TPM等，这些功效在掩护模子和数据秘密性方面相当首要。与第三方身份办理的集成能够或许或许或许或许或许操纵微分段断绝和散布式防火墙等手艺来断绝你的AI模子和办事，这对不时成长的构造来讲相当首要。

Private AI处置打算下的AI机能表现优良

我想扼要说起一下咱们行将停止的别的一场报告，届时咱们将深切切磋有关机能的题目。

这次展现仅针对某一说话模子的推理基准，与裸金属比拟，在最差情况下，咱们仍坚持在小于1%摆布的程度。而在别的一场报告中，咱们将展现别的一个基准，显现咱们比拟裸金属的机能超出跨越5%或6%，这全赖咱们的调剂算法和咱们在这一范畴所做的尽力。

在假造化的情况中，能够或许或许或许或许或许取得一切AI计较的上风，即使是对GPU停止假造化和切片，也不会就义机能。除非真的在乎那1%。若是是如许，裸金属操纵处景固然是一个不二挑选。但若是否是，就能够或许或许或许或许或许从假造化的AI算力底座中取得庞大的收益。

别的，咱们在模子练习方面也有一些基准测试，凡是，大型LLM练习会在裸金属或私有云上停止，这并非咱们的重点。咱们的存眷点在于微调模子。是以，微调场景和推理场景是你从GPU假造化和切片中真正取得最大益处的处所。若需数十到数百个GPU来练习大型模子，这临时能够或许或许或许还不是假造化的合用处景，但将来能够或许或许或许会有所变更。当你已具备充足的GPU算力容量，并但愿将其用于别的用处时，为甚么不充实操纵呢?

与友商协作，基于VCF构建完全Private AI处置打算

VMware供给了一套参考架构供客户挑选，若是他们但愿采用更自助的办事形式，咱们也为他们供给了详实的指引。但是，咱们的久远方针是但愿客户能够或许或许或许或许或许或许先构建一个高效的根本架构，基于VMware Cloud Foundation，而后在此根本上安排Private AI，包含GPU和AI办事。倡议客户先简化并优化算力根本举措措施情况，如许就能够更好地取得终究的本钱效益。

客户能够或许或许或许或许或许按照本身的须要操纵VCF。VMware将推出一个Private AI Foundation，与NVIDIA协作供给附加组件，包含集成的向量数据库撑持等额定功效。客户能够或许或许或许或许或许从VCF起头，采办附加组件以取得这些功效。对须要向量数据库的客户，这将是一个额定的上风。咱们将一切这些功效整合在一路，供给完全的NVIDIA软件仓库，确保一切功效都能无缝集成。

VMware联袂客户及ISV生态火伴配合打造Private AI开放生态情况

深切思虑咱们所经心打造的生态体系，其首要性显而易见。正如之前提到的，咱们专一于AI根本举措措施及其上运转的办事。咱们的Tanzu团队与客户慎密协作，供给定制办事。同时，咱们也很是正视协作火伴群体，本年将有更多协作火伴插手，配合缔造更多的代价。这些协作火伴不只限于传统ISV，还包含那些在云中运转并认识到大批本地操纵处景的企业。他们但愿掌握这些机遇，而与VMware协作是完成这一方针的最好挑选，由于咱们一直与客户营业坚持慎密接洽。

VMware AI处置打算相干信息链接

Artificial Intelligence Solutions | VMware AI: //www.vmware.com/artificial-intelligence.html

VMware's Approach to Private AI: //news.vmware.com/technologies/vmware-technology-private-ai

Deploying Enterprise-Ready Generative AI on VMware Private AI: //core.vmware.com/resource/deploying-enterprise-ready-generative-ai-vmware-vmware-cloud-foundation