橡树岭国度尝试室的只使研讨职员在Frontier超等计较机上练习了一个与ChatGPT巨细相称的大型措辞模子(LLM)，只要要37.888个GPU中的练习3,072个便能够实现。该团队颁发了一篇研讨论文，只使具体先容了他们是练习若何实现这一豪举的，和他们在此进程中面对的只使挑衅。
这台Frontier超等计较机装备了9472个Epyc 7A53 cpu和37888个Radeon Instinct GPU。练习云开手机版app但是，只使该团队只利用了3072个GPU来练习一个具备1万亿个参数的练习LLM，利用了1024个GPU来练习另外一个具备1750亿个参数的只使LLM。
该论文指出，练习练习如斯大型的只使LLM的关头挑衅是所需的内存量，最少为14TB。练习这象征着须要利用多个带有64GB VRAM的只使开运·体育官网进口网页版MI250X.但这引入了一个新题目:：并行性。在LLM上投入更多的练习GPU须要愈来愈好的通讯才能有效地利用更多的资本。不然，只使大局部或全数额定的GPU才能将被华侈掉。
研讨报告深切研讨了这些计较机工程师是若何做到这一点的细节，但冗长的版本是，他们迭代了像Megatron-DeepSpeed和FSDP如许的Kaiyun体育官方在线登录框架，转变了一些工具，以便练习法式在Frontier上运转得更优。最初，成果很是使人印象深入——弱扩大效力到达100%，这根基上象征着跟着使命负载的增添，更多的GPU被尽能够有效地利用。
同时，1750亿参数LLM的强缩放效力略低，为89%，1万亿参数LLM为87%。强可伸缩性指的是在不转变使命负载巨细的环境下增添处置器数目，按照Amdahl定律，这常常是高焦点数目变得不那末有效的处所。斟酌到他们利用了几多GPU，乃至87%也是一个不错的成果。
但是，该团队注重到在Frontier上实现这类效力的一些题目，指出“须要更多的使命来摸索AMD gpu上的高效练习机能，而ROCm平台是稀少的。”正如论文所说，这类范围的大大都机械进修都是在英伟达的CUDA硬件软件生态体系中实现的，比拟之下，AMD和英特尔的处置计划并不发财。固然，如许的尽力将增进这些生态体系的成长。
虽然如斯，天下上最快的超等计较机依然是Frontier，它的硬件满是AMD的。第二名是Aurora，它接纳的是纯英特尔硬件，包含GPU，虽然今朝只要一半的硬件用于基准测试。英伟达GPU为第三快的超等计较机Eagle供给能源。若是AMD和英特尔想要坚持今朝的排名，这两家公司将须要遇上英伟达的软件处置计划。
原文《Frontier trained a ChatGPT-sized large language model with only 3.000 of its 37.888 Radeon GPUs — the world's fastest supercomputer blasts through one trillion parameter model with only 8 percent of its MI250X GPUs》
停止时候：2024-01-09 09:19:34
礼包内容：潮水纤维*50，金币*1
停止时候：2024-01-09 09:19:34
礼包内容：瓶盖*1000
停止时候：2024-01-09 09:19:34
礼包内容：瓶盖*600，潮水纤维*20
国产科幻惊悚解谜游戏《摆脱：十三号站点》推出试玩版，2024 年夏日出售
日期 2024-01-09 07:27英特尔录用 Justin Hotard 为至强处置器和 GPU 营业新主管
日期 2024-01-09 06:40五千多只貉惊现上海小区，咬伤宠物还进犯人？貉为什么在上海安家？
日期 2024-01-09 06:36678MB
检查97528MB
检查175MB
检查4811MB
检查
网友批评
2 喵星上将
真好，买来的衣服真不错呀！
2024-01-08 来自湖南 保举
49 安弈
列位电商大佬快快烧钱啊，让咱们嗨一把吧！
2024-01-08 来自湖南 保举
97298 纯挚危急
夜幕来临，小区转达室的刘大爷冷静谛视着墙上的挂钟，思考很久，又点上一根烟，终究果断地拉掉了小区电闸。那一晚他为小区业主们挽回了几千万元的财产丧失。那一天是公元2014年11月11日。
2024-01-08 来自湖南 保举
143 野爹杨以
我注册了两次，都胜利了，但半途总跳出个xx付出宝账号是否是你的——近似如许的信息，点确认会闪退，注册打消，点前往一样是注册打消，天猫你想死直说，我可不是甚么铲shi官会忍你上蹿下跳。
2024-01-08 来自湖南 保举
437 哈吉咩
夜幕来临，小区转达室的刘大爷冷静谛视着墙上的挂钟，思考很久，又点上一根烟，终究果断地拉掉了小区电闸。那一晚他为小区业主们挽回了几千万元的财产丧失。那一天是公元2014年11月11日。
2024-01-08 来自湖南 保举