登录1秒注册

奕推

搜索
站长论坛»主页首页焦点>谷歌TPU v5e AI芯片初次露脸
查看:9
回复:1
打印上一主题下一主题

[奕推]谷歌TPU v5e AI芯片初次露脸

[复制链接]
跳转到指定楼层
楼主

英伟达GPU的谷歌主导地位促进企业争相寻觅非GPU的替代品,另一个干流挑选是片初谷歌的TPU v5e人工智能芯片。

TPU v5e也是次露谷歌首款干流化的人工智能芯片,它装备了一套软件和东西,谷歌用于在虚拟环境中大规划和谐人工智能作业负载。片初这款人工智能芯片现在向谷歌云客户供给了预览版。次露

新的谷歌人工智能芯片承继了上一代TPUv4,该芯片用于练习用于谷歌查找,片初地图和在线生产力应用程序的次露较新的PaLM和PaLM 2大型言语模型。

谷歌常常将其TPU与英伟达的谷歌GPU进行比较,但对TPU v5e的片初发布持谨慎态度。谷歌着重,次露它专心于为客户供给各种人工智能芯片,谷歌在A3超级核算机中运用英伟达的片初H100 GPU,在推理和练习中运用TPU v5e。次露

Cloud TPU v5e也是谷歌在美国以外推出的第一款人工智能芯片。TPUv4仅在北美出售。TPU v5e电脑将安装在荷兰的EMEA(欧洲、中东和非洲)商场和新加坡的亚太商场。

TPU v5呈现以来一向备受争议。谷歌的研讨人员于2021年6月非正式发布了TPU-v5,并在一篇论文中标明,该芯片采用了人工智能规划。谷歌宣称,人工智能署理比人类专家在不到6小时的时间内完成了芯片的布局规划。谷歌内部对论文中的说法进行了争辩,在论文宣告在《天然》杂志之前,谷歌辞退了一名研讨人员。

学术研讨人员也对谷歌的说法提出了批判,并批判该公司没有揭露承受大众监督。来自加州大学圣地亚哥分校的研讨人员Andrew B. Kahng后来对谷歌的芯片规划技能进行了逆向工程,发现人类芯片规划师和自动化东西有时比谷歌的人工智能技能更快。

谷歌一向对这一争议保持沉默,但已采纳举动,并正在环绕TPU树立一个人工智能帝国。该公司的大言语模型通过优化,能够在TPU上运转,跟着该公司在产品线中注入人工智能功用,新芯片对谷歌的数据中心至关重要。

功用数字标明TPU v5e适合于推理而不是练习。该芯片供给的INT8芯片的峰值功用为每秒393万亿次浮点运算,优于TPU v4的每秒275万亿次浮点运算。

但TPU v5e在BF16上的体现很差,每秒197万亿次浮点运算低于TPU v4的275万亿次浮点运算。

可是当TPU v5e衔接在集群中时,其功用可能会优于TPU v4。TPU v4能够装备在4,096个芯片的集群中,但TPU v5e能够扩展到数百或数千个装备,并处理更大的练习和推理模型。

谷歌云主管Amin Vahdat和Mark Lohmeyer在一篇博客文章中标明,“TPU v4的最大切片巨细为3072个芯片”,而不是之前宣称的4096个芯片。但在TPU v5e中,该公司引入了一种名为“多片”(Multislice)的技能,能够将数十万多个人工智能芯片联网成一个集群。

谷歌高管标明,Multislice“答应用户轻松扩展人工智能模型,逾越物理TPU pod的边界——多达数万个云TPU v5e或TPU v4芯片。”

谷歌还为TPU v5e优化了虚拟机,使芯片能够一同处理多个虚拟机。谷歌宣告为Cloud TPU v5e和v4供给Kubernetes服务,这将有助于和谐跨TPU的人工智能作业负载。

谷歌标明,最大的装备能够在256个TPU v5e集群上布置64个虚拟机。TPU与机器学习结构一同作业,包含Pytorch, JAX和TensorFlow。

还具有令人难以置信的多功用性,支撑八种不同的虚拟机装备,从一个芯片到单个切片内超越250个芯片。该功用答应客户挑选正确的装备,以服务于各种LLM和gen AI模型尺度,”谷歌高管写道。

每个TPU v5e芯片有四个矩阵乘法单元、一个矢量和一个标量处理单元,它们都衔接到HBM2存储器。

谷歌的数据中心有一个可换入、可换出的高带宽基础设施,配有衔接人工智能芯片和集群的光交换机。光互连答应每个机架独立运转并在飞翔中相互衔接,而且技能答应谷歌依据应用程序快速重新装备网络拓扑。

Google供给了与TPU v4根据本钱的风趣功用比较。基准是对练习本钱和模型巨细的实践假定。微软(Microsoft)和谷歌(Google)正在向其数据中心基础设施出资数十亿美元,以便企业能够练习和布置更大的人工智能模型。

关于每一美元,TPU v5e的练习速度提高了两倍,推理速度提高了2.5倍。TPU v5e每芯片小时的价格为1.2美元,而TPU v4每芯片小时的价格约为3.2美元。

谷歌高管在博客中标明:“TPU v5e的本钱不到TPU v4的一半,使更多的安排能够练习和布置更大、更杂乱的人工智能模型。”

谷歌在其网站上共享了TPU v5e装备,分为练习和推理页面。

谷歌在其网站上标明,该练习模型用于“转化、文本到图画和卷积神经网络(CNN)的练习、微调和服务”。

谷歌别的宣告,搭载多达2.6万个英伟达H100 GPU的A3超级核算机将于下月全面上市。A3是为运用大规划大言语模型的公司规划的,包含金融、制药和工程公司。

研讨公司SemiAnalysis在8月27日的一篇文章中说到,谷歌的TPU核算基础设施是它的主力。这篇文章首要针对的是“GPU贫民”,也便是那些没有准备好运用GPU的公司。这篇帖子引起了OpenAI首席执行官萨姆·奥特曼的回应,他写道:“难以置信的是,谷歌让那个叫SemiAnalysis的家伙发布了他们的内部营销/招聘图表,哈哈。”两边的沟通首要是友爱的打趣,没有严峻的拳打脚踢。

OpenAI的基础设施充满了GPU,这在必定程度上要归功于微软的人工智能基础设施,后者在英伟达的图形芯片上投入了双倍的资金。云核算供给商要想运用英伟达的A100和H100 GPU,就要收取适当高的费用。但与微软不同的是,谷歌并没有把鸡蛋放在一个篮子里,添加TPU能够供给多种价位的人工智能产品。

亚马逊AWS还整合了其自主研制的Trainium和Inferentia芯片,用于训练和推理。英特尔的人工智能芯片有10亿美元的订单,其间包含Gaudi2和Gaudi3芯片。

原文《Google TPU v5e AI Chip Debuts after Controversial Origins 》。


使用道具举报

您需要登录后才可以回帖 登录 | 1秒注册

站长论坛积分规则

辽ICP备1752569053号-2|Archiver|手机版|小黑屋|站长论坛

GMT+8, 2024-02-22 , Processed in 0.295106 second(s), 188 queries .

Powered by 奕推

© 本站内容均为会员发表,并不代表本站长论坛立场!

返回顶部