Cointime

扫码下载App
iOS & Android

微软将数万颗芯片串联成一台价格不菲的超级计算机用于OpenAI

Cointime Official

现在,这家软件制造商的云技术为公司和客户的人工智能产品提供支持,同时它还在组建一款后继产品。

当微软公司于2019年向OpenAI投资10亿美元时,它同意为这家人工智能研究初创公司建造一台大规模的尖端超级计算机。唯一的问题是:微软没有像OpenAI所需要的东西,也不完全确定它能在其Azure云服务中建造这么大的东西而不至于崩溃。

OpenAI试图训练一套越来越大的被称为模型的人工智能程序,这些程序正在吸收更多的数据,并学习越来越多的参数,即人工智能系统通过训练和再训练而发现的变量。这意味着OpenAI需要长期使用强大的云计算服务。

为了应对这一挑战,微软不得不想方设法将数以万计的英伟达公司(Nvidia Corp.)的A100图形芯片(训练人工智能模型的主力)串联起来,并改变其在机架上放置服务器的方式以防止断电。负责云计算和人工智能的微软执行副总裁Scott Guthrie不愿透露该项目的具体成本,但他说 “可能会大于”几亿美元。

微软Azure AI基础设施总经理Nidhi Chappell说:“我们建立了一个系统架构,可以在非常大的规模下运行和可靠。这就是ChatGPT成为可能的原因。这就是其中的一个模型。以后将会有很多很多其他的模式。”

这项技术让OpenAI发布了ChatGPT,这个病毒式的聊天机器人在去年11月上市后几天内就吸引了100多万用户,现在正被拉入其他公司的商业模式,从亿万富翁对冲基金创始人Ken Griffin经营的公司到食品配送服务Instacart Inc. 随着ChatGPT等生成型人工智能工具获得企业和消费者的兴趣,微软、亚马逊公司和Alphabet公司旗下的谷歌等云服务提供商将面临更多压力,以确保其数据中心能够提供所需的巨大计算能力。

现在,微软使用它为OpenAI建立的那套资源来训练和运行自己的大型人工智能模型,包括上个月推出的新的Bing搜索机器人。它还将该系统卖给其他客户。这家软件巨头已经开始着手开发下一代人工智能超级计算机,这是微软与OpenAI扩大交易的一部分,微软在其中增加了100亿美元的投资。

Guthrie在采访中说:“我们没有为他们建造一个定制的东西,它一开始就是一个定制的东西,但我们总是以一种方式来构建它,使任何想要训练大型语言模型的人都可以利用同样的改进。这确实帮助我们成为一个更好的人工智能广泛的云。”

训练一个大规模的人工智能模型需要像微软组装的人工智能超级计算机那样,在一个地方有一个大型的连接图形处理单元池。一旦一个模型投入使用,回答用户提出的所有查询(称为推理)需要一个稍微不同的设置。微软也部署了用于推理的图形芯片,但这些处理器(数十万个)在地理位置上分散在该公司60多个地区的数据中心。微软周一在一篇博文中说: 现在,该公司正在为人工智能工作负载添加最新的Nvidia图形芯片(H100)以及Nvidia最新版本的Infiniband网络技术,以更快地分享数据。

新的必应仍处于预览阶段,微软正在逐步从等待名单中增加更多的用户。Guthrie的团队每天与大约二十几名员工举行会议,他们被称为 “维修人员”,因为他们是在比赛中调整赛车的“机械师”。该小组的工作是弄清楚如何快速上线更多的计算能力,以及解决出现的问题。

Guthrie说:“这在很大程度上是一种集合,就像,'嘿,任何人有一个好主意,让我们今天把它放在桌子上,让我们讨论一下,让我们弄清楚,我们能在这里减少几分钟吗?我们可以减少几个小时吗?几天?”。

云服务依赖于数以千计的不同部件和物品(服务器、管道、建筑物的混凝土、不同的金属和矿物等各个部分)任何一个部件的延迟或短缺,无论多么微小,都会使一切都中断。最近,维修人员不得不处理电缆托架的短缺问题,这种篮子一样的装置用来放置机器上的电缆。所以他们设计了一种新的电缆盘,微软可以自己生产或找地方购买。Guthrie说,他们还在研究如何在全球现有的数据中心中尽可能多地压缩服务器,这样他们就不必等待新的创造。

当OpenAI或微软正在训练一个大型的人工智能模型时,工作在同一时间发生。它被分到所有的GPU上,在某些时候,这些单元需要相互交谈,以分享它们所做的工作。对于人工智能超级计算机,微软必须确保处理所有芯片之间通信的网络设备能够处理这种负载,而且它必须开发软件,使GPU和网络设备得到最佳利用。该公司现在已经提出了一个软件,可以让它训练具有几十万亿个参数的模型。

因为所有的机器都是一次性启动的,所以微软必须考虑到它们的放置位置和电源的位置。Guthrie说,否则就会出现数据中心的情况,就像你在厨房里同时打开微波炉、烤面包机和吸尘器一样。

Azure全球基础设施总监Alistair Speirs说,该公司还必须确保它能够冷却所有这些机器和芯片,并使用蒸发,在较凉爽的气候下使用外部空气,在炎热的气候下使用高科技沼泽冷却器。

Guthrie说,微软将继续研究定制的服务器和芯片设计以及优化其供应链的方法,以获得任何速度上的提高、效率和成本上的节省。

他说:“现在让世界惊叹的模型是建立在我们几年前开始建造的超级计算机上的。新的模型将建立在我们现在正在培训的新的超级计算机上,这台计算机大得多,将实现更多的复杂性”。

评论

所有评论

推荐阅读

  • IPO在即,灰度创始人Barry Silbert回归出任董事会主席

    Grayscale Investments 在提交保密 IPO 申请后,宣布四项高管任命并迎回创始人 Barry Silbert 担任董事会主席。新任命的高管包括:首席运营官 Diana Zhang、首席营销官拉蒙娜·波士顿 Ramona Boston、首席传讯官 Andrea Williams、首席人力资源官 Maxwell Rosenthal。四位高管都将向灰度首席执行官 Peter Mintzberg 汇报,他们均来自传统金融巨头,包括桥水基金、阿波罗全球管理、高盛和城堡投资。 Barry Silbert 于 2013 年创立灰度,于 2023 年底辞去灰度董事长一职,此次将接替 Mark Shifke 担任董事会主席,Shifke 将继续留任董事会,目前董事会成员已增至五人。公司表示正在考虑增加独立董事。 Barry Silbert 表示:「我很荣幸能够在公司乃至更广泛的数字资产生态系统的关键时刻重新加入灰度董事会。我始终坚信公司的长期定位以及引领公司前进的领导团队。」

  • SharpLink Gaming增持18,680枚以太坊,总持有498,884枚

    据链上分析师 Onchain Lens 监测,SharpLink Gaming(股票代码:SBET)今日再次增持18,680枚以太坊,价值约6,663万美元。此次增持后,该公司以太坊储备总量达到498,884枚,总价值约18亿美元。

  • Bullish向美国证交会提交IPO申请,拟募资6.29亿美元

    数字资产交易所Bullish及其子公司CoinDesk已向美国证券交易委员会(SEC)提交首次公开募股(IPO)申请。根据申请文件,Bullish计划发行2030万股,发行价区间为28-31美元/股,最高募资金额为6.29亿美元,对应公司估值约42亿美元。 Bullish业务范围包括数字资产现货交易、杠杆交易和衍生品交易,同时为稳定币发行机构提供流动性服务。财务数据显示,该公司2025年第一季度数字资产销售额达8020万美元,净亏损3.49亿美元。Bullish曾于2023年以7260万美元收购加密货币媒体平台CoinDesk。

  • 欧盟将对美国的贸易反制措施暂停6个月

    市场消息:欧盟将对美国的贸易反制措施暂停6个月

  • 去中心化操作系统 OpenMind 完成 2000 万美元融资,Pantera Capital 领投

    智能机器去中心化操作系统 OpenMind 宣布完成 2000 万美元融资,Pantera Capital 领投,Coinbase Ventures、Digital Currency Group 和 Ribbit 等参投。 据悉,这家初创公司正在开发一款名为 FABRIC 的“硬件无关”操作系统,旨在支持“智能机器融入日常生活”。该协议为支持人工智能的机器人提供了一种通信和协调的方式。

  • 加强个人境外收入监管 境外买卖股票收入也要缴税

    《金融时报》刊文,据了解,近期有纳税人收到了税务部门通知,告知其需要依法办理境外所得申报并缴纳相应税款。“根据我国个人所得税法,个人股票交易所得属于财产转让所得,应当适用20%的税率按次征收。其中,个人在境内二级市场的股票交易所得暂免征收个人所得税;在境外直接进行股票交易所得没有免税规定,需要在取得所得的次年申报纳税。”吉林财经大学税务学院院长张巍解释说。为了更加合理的征收,我国税务部门在征管时,允许纳税人按照纳税年度盈亏相抵,但不允许跨年互抵。依法纳税是每个公民应尽的义务。个人未申报或者未如实申报境外所得,除了会被税务机关要求补缴税款外,还会被加收滞纳金,情形严重的还可能被稽查部门立案检查,将面临税务处罚。纳税人如果发现自己此前申报个税时,存在少报、漏报境外所得的,要及时补正。

  • 美国SEC文件显示特斯拉批准向马斯克授予9600万股股票奖励

    美国SEC文件显示:特斯拉(TSLA.O)批准向马斯克授予9600万股股票奖励,马斯克将按每股23.34美元的价格购买已获授股票。

  • Binance Alpha:持有至少 200 币安 Alpha 积分的用户可申领 1000 个 DARK 代币空投

    据官方公告,Binance Alpha 是首个上线 DarkStar(DARK)的平台,Alpha 交易将于 2025 年 8 月 4 日 20:00(UTC+8)开始。 交易开始后,持有至少 200 个币安 Alpha 积分的用户可申领 1000 个 DARK 代币空投。先到先得。若活动未结束,则分数门槛将每小时自动降低 15 分。 请注意,申领空投将消耗 15 个币安 Alpha 积分。用户需在 Alpha 活动页面于 24 小时内确认申领,否则视为放弃领取空投。

  • 香港《稳定币条例》正式生效:储备资产须全额覆盖流通面值

    8月1日,香港《稳定币条例》正式生效,建立起稳定币发行人牌照制度,完善香港对虚拟资产活动的监管框架。大湾区国际资讯科技协会会长杨德斌表示,如今国际上稳定币的发展已经达到一定规模。香港在这个时点推出《稳定币条例》,是在监管方面与时俱进的体现。与国际标准接轨,中国香港在制定稳定币相关规定时也力求与全球其他国家和地区的标准接轨。根据香港《稳定币条例》,持牌人必须确保其发行的指定稳定币的储备资产的市值,始终不低于该类稳定币尚未赎回且流通中的面值。持牌人应考虑储备资产的风险状况,确保有适当的超额抵押以覆盖市场风险。

  • 分析师:降息预期升温与SEC新政共振,市场情绪回暖

    Kronos Research 首席投资官 Vincent Liu 表示,在宏观不确定性与机构买盘交织下,当前市场呈现「谨慎乐观」情绪。恐惧与贪婪指数趋向「贪婪」,鲸鱼买入与降息预期正推动交易员重新配置风险资产。 投资者正关注将于 8 月 12 日公布的美国 7 月 CPI 数据,作为下一轮加息或降息决策的关键指标。尽管美联储在 7 月 FOMC 会议上维持利率不变,鲍威尔表示 9 月降息仍取决于经济数据,但 CME 美联储观察数据显示,市场预期有逾 80% 概率将下调 0.25 个百分点。 此外,Liu 认为美国 SEC 启动的「Project Crypto」或将在中长期利好市场。该项目将通过明确代币分类与引入 DeFi 创新豁免机制,降低监管不确定性、推动 DeFi 增长,并增强市场信心。