微软:专用硬件将使必应搜索AI性能提高10倍

  • 时间:
  • 浏览:1
  • 来源:1分时时彩官网_网络1分时时彩网站_1分时时彩玩法

据VentureBeat报道,微软今天宣布,通过使用专门为人工智能(AI)计算开发的硬件,使其机器学习模型的性能提高10倍以上,而那先 模型都须要为必应(Bing)搜索引擎提供强大支持。

▲图:这是英特尔公司的Stratix 10 FPGA,微软在其数据中心使用的模型之一

微软的新系统被称为Brainwave,它的设计目的是接受训练有素的神经网络,尽时候快地运行它,并使其延迟时间最短。其目标是为应用线程池提供大致实时的AI预测,比如新的必应功能。此举是微软向其云客户提供的又一项支持,让其云客户都须要尽快运行亲戚亲戚我们我们我们我们被委托人的硬件驱动AI模型。

必应今天还进行了多项功能更新,包括在用户将鼠标指针悬停在不太常用单词上面的原先给出解释,并给出了怎样回答那先 的问提的多种最好的办法 。那先 功能都有由Brainwave额外支持的。

微软正在使用来自英特尔的现场可编程门阵列(FPGA)来进行AI计算。FPGA基本上可是空白画布,开发者都须要通过发送新的软件来部署各种不同的电路。这提供了可编程性和性能的有趣组合,时候产生的电路对特定的应用线程池(如AI计算)进行了优化,都须要在不构建新芯片的情況下进行改进。

时候 硬件让微软不仅也能创建很快的模型,时候还都须要构建更复杂化的AI系统,时候不应用专门的硬件,那先 系统将须要大量的计算能力。类式,比为CPU构建的版本相比,必应的Turing Prototype 1模型复杂化了10倍,这是时候使用Brainwave带来的计算能力增加的结果。人太好Brainwave版本更加复杂化,但微软也能以10倍以上的效率从时候 模型中获得结果。

微软的AI计算最好的办法 不同于时候 同行,比如谷歌创建了被委托人的张量避免单元(TPU)芯片来提供类式的功能。与FPGA不同,谷歌的TPU一旦构建就必须重新配置,谷歌通过使其芯片架构尽时候广泛处于理各种潜在情況来应对时候 那先 的问提。

微软公司时候部署的FPGA有专用的数字信号避免器,用于对AI所需的时候 特定类型的数学进行优化。通过时候 最好的办法 ,公司也能获得与构建特定应用线程池的集成电路(ASIC,如TPU)相同的好处。

亚马逊有“基础设施即服务”的实例,其中包括通过云计算的附加FPGA,不过该公司还必须 完整篇 讨论被委托人对硬件的使用。

Brainwave系统由几条组件组成,首先是微软在全球数据中心部署的成千上万的FPGA。该公司的大多数服务器都有FPGA板,连接到顶部的网络交换机上。这使得服务器也能避免软件定义的网络操作,但也为微软提供了硬件加速计算池,而都有每个服务器都绑定一一四个FPGA。

举例来说,Brainwave都须要在多个FPGA之间分配一一四个模型,一起避免大量的CPU来支持它们。时候一一四个机器学习模型须要使用多个FPGA,必须 微软的系统就会将它们捆绑到公司所称的“硬件微服务”中,时候将其传递给Brainwave编译器,以便在可用的硅上分配工作负载。

时候 编译器将采用一一四个已训练完成的模型,使用像TensorFlow(源自谷歌)或微软认知工具包(也称为CNTK)的AI编程框架创建,并将其转换为一一四个上面表示,时候都须要通必须 来不要 个FPGA进行拆分,以获得最佳性能。

微软并必须 优化每个在FPGA上执行的模型,可是在其芯片上创建了一一四个软避免器,它的设计目的是为机器学习推理提供通用的执行环境。原先,开发人员就不需大概时间来优化单个阵列,一起也可享受硬件加速计算的好处。

那么 将微软的Brainwave与时候 类式系统相比较,时候它的论文仅为专有的神经网络提供了具体的性能指标。这并都有说微软在这方面是独一无二的,谷歌的论文也指出其TPU是怎样为公司本土算法提供性能数据的。

微软并必须 将其Brainwave测试的结果与GPU进行比较,后者时候成为AI计算的热门取舍。FPGA对那先 芯片的好处于于,它们不须要大量使用批量计算。

允许微软在FPGA上获得高性能的关键创新技术之一是使用新的8到9位浮点数据类型。微软发现,那先 数据类型提供了超过定点数据类型(比如8-16位整数)的性能提升,时候之须要大概的训练就都须要利用那先 数据类型。

微软也开始在它的数据中心部署特殊的设备,其中包括必须 时候 服务器组件的FPGA。原先,该公司就能更好处于理来自Brainwave的负载,时候它都须要增加软编程硬件的数量,而不需要增加更多的服务器。人太好更复杂化的模型通常须要多个CPU,但它们不须要每个FPGA都有一一四个CPU。

微软对使用FPGA加速AI计算不需要陌生。该公司的必应团队于2012年开始与硬件团队企业相互合作,此后时不时在增加对那先 芯片的使用。时候 消息也对英特尔有利,英特尔在2015年收购了FPGA制造商Altera,这笔价值167亿美元的交易为前者提供了满足微软需求的燃料。

现在,微软正致力于向外界开放Brainwave系统。FPGA时候为其智能API的主次认知服务提供动力,那先 API允许亲戚亲戚我们我们我们我们在必须 AI的情況下将智能功能嵌入到亲戚亲戚我们我们我们我们的应用线程池中。该公司还计划通过它的必应企业服务,来为企业客户提供今天所讨论的Brainwave驱动的文本理解能力。

沿着这条路走下去,亲戚亲戚我们我们我们我们很时候会看得人通过微软Azure提供的Brainwave服务,原先客户就都须要在微软的FPGA上部署亲戚亲戚我们我们我们我们被委托人的模型。