大 创 实 验 室

更多内容请联系我们

【前沿】从算法到硬(yìng)件,一文读懂2019年 AI如何演进

发表时间:2019-03-08 11:52作者:中科(kē)四平网址:http://www.liaoyang.bynr.xinxiang.zz.pingliang.ww38.viennacitytours.com

在过去(qù)的2018年,人工智能领域的大事件、新发现和新进展层出(chū)不(bú)穷。

BERT重磅(páng)发布,刷新了(le)很多NLP的(de)任务的最好性能(néng);GAN相(xiàng)关研(yán)究论(lùn)文持续增长,生成的照(zhào)片达(dá)到了以假乱真(zhēn)的程度(dù);Deepfakes发展神(shén)速,让许多政客(kè)和(hé)明星供大众娱乐(lè)了一番;强化学(xué)习也在与人类的对战(zhàn)游戏中独(dú)领风(fēng)骚......

硬件方面,Nvidia一(yī)骑绝尘,Intel努力求(qiú)变,定制(zhì)硬(yìng)件市场(chǎng)繁荣;

除此之外,自动(dòng)驾(jià)驶、AI伦理等也是过(guò)去(qù)一年的(de)讨论重点(diǎn)。

回顾2018展望2019,人工智能和机器学习将走向何方?

Medium的一位专栏作者为(wéi)此撰文概括了过(guò)去一年中人工智能领域的一些模式(shì),并试图勾勒出其中的某(mǒu)些趋势。注意,这篇(piān)总结是以美国的发展(zhǎn)为中心展开,以下是文章全文:

算法

毫无(wú)疑问(wèn),算(suàn)法话语(yǔ)权由深度神经网络(DNN)主导。

当然,你可能会(huì)听说有(yǒu)人在这里或(huò)那里部署了一(yī)个“经(jīng)典的(de)”机器学习模型(比如梯度(dù)提升(shēng)树或多臂(bì)老虎(hǔ)机),并声称这是(shì)每个(gè)人唯一(yī)需要的东西。有人宣称,深度学(xué)习正(zhèng)处于垂死挣(zhèng)扎中(zhōng)。甚至连(lián)顶(dǐng)级的研究(jiū)人员(yuán)也在质疑一些(xiē)深度神经网络( DNN) 架构(gòu)的效率(lǜ)和抗变换性。

但是,不管你喜欢与否,DNN无处不(bú)在: 自动驾驶汽车、自然语言(yán)系统、机器人——所有你能想到的皆是(shì)如(rú)此。

在自然语言处理、生成式对抗网络和深度增强学习中,DNN取得的(de)飞跃(yuè)尤为明显(xiǎn)。

Deep NLP: BERT以(yǐ)及(jí)其他

尽管在2018年之前,文本使用(yòng)DNN(比(bǐ)如word2vec、GLOVE和基于LSTM的模(mó)型)已经取得(dé)了一(yī)些突破,但缺少一个关键的(de)概(gài)念元素:迁(qiān)移学习。

也就是说,使用大量公开可用的(de)数据对模型进行训练,然后根据你正在处理的特定数据(jù)集对(duì)其进行“微调”。在计算机视觉中,利用在著名(míng)的 ImageNet 数据集(jí)上(shàng)发现的模式来解决特定的问题,通常(cháng)是(shì)一种(zhǒng)解(jiě)决(jué)方案。

问题是,用(yòng)于(yú)迁移学(xué)习的(de)技巧并不能很好地(dì)应用于自(zì)然语言处(chù)理(NLP)问题(tí)。在某种意义上(shàng),像 word2vec 这样(yàng)的预(yù)先训练的(de)嵌入正在弥补这一点(diǎn),但它们只能应用于(yú)单个单词级别(bié),无(wú)法捕捉到语(yǔ)言的高级(jí)结(jié)构。

然而(ér),在2018年,这种情况发生了变(biàn)化。 ELMo,情境(jìng)化嵌入成为提高 NLP 迁移学习的第一个重要步(bù)骤。ULMFiT 甚(shèn)至更进(jìn)一步: 由于(yú)不满意嵌入式的(de)语义(yì)捕捉能力,作者找到了一种为整个模(mó)型进(jìn)行迁移学习的方法(fǎ)。

但最有趣的进步无(wú)疑是BERT的引入(rù)。通过让(ràng)语言模型从英文维基百科(kē)的全部文章中进行学习,这个团队(duì)能够在11个 NLP 任务中取得最高(gāo)水(shuǐ)准的结果——这(zhè)是一个壮举!更妙的(de)是,它开源了。所以,你可以把这一突破(pò)应(yīng)用到自(zì)己的(de)研究问题上。

生成式对抗网络(luò)(GAN)的多面(miàn)性

CPU的速度不会再呈(chéng)现指数(shù)级的增长,但是生成式对抗网络(GAN)的学术论文(wén)数量(liàng)肯定会继续(xù)增长。GAN多年(nián)来(lái)一直是学术界(jiè)的宠(chǒng)儿。然而(ér),其在(zài)现实生活中的应用似乎很少,而(ér)且(qiě)这(zhè)一点在2018年几乎没有改(gǎi)变(biàn)。但是(shì)GAN仍然有(yǒu)着(zhe)惊人(rén)的(de)潜力等(děng)待着我们(men)去实现(xiàn)。

图(tú)表(biǎo).jpg

目前出现了一种(zhǒng)新的方法,即(jí)逐步增加生成式对抗(kàng)网络: 使(shǐ)生成器在整个训练过程中逐步提高其输出的分辨(biàn)率。很多令人印(yìn)象(xiàng)深刻的论文都使用(yòng)了这(zhè)种方法,其中有(yǒu)一篇采用了风格(gé)转移技术(shù)来生(shēng)成(chéng)逼真(zhēn)的照片。有多逼真?你来(lái)告诉我:

这些(xiē)照(zhào)片(piàn)中哪一张是真人?

头像.jpg

这个问题有陷阱:以上皆不是。

然(rán)而(ér),GAN是如何工(gōng)作的,以及它为什么(me)会起效呢?我们对此还缺乏深入的了解,但(dàn)是我们(men)正在(zài)采取一些(xiē)重要的(de)措施(shī): 麻(má)省理工学院的一个团队已经对这个问题进行了高质量的研究(jiū)。

另一个有趣的进展(zhǎn)是“对抗补丁“,从技术上来说它并非是一个生成(chéng)式对抗网络。 它同时使用(yòng)黑盒(基(jī)本上不考虑神经(jīng)网络的内部状态)和(hé)白盒方法来(lái)制作一个“补丁”,可以骗过一个基于 CNN的(de)分类(lèi)器。 从(cóng)而得出一个重要的结果:它(tā)引导我们更好(hǎo)地了解深度(dù)神经网络如何(hé)工作(zuò),以(yǐ)及我(wǒ)们距离获得(dé)人类级别(bié)的概念认(rèn)知还(hái)有多远(yuǎn)。

区分香蕉与面包.jpg

你(nǐ)能区分香蕉(jiāo)和烤面包机吗(ma)?人工智能仍然不(bú)能。

强化学(xué)习(RL)

自从2016年 AlphaGo 击(jī)败(bài)李世石后,强(qiáng)化学习就一直是(shì)公众(zhòng)关注的焦(jiāo)点。

在(zài)训练中,强化学(xué)习(xí)依(yī)赖于“奖励”信(xìn)号,即对其在最(zuì)后一次尝(cháng)试中(zhōng)表现的评(píng)分。电(diàn)脑游(yóu)戏(xì)提供了一个(gè)与(yǔ)现实生活相反(fǎn)的自然环(huán)境,让这种信号随时可用。因此,RL研究(jiū)的所有注(zhù)意(yì)力都(dōu)放在了(le)教(jiāo) AI玩雅(yǎ)达利游(yóu)戏上。

谈到它们的新发明 DeepMind,AlphaStar又成了新(xīn)闻。这(zhè)种新模式击败了(le)星际争(zhēng)霸 II的(de)顶级职业选手之一。星际(jì)争霸比国际象棋和围棋(qí)复(fù)杂得多,与大多数(shù)棋(qí)类(lèi)游戏(xì)不同,星际争霸有巨大的动作(zuò)空间和隐藏(cáng)在玩家身(shēn)上的重要信息(xī)。这(zhè)次胜(shèng)利对(duì)整个领(lǐng)域来说,都是一次非常(cháng)重要的飞(fēi)跃。

在(zài)RL这个领域,另(lìng)一个重要角色OpenAI也没有闲着。让它们声(shēng)名鹊(què)起的是OpenAI Five,这个(gè)系统在2018年8月击败了(le)Dota 2这个极(jí)其(qí)复杂的电子竞技游(yóu)戏中(zhōng)99.95%的玩家。

尽管 OpenAI 已经对电脑游戏(xì)给予了(le)很多关注(zhù),但(dàn)是(shì)他们并没有忽视 RL 真(zhēn)正的潜在应用领(lǐng)域: 机器人。

在现实世界中,一(yī)个人能够给予机器人的反馈是非常稀少(shǎo)且昂贵(guì)的:在(zài)你的 R2-D2(电(diàn)影中的虚拟机器人)尝试走(zǒu)出(chū)第一“步(bù)”时,你基本上(shàng)需要一个人(rén)类保(bǎo)姆来照看它。你需要数以(yǐ)百(bǎi)万(wàn)计的数据点。

为了弥合这(zhè)一(yī)差距,最新的趋势是学会模拟(nǐ)一个环境,同时并行地运行(háng)大量场景以教授机器(qì)人基(jī)本技能,然后再转向现实世界。OpenAI和Google都(dōu)在研(yán)究这种方法。

荣誉奖:Deepfakes

Deepfakes指一些伪造的图像或视频,(通常)展(zhǎn)示(shì)某个公众(zhòng)人物正在做或说一(yī)些他们从未做过(guò)或说(shuō)过的事(shì)情。在“目标”人(rén)物大量(liàng)镜(jìng)头的基础上训练一个(gè)生成(chéng)式对抗网络,然后在其中生成包(bāo)含所需动作的新媒体——deepfakes就是这样(yàng)创建的。

2018年1月发布的名为FakeApp的桌(zhuō)面应用(yòng)程序,可以让所有(yǒu)拥有计算机科学知(zhī)识的人和对此(cǐ)一无所知(zhī)的人都能创建deepfakes。虽然它(tā)制作(zuò)的视频(pín)很容易被人看出来是假的,但这(zhè)项技术已经取得了长(zhǎng)足的进步。

奥巴马.jpg


TensorFlow与(yǔ)PyTorch

目前,我们拥有很多(duō)深度学习框架。这个领域是广阔的,这种多样性表面上看是有意义的。但实际上,最近大多数(shù)人都在使用Tensorflow或PyTorch。如果你关心(xīn)可靠性、易于(yú)部署性和模(mó)型(xíng)重载等SREs 通常关心(xīn)的问题,那么你可能会选择 Tensorflow。如果你正在写一篇研究论文,而且不在(zài)谷歌工作(zuò),那么你很(hěn)可能使用PyTorch。

ML作为一种服务随处可(kě)见(jiàn)

今年,我们看(kàn)到了更(gèng)多(duō)的(de)人(rén)工智能解决方案(àn),它们被一(yī)个未(wèi)获得(dé)斯坦福大学机器学习博士学位的软件工程(chéng)师打包成一个供消费(fèi)的 API。Google Cloud和Azure都改进了旧服务,并(bìng)且增加(jiā)了新服(fú)务(wù)。AWS机器学习服务列表开(kāi)始(shǐ)看起来十分(fèn)令人生畏(wèi)。

服务.jpg

天啊,AWS的服务很快(kuài)就(jiù)会多到需要两级目录层次结构来展示了。

尽管这(zhè)种狂(kuáng)热现象已经冷却了一些,但还是有很多(duō)创业公司(sī)发(fā)出了挑(tiāo)战。每个人(rén)都承诺(nuò)了模型训练(liàn)的(de)速度、推理过程(chéng)中的易(yì)用性和惊人(rén)的模型性能。

只要输(shū)入你的信用卡信息(xī),上传你(nǐ)的数据,给模型(xíng)一些(xiē)时间去训练或者微调,调用 REST (或者,给更(gèng)有前瞻性的创(chuàng)业(yè)公司GraphQL)的 API,就可以(yǐ)成(chéng)为人(rén)工智能方面的大师,甚至不需要搞清楚“随(suí)机失活(dropout)”是(shì)什么。

有(yǒu)了这么多的选择(zé),为什(shí)么(me)还有人(rén)会费心自己(jǐ)建造模型(xíng)和基础设施呢?实际上(shàng),现成的 MLaaS 产品(pǐn)在(zài)80% 的实用案(àn)例中表现(xiàn)得非(fēi)常好。如果你希望剩下的20% 也能正(zhèng)常工作,那就没那么幸运了: 你不仅不(bú)能真正地(dì)选择(zé)模型,甚至不能控制(zhì)超参(cān)数。或者,如(rú)果你(nǐ)需要在云的舒适区之外的某个(gè)地方进行推(tuī)断(duàn)——一(yī)般情况下都(dōu)做(zuò)不(bú)到(dào)。这就(jiù)是(shì)代价(jià)。

荣誉奖:AutoML和AI Hub

今年推出的两项特(tè)别(bié)有趣的服务均由(yóu)谷歌发布。

首先,Google Cloud AutoML是(shì)一套(tào)定制的 NLP 和计算机视觉模型培训产品。 这是什么意思?汽车设计师通过自(zì)动微调几个预先训练的(de)模型(xíng),并(bìng)选择其中最好的(de)那个,从而解决了模型定制问题。这意味着你很可能(néng)不需要自己去(qù)定制模(mó)型。

当然,如果你想(xiǎng)做一些真正新鲜或(huò)不同的东西,那么这个服务并不适(shì)合你(nǐ)。但是,谷歌(gē)在大量专有数据的基(jī)础上预先训练其模型,这是(shì)一个(gè)附带(dài)的好(hǎo)处。想想(xiǎng)所有关(guān)于(yú)猫的照片,它们一(yī)定(dìng)比 Imagenet 更具推广性(xìng)!

第二,AI Hub 和 TensorFlow Hub。在这两者出(chū)现之前,重复(fù)使用某人的模型确实是件苦差事(shì)。基于 GitHub 的随(suí)机(jī)代码(mǎ)很少能用,通(tōng)常记录得(dé)很差,而且一般来说,处理起来并不愉快。还(hái)有预先(xiān)训练(liàn)的迁移学习权重……这么说吧,你甚(shèn)至不想尝试把它们用于工作(zuò)中。

这正是TF Hub想(xiǎng)要解决(jué)的问题(tí): 它(tā)是一个可靠的、有组(zǔ)织的模型存储库(kù),你可(kě)以对其进行微调或构(gòu)建。只要加入几行代码——TF Hub 客户端就可以从谷(gǔ)歌的(de)服务器上获取代码和相(xiàng)应的权重——然(rán)后,哇哦,它就可以正(zhèng)常工作了!

Ai Hub 更进一步:它(tā)允(yǔn)许你共享整个ML管道,而不仅仅是模(mó)型!它仍然处于 alpha 测试(shì)阶段,但如果你(nǐ)明(míng)白我的意(yì)思的话,它已经比一个(gè)连最新的文(wén)件也是“3年(nián)前才修改”的随机存储库要好得(dé)多。

硬件

Nvidia(英伟达)

如果(guǒ)你在2018年认真研究过ML,尤(yóu)其是DNN,那么你就曾用过一个(或(huò)多个)GPU。因此,GPU的(de)领头羊(yáng)在这一年里都(dōu)非常忙碌。

随着加密狂潮的冷却(què)和随后的(de)股价暴跌,Nvidia发(fā)布了基于(yú)图灵架构(gòu)的全新一代消(xiāo)费级(jí)卡。新卡(kǎ)仅使用(yòng)了2017年发布(bù)的基于Volta芯(xīn)片的专业卡(kǎ),且包含了被称为Tensor Cores的新(xīn)的高速矩阵乘法硬件。矩阵(zhèn)乘法是DNN运(yùn)行方式的核心,因此加快这些运算将大大(dà)提(tí)高新GPU上神经网(wǎng)络(luò)训练的速度。

对于那些对“小”和“慢”的游戏GPU不满意的(de)人(rén)来说,Nvidia更新了他们的(de)“超(chāo)级计算平台”。 DGX-2具有多达16块(kuài)Tesla V,用于FP16操(cāo)作(zuò)的480 TFLOP(480万(wàn)亿次浮(fú)点运算),真可谓是一(yī)款“怪物”盒(hé)子。而其(qí)价格(gé)也更新(xīn)了,高达40万美元。

此(cǐ)外,自动硬件也得到了更新。Jetson AGX Xavier是Nvidia希望能为下一代自(zì)动驾驶汽车(chē)提供动力的一(yī)个模块(kuài)。八核(hé)CPU、视觉加速器以(yǐ)及(jí)深度学习加速器,这(zhè)些(xiē)都是日益增长的自动驾驶行业(yè)所(suǒ)需的。

在(zài)一个有趣的开发项(xiàng)目(mù)中,Nvidia为(wéi)他们的游戏(xì)卡推出了基于DNN的一种功能:深度(dù)学(xué)习超(chāo)级(jí)取样(Deep Learning Super Sampling)。其想法是去替(tì)换抗锯齿,目(mù)前主要通过(guò)先渲染分辨率高于所需(例如4倍)的图(tú)片然后再将其(qí)缩放到(dào)本机监视器分辨(biàn)率来完成。

现在,Nvidia允许开发人员(yuán)在(zài)发布游戏之(zhī)前以极高的质量(liàng)去(qù)训练图(tú)像转换模型。然(rán)后,使用预先训练的模型(xíng)将游戏发送给最(zuì)终用(yòng)户。在(zài)游戏过程中,图形通过该模型(xíng)来运作以提(tí)高图(tú)像质量,而不会产生旧式抗锯齿的成本。

Intel英特(tè)尔

英特尔在2018年绝对不是人工智能硬件领域的开拓者,但似乎他(tā)们希望改变这一点。

令人惊(jīng)讶的是(shì),英特尔(ěr)的大(dà)多数动作都发生在软(ruǎn)件领(lǐng)域(yù)。英特尔正在努力使其现(xiàn)有和即将推出(chū)的硬件更加适合开发人员。考(kǎo)虑到(dào)这一点,他们发布了一对(既令人惊(jīng)讶(yà)又有竞争力的)工具包:OpenVINO和nGraph。

他们更新了(le)自己的神经(jīng)计算(suàn)棒:一(yī)个小型(xíng)USB设备,可以(yǐ)加速任(rèn)何带(dài)USB端口的DNN,甚至(zhì)是Raspberry Pi。

有关英特尔独立GPU的传闻变(biàn)得越来越错综复杂。虽然这一(yī)传闻持续流传,但新设(shè)备对DNN训(xùn)练的适用(yòng)性仍有待观察。绝对适用于深度(dù)学习的是传闻中的专(zhuān)业(yè)深度学习卡,它(tā)们(men)的代号为Spring Hill和Spring Crest。而后者(zhě)基于初创公司Nervana(英特(tè)尔几年前已将其收购(gòu))的技(jì)术。

寻(xún)常(cháng)(和不常见)的定制硬件

谷歌推(tuī)出了(le)他们的第(dì)三代TPU:基于(yú)ASIC的DNN专(zhuān)用加速器,具有惊人的128Gb HMB内(nèi)存。256个(gè)这样的设备组装成一个(gè)具(jù)有超过(guò)每(měi)秒(miǎo)100千兆(zhào)次性能的(de)集合体。谷歌今年不再仅凭这些设备来挑逗世(shì)界的其(qí)他(tā)玩家了,而(ér)是通过Google Cloud向(xiàng)公众提供TPU。

1.jpg

在类似的、但主要针对推理应用程序的项目中,亚马(mǎ)逊已(yǐ)经部署了AWS Inferentia:一种更便宜(yí)、更有效的在生产中运行(háng)模(mó)型的方式。

谷歌还宣(xuān)布了Edge TPU项目:这个芯片很小:10个芯(xīn)片加起(qǐ)来才有一美分(fèn)硬币的(de)大小。与此同时,它能做(zuò)到在(zài)实时视频上运行DNN,并且几乎不(bú)消耗任(rèn)何能量,这就足够了。

一个有趣的潜在新(xīn)玩家是Graphcore。这(zhè)家英国公司已经筹(chóu)集了3.1亿美(měi)元,并在2018年推(tuī)出(chū)了他们的第一款产品GC2芯片。根据基准测(cè)试,GC2在进行推理(lǐ)时碾压了顶级Nvidia服务器(qì)GPU卡,同时消耗(hào)的功率显着降低。

荣誉奖:AWS Deep Racer

亚马逊推出了一款小(xiǎo)型自动驾驶(shǐ)汽车DeepRacer,以及一个赛车联盟。这完全出(chū)人意(yì)料,但也有点像(xiàng)他们之前推出DeepLens时的情况。这款(kuǎn)400美元的汽车配备了Atom处理器(qì),400万像素(sù)摄(shè)像头,wifi,几个USB端(duān)口,以及可运行数小时的充足电量。

自动驾驶模型可以使用完全在(zài)云端的3D模拟(nǐ)环境进行训练,然(rán)后(hòu)直接部署到这(zhè)款车上。如果你(nǐ)一(yī)直(zhí)梦想着(zhe)建(jiàn)造自己(jǐ)的自动驾驶汽(qì)车,那(nà)么(me)亚马逊的这款车就能(néng)让你如(rú)愿,而不必(bì)再去自(zì)己创立受到VC支持的公(gōng)司了。

接下来还有什么?重点会转向决策智能

既然算法、基础设施和硬件等(děng)让AI变得有用的因素都比以往任(rèn)何时(shí)候要更(gèng)好(hǎo),企(qǐ)业(yè)于是意识到开(kāi)始应用AI的最(zuì)大绊脚(jiǎo)石在于(yú)其实际(jì)性层面(miàn):你如何将AI从想(xiǎng)法阶(jiē)段落实(shí)到有效、安全又可(kě)靠的生产系统中?

应用(yòng)AI或应用机器学习(ML),也称(chēng)为决策智能,是为(wéi)现实世界(jiè)问题创建AI解决方案的科学。虽然过(guò)去(qù)我们把重点(diǎn)放在(zài)算法背后的科学上,但未来我们应该对该领域的(de)端到端应(yīng)用给予更加平等的关(guān)注。

人(rén)工智(zhì)能在促进就业方面功大于过(guò)

“人工智能会拿(ná)走(zǒu)我(wǒ)们所有的工作(zuò)”是媒体一直反复宣扬的主题,也是蓝领和白领共同的(de)恐惧。而且从表面上看,这似乎(hū)是一个合理(lǐ)的预测。但到目前(qián)为止,情况恰恰相反。例如(rú),很多人都通(tōng)过(guò)创建标签数据集的工(gōng)作拿到了薪酬(chóu)。

像(xiàng)LevelApp这样(yàng)的应用程序可以(yǐ)让难民只需用手机标记自己的数据就可(kě)以赚到钱。Harmon则更进一步(bù):他(tā)们甚至为难民营中的移民(mín)提供(gòng)设备,以便这些(xiē)人可(kě)以做出贡献并以此(cǐ)谋生。

除了数(shù)据标签之(zhī)外,整个行业都是通(tōng)过新的AI技术创建的。我们能够做到几年前无法想象的事情,比(bǐ)如自(zì)动驾驶汽(qì)车或新药(yào)研发。

更多与(yǔ)ML相关的(de)计算将在边缘领域(yù)进行

Pipeline的后期阶段通(tōng)常通过(guò)降(jiàng)采(cǎi)样或其他方式降低信号的保真度。另一方面,随(suí)着AI模型变得越来越复(fù)杂,它们在数据更多的情况(kuàng)下表现得(dé)更好(hǎo)。将(jiāng)AI组件移近数据、靠近(jìn)边缘(yuán),是否会有意义吗?

举一个简(jiǎn)单的(de)例子:想(xiǎng)象一个高分辨率的摄像机,可以每(měi)秒30千兆次的速度生(shēng)成高质(zhì)量的视频。处理(lǐ)该(gāi)视频的计算机视觉(jiào)模型在服务(wù)器上运行(háng)。摄像(xiàng)机将视频流式传输(shū)到服务(wù)器,但上行带宽(kuān)有限,因此视(shì)频会缩小(xiǎo)并被高度(dù)压缩。为何不(bú)将视觉模型移动到相机(jī)并使用原(yuán)始视频(pín)流呢?

与此同(tóng)时,多个障碍总是存(cún)在,它们主要是:边(biān)缘设备上可用的计算能力的数(shù)量和(hé)管理的复杂性(xìng)(例如将更新(xīn)的模型推向边缘)。专(zhuān)用硬(yìng)件(jiàn)(如Google的Edge TPU、Apple的神经引擎等)、更高(gāo)效的模型和优化软件的出现,让计(jì)算的局(jú)限性逐渐消失。通过改进ML框架和工具,管(guǎn)理复杂性(xìng)问题不(bú)断(duàn)得到解决。

整(zhěng)合(hé)AI基础架(jià)构空间(jiān)

前几年人工智能基础(chǔ)设施相(xiàng)关活动层出(chū)不穷:盛大的公告(gào)、巨(jù)额的多轮(lún)融资和厚重的承诺(nuò)。2018年(nián),这个领域似乎降温了(le)。虽然仍(réng)然有(yǒu)很多新的进步,但大部分贡献都是(shì)由现有大型玩家做出的。

一(yī)个可能的解释也许是(shì)我们对AI系(xì)统的(de)理想基础设(shè)施(shī)的理解还不够成熟。由(yóu)于(yú)问题很复(fù)杂,需(xū)要长期、持久、专注而(ér)且财力雄厚(hòu)的努(nǔ)力,才(cái)能产生可行的解决方案——这是初创公司和(hé)小公司所不擅长(zhǎng)的(de)。如(rú)果一家初创(chuàng)公司(sī)“解决”了AI的(de)问(wèn)题,那绝对会让人惊奇不已。

另一方面,ML基础设(shè)施(shī)工程师却很少见。对于大公司来说,一个(gè)仅有几名员工(gōng)、挣扎求生的创业公司显然是很有价(jià)值的并购目标。这个行业中至少有几(jǐ)个玩家是为(wéi)了(le)胜利在不断奋斗的,它们同时建(jiàn)立了内部(bù)和外部(bù)工具。例如,对于AWS和Google Cloud而言,AI基(jī)础设施服务是(shì)一个主要卖点。

综上可以预测(cè),未来在这(zhè)个领域会出现一个(gè)整合多个(gè)玩家的垄(lǒng)断者。

更多定制硬件

至少对于(yú)CPU而言(yán),摩(mó)尔定律已经(jīng)失效了,并且这一事实已经存在(zài)很多年了。GPU很快就会(huì)遭受类似的命运(yùn)。虽(suī)然我(wǒ)们的模(mó)型变得越(yuè)来越高效(xiào),但(dàn)为了解决一(yī)些更高(gāo)级的问(wèn)题,我们需要用(yòng)到更多的(de)计算(suàn)能(néng)力。这(zhè)可(kě)以通过分布式训练(liàn)来解决,但它自身也有局限。

此外,如果(guǒ)你(nǐ)想在资源受限的设(shè)备上(shàng)运行一些较大的模(mó)型,分布式训练(liàn)会变(biàn)得(dé)毫无用处。进(jìn)入自定义AI加速器。根据你(nǐ)想(xiǎng)要的(de)或可(kě)以(yǐ)实现的自定义(yì)方式,可以节省(shěng)一个数量级的功耗、成本或潜在消耗。

在某种程度(dù)上(shàng),即使是Nvidia的Tensor Cores也(yě)已经投身于这一趋(qū)势。如果没有通用(yòng)硬(yìng)件的话,我们会看到更多的案例。

减少对训练(liàn)数据的依赖

标记数据通常很昂贵,或者不可用,也可能二者兼有。这一规则几乎没(méi)有例(lì)外。开(kāi)放的(de)高质量数据集,如MNIST、ImageNet、COCO、Netflix奖(jiǎng)和IMDB评论,都是令人难(nán)以置信(xìn)的(de)创新源泉(quán)。但是许多问(wèn)题并没(méi)有可(kě)供使用的(de)相应数(shù)据集。研究人员不可能自己去建(jiàn)立数据集,而可提供赞助(zhù)或发(fā)布数据集的大公司却并不(bú)着急:他们正在构建庞大的(de)数据集,但不让外人靠近。

那么,一个小型独立实(shí)体,如创业公(gōng)司或大(dà)学(xué)研究小(xiǎo)组(zǔ),如何为(wéi)那些困难的(de)问题提供有趣的解决方案呢?构建对监督(dū)信号依赖性越(yuè)来越小(xiǎo),但对未标(biāo)记和(hé)非结构化(huà)数据(廉价(jià)传感器的互联和(hé)增多使(shǐ)得这类数据变得很丰富(fù))依(yī)赖性越来越(yuè)大的系统就(jiù)可(kě)以实现这一点。这在一定程度上解释了人们(men)对GAN、转移和(hé)强化(huà)学习(xí)的兴趣激增的原因:所有(yǒu)这些技术都需要较少(或根本(běn)不(bú)需要)对训练数据(jù)集的投资(zī)。

所以这(zhè)一切仅仅(jǐn)是个泡沫?

这(zhè)一行业(yè)已进入热门人(rén)工智能“盛夏”的第七年。这段时间内(nèi),大量的(de)研(yán)究项目、学术资(zī)助(zhù)、风(fēng)险投资、媒体关注和代码行都涌(yǒng)入了这个领域。

但人们(men)有理由指出,人工智能所做出的大部分承诺仍然还未兑现(xiàn):他们最(zuì)近优步打(dǎ)车的行程依然是人类驾驶员(yuán)在开车;目前依然(rán)没有出现(xiàn)早上能做煎蛋(dàn)的实用机器(qì)人。我甚至不(bú)得(dé)不(bú)自己绑鞋(xié)带,真是可悲(bēi)至(zhì)极!

然而,无数研究(jiū)生(shēng)和软件(jiàn)工程师的努力并非徒劳。似乎每(měi)家大公司都已经十分依赖(lài)人工智(zhì)能,或者(zhě)在未来实施此类(lèi)计划。AI的艺术大行其(qí)道。自动驾驶汽车虽然(rán)尚未出现,但它们很快就会诞生了。

2018年,美国在人工智能领域(yù)发(fā)展迅速,中国(guó)也不遑多让。这个趋(qū)势从近期百度和(hé)BOSS直聘联合发布(bù)的《2018年中国人(rén)工智能ABC人(rén)才发展报(bào)告》中就(jiù)可窥一(yī)斑。


山(shān)东省济南市历下(xià)区舜(shùn)华路750号大(dà)学科技园北区3号楼(lóu)
服务热线:13256445996                                  www.liaoyang.bynr.xinxiang.zz.pingliang.ww38.viennacitytours.com

欧宝网页版登录入口-欧宝(中国

欧宝网页版登录入口-欧宝(中国