6ird“深度学习所需的大规样子容貌本数据对于算力产生巨大需求，但近日美国麻省理工学院等研究机构的讲演显示，深度学习正在迫临算力极限，而晋升算力所需的硬件、本钱和对于环境的影响正变得越来越难以承受……”
美国麻省理工学院、安德伍德国际学院和巴西利亚大学的研究职员在最近的一项研究中发现，深度学习的提高强烈地依靠于计算的增长。其结论显示，练习模型的提高取决于算力的大幅进步，详细来说，计算能力进步10倍相称于3年的算法改入成果。大量数据和算力是促入人工智能发铺的重要因素，但是研究职员以为，深度学习正在迫临算力极限。换言之，算力进步的背后，实在现目标所隐含的计算需求——硬件、环境和金钱等本钱将变得无法承受。
研究职员表示，深度学习急需革命性的算法才能让AI更有效地学习，并越来越像人类。那么，为何深度学习算法十分依靠算力的增长，现在算力的极限在哪里，如何突破？除了算力，深度学习还能否依赖其他方式改入算法机能？革命性算法的尺度是什么？
大规样子容貌本数据催生计算需求
“深度学习本质上是基于统计的科学，所以大规模的样本数据对于深度学习的效果至关重要。更大规模和更复杂的神经网络模型已经被证实非常有效，并在产品中有广泛的使用，同时这也让深度学习对计算能力有着更大要乞降消耗。”眺望智库AI事业部部长、图灵机器人首席战略官谭茗洲表示。
人工智能设计之初，并没有考虑节能原则，只要有足够的算力和电力，算法就可以一直跑下往。
2019年6月，美国马萨诸塞州大学阿默斯特分校的一份讲演显示，练习和搜索某种模型所需的电量涉及约626000磅二氧化碳排放量，这相称于美国普通汽车使用寿命内排放量的近5倍。此外，优胜的灵活性使深度学习可以很好地建立不同的模型，超越专家的模型，但也带来昂贵的算力本钱。深度学习需要的硬件负担和计算次数，背后消耗的是巨额资金。
一份业内讲演显示，华盛整理大学的Grover假新闻检测模型两周内培训用度约为25000美元。另据报道，闻名人工智能非营利组织OpenAI花费高达1200万美元练习其GPT-3语言模型，而GPT-2语言模型，每小时练习花费则达到256美元。
改入算法降低对计算平台要求
实际上，算力一直在进步。OpenAI一项研究表明，自2012年以来，每16个月将AI模型练习到ImageNet（一个用于视觉对象识别软件研究的大型可视化数据库）图像分类中，相同机能模型所需的计算量就减少了一半；谷歌的Transformer架构超越了其之前开发的seq2架构，计算量减少了61倍；DeepMind的AlphaZero与该系统的前身AlphaGoZero的改入版本相匹配，其计算量也减少了8倍。
有网友提出，现在的硬件算力晋升有些误区，不一定非得在单位面积上堆更多的晶体管，我们需要更好的框架来支持底层计算前提及相应的硬件改入。理想情况下，用消费级的GPU就能运行良多深度模型。
“人们对深度学习的机能或结果的要求越来越高，随之对于算力的需求也越来越大。要让算力增长或突破，从算法层面，首先可以优化并行计算，有效利用多机多核的计算能力，灵活知足各种需求。同时，相对于传统的基于单机编写的程序，假如改写为多机多核的并行程序，能够充分利用其CPU和GPU（或AI芯片）的资源，将使运行效率大幅度晋升。”西安电子科技大学电子工程学院教授吴家骥表示。
除了算力，深度学习本身还可通过哪些方式改入算法？吴家骥先容，深度学习都是在异构硬件上运行，大数据入进时，需要分流处理，从算法上来望，可以调度优化，让异构架构（CPU、GPU、AI芯片）因地制宜地调度深度学习和大数据处理业务。
吴家骥指出，未来可能很长一段时间内，对深度算法的改入，不仅要从架构、硬件上考虑，还要考虑模型的压缩能力。例如，就详细问题而言，考虑如何把大象关入冰箱，但问题是冰箱关不了大象，但若把大象压缩成小猫小狗的大小，就可装进冰箱。这就需要模型压缩，在保证精度的条件下，压缩神经网络模型，降低对计算平台的要求，大大进步计算效率，知足更多的实际场景需求。
研究职员以为，在算法水平长进行深度学习改入已有先例。例如谷歌的张量处理单元，现场可编程门阵列和专用集成电路，并试图通过网络压缩和加速技术来降低计算复杂性。他们还引用了神经体系结构搜索和元学习，查找在一类问题上保持良好机能的体系结构，以此作为计算上有效改入算法的途径。
算力增长未必会让AI拥有类人智力
无疑，算法突破的目的是让机器更像人类大脑一样具有神经元的功能。但就功耗而言，大脑要像超级计算机那样运算，自身温度就会飙升上百摄氏度，所以若简朴以为更多的计算能力就可让人工智能拥有人类智能的设法主意显然是存在争议的。
“人类的智能中基因与常识是机器所不具备的，其中基因是不需要计算的，常识是可以通过简朴计算实现的。”谭茗洲指出。
“常识决定了基本能力、发现力和创造力，而具有常识能力，是更进步前辈意义上的人工智能。革命性的算法，就是要让AI具备拥有学习常识的能力，这也是未来一个很有潜力的研究方向。”吴家骥说。
有人说，深度学习大多数是“炼金术”，大多数算法是对经验更朴实的回纳，对说的问题入行更精辟的演绎。谭茗洲说：“现在数据非常多，算力也在增强，人们依靠深度学习晋升AI智力，但‘傻学硬练’形成更强的学习方法，很难达到或超越人类的算力及智力。”
那么，革命性算法的尺度是什么，为什么优于深度学习的算法迟迟没泛起？
谭茗洲以为，革命算法的尺度首先是在不同场景具有高适应度，可以形成知识记忆和经验记忆的算法，并且低耗能低本钱。未来革命性算法有可能基于三点晋升，一是基于常识推理。因为我们面对的大量场景不是通过大量数据练习而来，人类大脑面对这些场景去去是通过常识推理运算而得出结论，而深度学习并没有建立这套体系。另外，常识和常识之间的联系关系性，加速了人类对结果的推理速度。二是基于负性小样本的学习。在深度学习模型中，去去很少往学习什么是错误的，而汲取负面行为及教训性质类型的小样本是有学习意义的。三是基于交流、沟通的学习，人与人交流在学习中分几个层次，望、听、模仿等，AI也应多从这几个方面进手，建立以交通、沟通为目的的学习，而不是单单通过大数据练习模仿人类智能。（记者 华 凌）
