办理AI浩劫题：怎样低落AI运转对动力的斲丧？

就当下来看，AI范畴实现突破性希望的深度进修模子，其范围越大，能耗和本钱也随之增添。天然说话处置惩罚模子GPT-3便是个典范的例子，为了可以或许在正确性与速率方面与人类相对抗，该模子包罗1750亿个参数、占用350 GB内存并孕育发生高达1200万美元的模子练习本钱。并且单从本钱来看，家人们应该就能领会到它所斲丧的海量能源。

UMass Amherst的研究职员们发觉，练习大型AI模子所必要的算力每每对应凌驾60万英磅二氧化碳排放量，相称于五台家用汽车在整个利用周期内的全部排放！

更要命的是，这些模子在现实生产情况中（即推理阶段）还必要泯灭更多能源以不停产出阐发结论。依据英伟达的估算，神经网络模子运行所孕育发生的本钱有80%至90%来自推理阶段、而非练习阶段。

是以有看法以为，要连结AI技能的快速前进，我们一定想方法找到一条具备情况可连续性的门路。但究竟证明，我们完全可以将大范围模子缩减为可以或许运行在平常事情站或办事器上的巨细，且险些不影响正确性与速率。

下面，我们先来聊聊为什么呆板进修模子总是这么巨大痴肥。

当前，盘算本领每3到4个月即翻一番

十多年前，斯坦福大学的研究职员发觉，用于为视频游戏中的庞大图形提供处置惩罚支持的处置惩罚器（GPU）可以或许在深度进修模子中提供极高的盘算服从。这一发觉掀起一轮“武备比赛”，各厂商争相为深度进修应用步伐开辟出越来越壮大的专用硬件。与之对应，数据科学家们创建的模子也越来越巨大，盼望借此带来更正确的处置惩罚效果。两股气力相互缠绕，也就形成了现在的态势。

来自OpenAI的研究证明，现在团体行业都处于如许的升级轮回当中。2012年至2018年时期，深度进修模子的盘算本领每3到4个月就翻一番。这意味着六年时间内，AI盘算本领增进达惊人的30万倍。如前所述，这些算力不但可用于练习算法，同时也能在生产情况中更快带来阐发效果。但MIT的终极研究则评释，我们到达盘算本领极限的时间大概远远早于家人们的想象。

更紧张的是，资源层面的限定导致深度进修算法开始成为少少数构造的专属。我们固然盼望利用深度进修从医学影像中检测癌细胞改变、大概在交际媒体上主动扫除愤恨谈吐，但我们也的确无法蒙受体量更大、耗电量更高的深度进修模子。

将来：少便是多

荣幸的是，研究职员们发觉了多种新要领，可以或许利用更智能的算法缩小深度进修模子，并重新调解练习数据集的利用方法。云云一来，大型模子也可以或许在设置装备摆设较低的小范围生产情况内运行，并陆续依据用例提供须要的效果。

这些技能有望推动呆板进修普通化，关心那些没有足够款项或资源的构造也能练习算法并将结果投入生产。这一点对付无法容纳专用AI硬件的“边沿”用例显得尤其紧张，包罗摄像机、汽车仪表板以及智能手机等小型设置装备摆设。

研究职员们一向实验删除神经网络内的某些非须要毗连，或低落某些数学运算的庞大性等方法缩小模子体积。这些更小、更快的模子可以或许在恣意位置以雷同于大型模子的正确度与性能连结运行。云云一来，我们不再必要猖獗寻求极致算力，也就有望缓解对情况的庞大粉碎。究竟上，缩小模子体量、提拔模子服从已经成为深度进修的将来进展偏向。

另一个紧张题目，则表现在针对差别用例在新数据集上重复练习大型模子方面。迁徙进修技能有望消除此类题目——这项技能以预练习完成的模子作为出发点，可以或许利用有限的数据集将模子知识“迁徙”至新使命当中，是以我们不必从零开始重新练习初始模子。这既是低落模子练习所需算力的紧张本领，也将极大缓解AI进展给天然情况带来的能源压力。

底线在哪？

只要有大概，模子该当、也一定追求“瘦身”以低落算力需求。

别的，模子得到的知识应该可以接纳并再次使用，而不必每次都从零开始实行深度进修练习历程。终极，统统有望低落模子范围、减少算力斲丧（而不会影响性能或正确性）的要领都将成为解放深度进修能量的紧张新机会。

云云一来，任何人都可以或许以较低的本钱在生产情况中运行这些应用步伐，同时极大减轻对天然情况造成的压力。当“大AI”开始变小时，此中必将储藏很多新的大概。对付如许的远景，我们满盈期望。