从强化进修到MCTS，从星际争霸AI到主动驾驶，上海人工智能试验室开源决议计划智能平台OpenDILab，自带最优参数，一键上手SOTA决议计划AI算法，AI开辟者们从速尝尝这个新开源的国产决议计划AI平台OpenDILab。

撰文 | 呆板之心编辑部

开源是推感人工智能技能前进的紧张气力。

比年来，AI开辟者们也一向在享受着开源带来的技能盈余：前沿算法、数据、AI框架、乃至算力。这些开源资源为开辟者们带来了极大的方便，而反过来，通过汇聚开辟者们的气力，这些开源项目也得到了极大的进展。

在意识到开源的气力之后，国内高校、企业也纷纷参加到开源社区。

昨日，在2021天下人工智能大会上，上海人工智能试验室就做出了开源新行动：开源决议计划智能平台OpenDILab。

2021WAIC大会科学前沿全领会议上，上海人工智能试验室青年科学家刘宇博士公布OpenDILab开源决议计划AI平台

据先容，它是首个笼罩最全学术界算法和产业级范围的决议计划AI平台。也便是说，OpenDILab不但实现了最全面的算法笼罩，比方强化进修，还提供了富厚的产业级应用情况，可应用于主动驾驶、游戏竞技等范畴。

现在，OpenDILab已经被放到Github上。就让我们对此项目一探本相。

GitHub：http://github.com/opendilab/

一 为什么要开源OpenDILab？

起首，为什么要做如许一个平台？

我们知道，已往10年，感知AI已经让呆板具备了从「看清」到「看懂」的本领，比方，给定一张猫的图片，呆板可以或许鉴别出这是一只猫。

然而相较于这种感知层面的人工智能，决议计划AI题目是一项越发庞大的使命，它必要举行推理、决议计划、计划等。

是以，决议计划AI是下一代AI的紧张偏向已经是业界共鸣。

现在决议计划AI重要存在两浩劫题：

一是决议计划类题目因涉及多模态数据空间、跨标准盘算规律、多范畴算法融合，这些题目很难尺度化。与感知类AI单纯的视觉信息差别，决议计划类AI通常必要同时处置惩罚诸如图像、语音、布局化数据等多种庞大模态的数据范例。别的，单机单卡与多机多卡乃至跨集群盘算的决议计划AI盘算规律也完全差别。差别使命间的最优算法设置装备摆设也差异较大。

二是作为一个前沿范畴，决议计划AI的题目界说和研究视角在学术界和产业界之间存在庞大差距，诸多新颖的学术算法缺少情况和盘算pipeline上的通用性，许多情形下只能范围于toy model级另外试验情况，无法转化到真正的产业场景上去，而从产业界自己来看，怎样将现实题目抽象为得当现有的决议计划AI算法办理的情况，还是拦阻决议计划AI技能应用实践的焦点门槛。

针对决议计划AI的技能困难，以及产学研协同创新历程中的困难，上海人工智能试验室开源了OpenDILab平台。它初次将财产应用中对付练习体系、情况接口、算法设计的需求与学术界举行了有用毗连。

作为一套完备的决议计划 AI 练习与构造框架，OpenDILab 平台自顶而下笼罩了应用层、算法层、练习层和支持层，适配了从单机到办事器集群范围的全标准高效练习pipeline。

OpenDILab平台概览。

· 应用层：涵盖多种决议计划场景，支持多模态数据空间的表现和变更，并提供大量性能优秀的算子，助力AI做出最优决议计划；

· 算法层：提供多种常用模块化组件，可在此底子上构建差别的算法模子，支持用户多维度的扩展和定制，完成决议计划AI算法的大同一；

· 练习层：内置多种范例的实行盘算图，并深度优化了相应数据吞吐和资源使用率，可为小到学术研究，大到产业级应用的多种范围题目提供支持；

· 支持层：实验了CUDA异构盘算和决议计划AI算法的联合，而在资源调理方面，OpenDILab可依据算法和资源，动态治理整个练习历程，提供特别主动化维护等多种微办事。作为一个体系工程，OpenDILab为AI+SYSTEM带来了全新形态。

二 一键实现决议计划算法与应用

OpenDILab (beta) 开源后，研究者和开辟者们可以访问github，猎取最强最全的决议计划AI算法Zoo，检察主动驾驶、游戏AI等产业题目在OpenDILab平台加持下的详细实践，以及诸多决议计划AI体系设计和优化的相干组件。

在OpenDILab（beta）的开源版本里，我们可以看到它已经开放了四个焦点代码库，最底层的DI-engine，致力于办理决议计划AI情况算力尺度化的练习题目；中层的算法抽象层DI-zoo，提供了现在最全最强的决议计划AI算法聚集。另有顶部应用生态层，开源了基于 DI-engine的主动驾驶决议计划平台DI-drive和面向计谋游戏《星际争霸II》的大范围漫衍式练习平台DI-star。

DI-engine是一个通用的决议计划智能引擎，不但支持 DQN、PPO、SAC 等大多数底子的深度强化进修（DRL）算法，并且支持诸多特定研究范畴的算法，如多智能体RL中的QMIX、逆向RL中的GAIL 和探究和希罕嘉奖题目中的HER，RND等等。对付每种算法，可以从多种情况和多种练习pipeline的角度探究决议计划AI技能的差别形态。

DI-zoo则可认为开辟者提供当前最全、最强的决议计划AI算法集，拥有包罗强化进修、MARL、MCTS等20多种跨范畴决议计划AI算法，支持10多个决议计划AI情况，并原生集成了大量研究员的算法调优履历。这为开辟者省去了调参困扰，便利在同一平台比拟性能。

而说到应用层的两个代码库：DI-star、DI-drive，可以说是研究决议计划AI最符合的场景。

从国际象棋、围棋到麻将、斗田主，各种游戏一向都是AI挑衅的工具，而这些庞大的游戏也成为了研究AI技能的绝佳场景。星际争霸2作为现在难度最高的游戏之一，为查验人工智能决议计划本领提供了符合的舞台。

基于DI-engine的底层支持和大范围漫衍式深度强化进修练习技能，DI-star打造出了人类大家分段程度星际争霸2智能体，并把完备的技能实现细节和与人机对战测试（仅需Windows体系+1060以上显卡）开放给全部人，盼望借此促进通用人工智能的研究。

同时OpenDILab团队也盼望借助DI-star，汇聚更多社区开辟者的气力优化大范围深度强化进修练习服从等方面的题目，将AlphaStar级另外智能体设计简化到本来的1/20～1/30。

主动驾驶同样也是当古人工智能的热门研究偏向。决议计划、计划与操纵是主动驾驶使命的大脑，被各至公司视作高度保密技能。DI-drive是主动驾驶范畴第一个开源的，大家可以参加的研究平台。

DI-drive支持种种仿照学强化进修等决议计划算法，支持多模态范例的输入输出，支持高度定制的可视化模块，为主动驾驶和决议计划 AI 搭建了至关紧张的桥梁。DI-drive 还自主研发设计了 Casezoo 这一从实车收罗数据转化而成的测试场景，在及贴近真实的驾驶情况中练习和测试决议计划模子，促进主动驾驶范畴仿真研究在实车情况中的推广和应用。

将来，OpenDILab还将提供诸如AutoML、信控等更多的产业级生态应用，加快下一代人工智能的庞大技能突破和创新应用的落地。

而对我们开辟者来说，一个开源平台是否故意义在于能为我们带来哪些方面的增益，OpenDILab平台的开源也不破例。

无论你是想入门决议计划AI的技能萌新，照旧志在探究算法真理的研究员，又或是想应用决议计划AI技能到各种现实应用中的工程师，都可以通过OpenDILab平台得到在算法，体系，工程等方面的履历和东西支持。而现今开源的OpenDILab (beta) ，也正在期望更多的开辟者利用、反馈并渐渐美满它，整个社区一路配合构建最强最好用的决议计划AI平台。

Exploration and Exploitation，就从如今开始！