选自Arixv，VentureBeat
编译|三七
责编|Bing
AI赋予机器人掌握操作和拟人的技巧已经不是什么新鲜事儿了，近日研究人员开发出让机器自己学会走路的算法。Google Brain和加州大学伯克利分校的科学家们在Arxiv上发表论文(“Learning to Walk via Deep Reinforcement Learning“)，阐述他们开发的AI系统如何“教”一个四足机器人穿越熟悉或不熟悉的地形。
“深度强化学习可用于控制器自动化采集，可应用于一系列的机器人任务，感官可作为输入映射到低级别动作，实现端到端学习的策略，”论文作者说，“如果我们（人类）可以直接在现实世界中从头开始学习行走的步态，那么原则上可以让每个机器人都学习适应特殊的地形，由此可能实现更好的灵活性、更高的能效和稳健程度。”
但其实整个过程并非一帆风顺，深度强化学习广泛应用于学习模拟运动策略，需要大量的数据，随时调节参数，在某些情况下需要数万个样本才能获得良好的结果，随着时间的推移，机器人也可能会把腿累坏。而将他们转移到现实世界的机器人中，由于模拟的差异，性能差异不可避免，还需要大量的手动建模。研究团队承认，实际应用这些算法时依然挑战性十足。
图片|四足机器人Minitaur
他们的算法采用最大熵模型，熵和奖励之间的权衡收到奖励函数的影响，而奖励函数直接影响学习速率，研究人员通过数据采集阶段和优化阶段之间交替，实现奖励规模自动化调整。
图片|Minitaur机器人穿越不熟悉的地形（两倍速）
最终结果证明一切，在OpenAI Gym中，研究人员的模型和（HalfCheetah, Ant, Walker, and Minitaur）基准线相近，甚至展现出更好的性能。在第二次测试中，研究人员将他们的模型应用于Minitaur，带8个执行器以及一个惯性测量单元（IMU），最终成功在平坦地形越过木块障碍物、上坡、跨过台阶，在实际训练过程中都没有出现过这些场景。
研究人员说，这个实验可能是深度强化学习领域的首例，，它直接在现实世界中学习欠驱动四足机器人运动，而无需任何模拟和预训练。
