深度强化学习使水下自主车辆和机器人能够准确定位和跟踪物体和海洋动物。包括UPC计算机科学系的马里奥·马丁教授在内的一组研究人员首次证明了这一点。
来自计算机科学系、在加泰罗尼亚政治大学巴塞罗那信息学院(FIB)任教的马里奥·马丁教授组成了一个研究小组，其他科学家也首次证明了深度强化学习——一种基于一系列奖励来学习在任何时刻采取最佳行动的神经网络——允许水下自主车辆和机器人定位并仔细跟踪物体和海洋动物。这些细节发表在机器人领域领先的科学杂志《科学机器人》上的一篇论文中。
该团队由巴塞罗那海洋科学研究所(ICM- csic)领导，还由来自巴塞罗那海洋科学研究所、赫罗纳大学(UdG)和加州蒙特利湾水族馆研究所(MBARI)的研究人员组成。
面对探索海洋的许多困难，水下机器人技术目前正成为提高海洋知识的关键工具，其运载工具能够下潜至4000米的深度。此外，它们提供的现场数据有助于补充其他数据，例如从卫星获得的数据。这项技术使研究有助于调节气候变化的海洋生物的二氧化碳捕获等小规模现象成为可能。
具体来说，这项工作揭示了强化学习，广泛应用于控制和机器人技术以及当前自然语言处理工具(如ChatGPT)的开发，允许水下机器人学习在每一刻执行什么动作以实现特定目标。这些行动策略匹配——在某些情况下甚至改进——基于分析开发的传统方法。
“这种类型的学习使我们能够训练神经网络来优化特定的任务，否则很难实现。例如，我们已经能够证明，有可能优化车辆的轨迹，以定位和跟踪水下移动的物体，”该研究的主要作者Ivan masmitjjo解释说，他曾在ICM-CSIC和MBARI之间工作。
这“将使我们能够深入研究生态现象，如使用自适应自主机器人的大量海洋物种的迁徙或小型和大规模运动。”此外，这些进步将使通过机器人网络实时监测其他海洋仪器成为可能，其中一些机器人可以留在水面上，通过卫星监测和报告水下机器人平台的行动，”ICM-CSIC研究员Joan Navarro指出，他也参与了这项研究。
这项研究的成功取决于范围声学技术的使用，该技术允许根据在不同点进行的距离测量来估计物体的位置。然而，这使得定位目标的精度高度依赖于声学距离测量的位置。这就是人工智能的应用，特别是强化学习的应用，它可以识别最佳点，从而使机器人执行的最佳轨迹变得重要。
神经网络的部分训练使用巴塞罗那国家超级计算中心Supercomputación (BSC-CNS)的计算机集群，该中心拥有西班牙最强大的超级计算机，也是欧洲最强大的超级计算机之一。UPC教授、论文作者之一马里奥·马丁表示:“这使得调整几种算法参数的速度比使用传统计算机快得多。”
经过训练后，这些算法在几辆自动驾驶汽车上进行了测试，包括由赫罗纳大学计算机视觉和机器人研究所(VICOROB)开发的AUV Sparus II，在Sant Feliu de Guíxols港、Baix empord孔和蒙特利湾(加利福尼亚州)进行的一系列实验任务中，与MBARI生物灵感实验室的首席研究员Kakani Katija合作。
对于未来的研究，该团队将研究应用相同算法解决更复杂任务的可能性。例如，通过多平台强化学习技术，使用多辆车来定位物体，共同检测锋面和温升峰或藻类繁殖
