受Go和Super Mario等游戏精通人工智能(AI)的启发，国家同步加速器光源II(NSLS-II)的科学家培训了AI代理-一种观察和行动的自主计算程序-如何进行研究实验通过使用相同的方法来达到超人的水平 Brookhaven小组在《机器学习：科学与技术》杂志上发表了他们的发现，并将AI代理作为NSLS-II研究能力的一部分进行了实施。
作为位于能源部布鲁克海文国家实验室的能源部(DOE)科学办公室用户设施，NSLS-II每年可以使2000多名研究人员进行科学研究，从而可以使用该设施的超亮X射线。来自世界各地的科学家来到该实验室，以促进他们在电池，微电子学和药物开发等领域的研究。但是，很难获得NSLS-II实验站的时间(称为“束线”)，因为尽管该设施每天进行24/7全天候工作，但想要使用它们的研究人员几乎是任何一个站一天可以使用的研究人员的三倍。
射线束科学家丹尼尔·奥尔兹(Daniel Olds)表示：“由于在我们设施中的时间是宝贵的资源，因此我们有责任成为好管家;这意味着我们需要找到更有效地利用这种资源的方法，以便我们能够开展更多的科学工作。”在NSLS-II上发表，并且是该研究的通讯作者。“我们的瓶颈是测量样品的人员。我们提出了一个初步的策略，但是在测量过程中要对其进行动态调整以确保一切顺利进行。但是我们不能一直观察测量结果，因为我们不仅需要进行实验，还需要吃饭，睡觉和做更多的事情。”
“这就是为什么我们教AI代理像进行电子游戏一样进行科学实验。这使机器人可以在我们(人类)不在时进行实验。它可以全天候，完全远程地进行操作NSLS-II的研究助理，这项研究的第一作者Phillip Maffettone补充说，这种非常规实验的效率几乎是人类所能达到的两倍。
根据研究人员的说法，他们甚至不必给AI代理提供运行游戏的“游戏”规则。相反，该团队使用一种称为“强化学习”的方法来训练AI代理如何进行成功的科学实验，然后在来自NSLS-II的线对分布函数(PDF)束线的模拟研究数据上对其代理进行了测试。
Beamline实验：老板级别的挑战
强化学习是训练AI代理掌握能力的一种策略。强化学习的思想是AI代理感知一个环境-一个世界-并可以通过执行动作来影响它。根据AI代理与世界互动的方式，它可能会获得奖励或惩罚，从而反映出这种特定的互动是一个好选择还是一个糟糕的选择。诀窍在于AI代理保留了与世界互动的记忆，因此它可以从经验中学习何时再次尝试。这样，AI代理便可以通过收集最多的奖励来弄清楚如何完成一项任务。
“强化学习的确非常适合教AI代理如何玩视频游戏。这对于具有简单概念(例如收集尽可能多的硬币)但也具有隐藏层(例如包含更多硬币的秘密隧道)的游戏最为成功。实验遵循类似的想法：基本概念很简单，但是我们要发现一些隐藏的秘密。从根本上说，要让AI代理运行我们的束线，我们需要将束线转变为视频游戏。”
Maffettone补充说：“与电子游戏进行比较可以很好地发挥作用。在两种情况下，AI代理都在规则明确的世界中行动。在Super Mario的世界中，AI代理可以选择上下移动Mario，左，右;在光束线上时，动作将是样品或检测器的运动，并决定何时采集数据。真正的挑战是正确模拟环境-像《超级马里奥》这样的视频游戏已经是一个模拟世界，并且您可以让AI代理播放一百万次以学习它。因此，对我们来说，问题是我们如何模拟光束线，以使AI代理可以播放一百万次实验而无需实际运行它们” 。
团队通过构建光束线的虚拟版本来“游戏化”光束线，以模拟真实光束线可以进行的测量。他们使用了AI代理在“播放”时可以在虚拟光束线上进行实验的数百万个数据集。
“培训这些AI与我们在束线中进行的大多数编程都大不相同。您没有明确告诉代理商要做什么，但是您正在尝试找出一种奖励结构，使他们按照自己的方式行事。这是有点像第一次教孩子如何玩电子游戏。您不想告诉他们应该采取的每一个步骤，而是希望他们开始自己推断策略。” 奥尔兹说。
模拟了束线并且AI代理学习了如何使用虚拟束线进行研究实验之后，就该测试AI处理许多未知样本的能力了。
“在我们的光束线中，最常见的实验涉及从一到数百个样品的所有东西，这些样品通常是相同材料或相似材料的变体，但是我们对样品的了解还不足以了解如何最好地测量它们。因此，作为人类，我们需要一步一步地进行所有操作，进行快照测量，然后根据这项工作提出一个好的策略。现在，我们只需要训练有素的AI代理就可以解决这个问题。 ”，奥尔兹说。
在他们的模拟研究场景中，在有限的测量时间(例如有限的测量时间)下，AI代理能够以高达人类两倍的效率来测量未知样品。
“我们不必按照科学家的逻辑来编程如何进行实验，它可以通过反复玩弄自己找出这些策略。” 奥尔兹说。
材料发现：加载新游戏
在AI代理准备好采取行动之后，团队现在该思考如何通过移动束线的实际组件来进行真实的实验。为了应对这一挑战，科学家与NSLS-II的数据科学和系统集成(DSSI)计划合作，创建了后端基础架构。他们开发了一个名为Bluesky-adaptive的程序，该程序充当AI工具和Bluesky(运行所有NSLS-II射线束的软件套件)之间的通用接口。该界面为在NSLS-II的其他28条光束线上使用类似的AI工具奠定了必要的基础。
“我们的代理现在不仅可以用于一种类型的样本，也可以用于一种类型的测量，它非常适应。我们能够根据需要对其进行调整或扩展。既然管道已经存在，那么我需要花费45分钟的时间进行讨论并用15分钟的时间在我的键盘上调整代理以适应他们的需求。” Maffettone说。
该团队希望今年春天使用AI代理进行首次真实实验，并正在与NSLS-II的其他光束线进行积极合作，以使该工具可用于其他测量。
“更有效地使用仪器的时间就像更高效地运行引擎-我们每年都会发现更多的发现。我们希望我们的新工具能够采用一种新的变革性方法，以相同的资源增加用户设施的产量。”
使这一进步成为可能的团队还包括来自NSLS-II DSSI计划的Joshua K. Lynch，Thomas A.Caswell和Stuart I.Campbell，以及来自布法罗大学的Clara E. Cook。