近年来，人工智能（AI）技术迅猛发展，其在各个领域的应用前景令人瞩目。强化学习（Reinforcement Learning, RL）作为AI的一个重要分支，展现了超越人类专家的决策能力，尤其是在复杂的策略游戏中。然而，当我们将目光转向军事应用时，这种技术所带来的风险和挑战仍然充满未知。为此，兰德智库发布了一份关于美国国防部应用强化学习技术的风险评估报告，探讨了在军事指挥和控制中使用RL系统可能引发的技术和结构性风险。

(图片来源：视觉中国）

该报告旨在初步了解在操作级别指挥和控制中使用RL系统可能引入的风险。这些风险不仅包括技术上的失败，还涉及吸收和整合新技术对军队结构的影响。以下为报告主要内容摘编 ↓

强化学习的技术挑战

数据需求与训练复杂性

· 数据量的挑战：RL系统的成功依赖于大量的数据和复杂的训练过程。军事环境中，获取和生成大量真实操作数据是一大挑战。军事行动的数据往往涉及高保密性和复杂的操作场景，数据的收集和处理过程极为复杂。

· 训练的复杂性：训练RL系统需要在模拟环境中反复进行大量训练，以确保系统能够在各种可能的场景下作出正确决策。这种训练过程不仅耗时，而且对计算资源的需求极高。对于国防部来说，需要投入大量资源来建立和维护这些训练环境。

黑箱决策与信任问题

· 决策过程的透明度：RL系统的决策过程通常是不可解释的“黑箱”，这使得人类指挥官难以完全信任这些系统。在军事场景中，指挥官需要了解决策背后的逻辑和依据，以确保决策的可靠性和安全性。

· 信任的建立：要在军事应用中广泛使用RL系统，必须解决信任问题。这需要开发能够提供决策透明度和可解释性的RL系统，并通过不断的测试和评估来建立信任。

失败风险与不可预测性

· 系统的鲁棒性：RL系统在训练之外的环境中可能会出现失败，导致不可预测的后果。这种风险在军事应用中尤为严重，因为系统的失败可能直接导致任务的失败甚至人员的伤亡。

· 风险管理：为了应对这种风险，国防部需要建立有效的测试和评估机制，以识别和缓解潜在风险，包括在模拟环境中进行大量测试，以确保系统在各种可能的场景下都能稳定运行。

军事结构性挑战

人才吸引与保留

· 高度专业化的技能需求：RL领域需要高度专业化的技能，而这些技能在商业领域具有很高的竞争力和吸引力。对于国防部而言，吸引和保留这样的人才是一大挑战。

· 竞争激烈的市场：科技公司往往提供高薪资和良好的工作环境，吸引顶尖AI人才。国防部需要提供具有竞争力的薪酬和福利，以及创造有吸引力的职业发展机会，来吸引和保留这些人才。

数据收集与生成

· 数据获取的挑战：为了训练RL系统，国防部需要收集大量操作数据。然而，这些数据的获取和生成往往面临巨大挑战，特别是在军事环境中。

· 数据的安全性和隐私性：在收集和处理数据时，需要确保数据的安全性和隐私性，以防止敏感信息泄露。国防部需要建立强大的数据安全和隐私保护机制，以保障数据安全。

技术与现实的脱节

· 模拟与现实的差距：尽管RL在模拟环境中表现优异，但在真实世界中其表现可能大相径庭。这种脱节使得RL技术在军事应用中的测试和评估变得极为复杂和耗时。

· 现实环境的复杂性：军事行动的复杂性和不可预测性，使得在真实环境中应用RL技术面临诸多挑战。DoD需要开发能够在复杂和动态环境中稳定运行的RL系统。

报告建议

吸引与培训人才

· 人才战略：国防部应探索吸引和保留具有RL技能的人才的方法，包括提供具有竞争力的薪酬和福利，以及创建有吸引力的工作环境。

· 教育与培训：通过与高校和科研机构合作，国防部可以建立专项培训计划，培养具备RL技能的人才。同时，内部也可以设置继续教育项目，提升现有人员的技能水平。

开发数据基础设施

· 数据收集与处理：国防部需要开发获取和生成适用于RL训练的相关数据的方法，包括建立强大的数据收集和处理基础设施，并确保数据的安全性和隐私性。

· 数据共享与合作：在保障安全和隐私的前提下，国防部可以考虑与盟国和其他军事机构共享数据，促进数据资源的优化利用。

逐步应用窄AI

· 小范围试点：与其直接追求广泛应用RL技术，国防部应考虑先应用窄AI技术（即弱人工智能，weak AI，专注于某一特定狭窄领域任务的AI）解决小范围问题。这种逐步推进的方法可以降低风险，并为未来更广泛的AI应用奠定基础。

·逐步扩展：在小范围成功应用的基础上，逐步扩展RL技术的应用范围，不断总结经验，优化技术和应用策略。

结论

强化学习技术在军事领域的应用充满潜力，但也面临许多未知挑战和风险。国防部需要谨慎评估和逐步实施RL技术，以确保其能够安全和有效地提升军事能力。通过吸引顶尖人才、开发强大的数据基础设施以及逐步推进AI技术的应用，国防部可以在未来的军事应用中更好地利用强化学习技术的优势。