选自arXiv
作者：Yonghyun Jeong等
机械之心编译
介入：李诗萌、Geek AI
对于宽大星际争霸迷来说，舆图全开作弊代码「Black sheep wall」应该是再熟悉不过了！若何凭据现有状态展望未知信息是博弈历程中举足轻重的一环。日前，韩国三星公司的研究人员在星际争霸游戏中，将展望战争迷雾背后的作战单元信息建模为了一个部门可考察马尔科夫决议历程，并使用基于 GAN 的方式实现了当前性能最佳的战争迷雾去雾算法。
论文地址：https://arxiv.org/abs/2003.01927
项目地址：https://github.com/TeamSAIDA/DefogGAN
本文提出了 DefogGAN，这是一种推断即时战略（Real-Time Strategy，RTS）游戏中战争迷雾后的隐藏信息状态的天生式方式。给定一个部门可观察的状态，DefogGAN 可以将游戏的去雾图像作为展望信息天生。这样的信息可以缔造战略智能体。DefogGAN 是一种条件 GAN 的变体，它使用了金字塔重修损失，从而在多个特征分辨率尺度上举行优化。本文使用一个大型专业的星际争霸录像数据集验证了 DefogGAN。效果表明 DefogGAN 可以展望敌方建筑物和作战单元，准确率与职业玩家相当，而且比当前最佳的去雾模子的性能更好。
AlphaGo 的乐成为人工智能在游戏中的应用（Game AI）带来了极大的关注。通过深度强化学习训练的智能体可以在国际象棋、围棋和 Atari 等经典游戏中易如反掌地胜过人类。随着义务环境越来越庞大，实时战略游戏（RTS）成为了一种评估最先进的学习算法的方式。现在，Game AI 为机械学习带来了全新的时机和挑战。开发 Game AI 的利益十分普遍，不仅限于游戏应用中。在科学中应用智能体（例如，在有机化学领域中展望的蛋白质折叠）和企业的商业服务（例如，天机械人）的探索，使 Game AI 正走向一个新的时代。
在本文中，作者提出的 DefogGAN 接纳天生式方方式补全因战争迷雾造成的显示给玩家的不完全信息。本文使用星际争霸作为实验场景――这是一款 RTS 游戏，游戏中有三个平衡的种族供玩家选择，玩家要确立完全差别的游戏气概和战略。在刊行逾二十年后，星际争霸依然是一款异常受欢迎的电子竞技游戏。为了实现让 Game AI 逾越高水平人类玩家的艰难目的，本文作者使用跨越 30,000 场的职业玩家的游戏录像训练了 DefogGAN。在星际争霸中，这样的目的是很难实现的。由于星际争霸长期以来一直广受欢迎，玩家们开发出了林林总总的成熟的游戏计谋，除此之外，在电竞现场和暴雪战网（Battle.net）中玩家们还普遍使用了微操手艺。
图 1：DefogGAN 展望值和真实值的对照。友方和敌方单元在舆图（玄色）上分别用绿色和红色示意。DefogGAN 展望出了考察不到的敌方单元。
战争迷雾指在某个没有友方单元的区域中，不能获得视野和信息，这样的区域包罗所有之前探索过但现在无人值守的区域。部门可考察马尔科夫决议历程（Partially Observable Markov Decision Process，POMDP）最适合形貌战争迷雾问题。一般而言，POMDP 为真实天下中大多数有大量未考察到的变量的问题提供了一个适用的表达方式。对 Game AI 来说，解决部门可考察问题是提升性能的关键所在。事实上，许多现有的设计智能 Game AI 的方式都市遇到部门可考察问题。最近，天生模子被用来降低部门可考察问题的不确定性。行使天生模子的展望效果，智能体的性能获得了提升。然而，天生方式无法完全与顶尖的人类职业玩家的高水平侦探手艺匹敌。
星际争霸为研究与 Game AI 相关的庞大 POMDP 问题提供了一个绝佳的平台。本文作者行使天生匹敌网络，确立了 DefogGAN，它可以凭据天生的真切信息准确展望隐藏在战争迷雾中的对手的状态。凭据履历，本文作者发现，GAN 比变分自编码器（Variational Autoencoder，VAE）天生的图像更真切。为了天生去除战争迷雾的游戏状态，本文作者将原始的 GAN 天生器修改为编码器-解码器网络。
从原理上讲，DefogGAN 是条件 GAN 的变体。通过使用跳跃毗邻，DefogGAN 天生器行使凭据编码器-解码器结构学习到的残差举行训练。除了 GAN 的匹敌损失，本文作者还设置了有雾和去雾游戏状态间的重修损失，来强调单元位置和数目的回归。本文的孝敬如下：
开发了 DefogGAN，可以剖析有战争迷雾的游戏状态，获得有用的获胜信息。DefogGAN 是最早的基于 GAN 处置星际争霸中的战争迷雾问题的方式；
行使跳跃毗邻举行残差学习，在不引入任何循环结构的情形下，DefogGAN 以前馈的方式包罗已往的信息（序列），更适用于实时使用的情形；
本文作者在模子简化实验和其它设置（如针对提取出的游戏片断和当前最先进的去雾计谋举行测试）中，对 DefogGAN 举行了实证验证。
本文涉及的数据集、源代码和预训练网络对民众开放，可以在线接见。
在 t 时刻，DefogGAN 凭据部门可考察（有雾）状态，天生了完全的考察（去雾）状态。在星际争霸中，完全考察状态包罗在给定时间下，所有友方和敌方单元的确切位置。图 2 展示了 DefogGAN 的架构。本文作者对当前的部门可考察状态的输入盘算获得的特征图举行求和池化。在已往的观察效果的特征图进入天生器前，要和当前状态累积并拼接。本文作者用展望的可考察状态和现实的完全考察状态间的重修损失和判别器的匹敌损失训练天生器。
图 2：DefogGAN 的架构概览。
DefogGAN 的天生器接纳了 VGG 网络的气概。卷积核的巨细固定为 3*3。当特征图巨细削减一半时，卷积核的数目增加一倍。DefogGAN 没有使用任何空间池化层或全毗邻层，而是用了卷积层来保留从输入到输出的空间信息。
DefogGAN 的天生器包罗编码器、解码器和通道组合层。编码器接纳 32*32*82 的输入，行使卷积神经网络（Convolutional Neural Networks，CNN）提取出隐藏在战争迷雾中的语义特征。每个卷积层都用了批量归一化和修正线性单元（ReLU）来实现非线性转换。
解码器行使从语义上提取出的编码器特征天生展望数据。解码历程将数据重构为高维数据，再行使转置卷积运算完成推断。解码器发生的输出尺寸与输入相同。考虑到因初始通道尺寸大导致的学习速率大，我们没有使用像 ResNet 那么多的卷积层。
表 1：x _t 和 x _t 的混淆矩阵。使用到的测试数据跨越 10,000 帧，表中为平均值。
表 1 总结了 DefogGAN 输入-输出的统计信息，包罗部门可考察状态 x _t、累积的部门可考察状态 x _t，和真实值 y_t。平均而言，在部门可考察状态中可以看到 54% 的单元，在累积的部门可考察状态中可以看到 83% 的单元。注重，累积的部门可考察状态造成了第一类型错误（假阳性），由于累积状态包罗现在已经不再相符现实情形的、移动的单元之前的位置。在给定这样的输出空间时，去雾问题需要在可能的 67,584（32*32*66）个空间中平均选出 141 个空间。
图 4：展望效果的可视化。最左侧是累积的部门可考察状态（x _t）。第二列是部门可考察状态 x _t。第三列是 CED（当前最佳去雾器）的展望效果。4-7 列分别是 DCGAN、BEGAN、WGAN-GP 和 cWGAN 的天生效果。DefogGAN 的效果呈现在第八列，最后一列是真实值。行示意用于评估的录像。
表 4：DefogGAN 和其它模子的准确率对照效果。
图 4 中的可视化效果可以有效地注释 DefogGAN 的展望性能。随机选择四组录像，给出每个模子展望的、去雾后的完全考察状态。例如，在录像 4 中，在部门可考察状态 x _t 的右下角看不到红色的敌方单元。同时，在累积的部门可考察状态 x _t 中只能看到敌方单元的子集。同时使用考察效果和累积考察效果，DefogGAN 可以天生的完全可考察状态 y_t 看起来和真实值异常相似。CED 也天生相当可信的完整状态，但 DefogGAN 天生了更准确的效果。WGAN-GP 在没有重修损失的情形下也天生了可信的完整状态，但有天生假阳性（低精度）效果的倾向。cWGAN（一种使用了重修损失的 WGAN-GP 变体）似乎降低了假阳性率，但 DefogGAN 的展望效果仍然更好。
本文为机械之心编译，转载请联系本民众号获得授权。
------------------------------------------------
加入机械之心（全职记者 / 实习生）：hr@jiqizhixin.com
投稿或追求报道：content@jiqizhixin.com
广告 & 商务互助：bd@jiqizhixin.com