AI自动角色生成如何实现？日本国民手游《怪物弹珠》揭秘

在日本游戏开发者大会CEDEC2020的最后一天(9月4日)，Mixi发表了关于CreativeAI的演讲。

CreativeAI是什么呢？简而言之，就是用AI无限生成画像之类物品的研究。虽然很多人都见过能够无限生成动画角色风格画像的网站了，但Mixi想到了“能否把这种方法用到游戏角色的制作中呢？”并展开了研究，以下要介绍的，就是这个研究的结果。

本次进行结果介绍的，是Mixi设计本部制作办公室技术美术小组工程师团队负责人长舩龙太郎先生和《怪物弹珠》事业本部开发办公室《怪物弹珠》客户端G客户端2T主程序钱宇喆先生两位，演讲的核心是《怪物弹珠》的角色生成。

※本次演讲的内容正在研究开发中，尚未用到《怪物弹珠》中。

演讲开头提出的问题：“哪些图像是AI生成的？”其中包含4张AI生成的图像（答案在文章末尾）

长舩先生提到，之所以开始CreativeAI的研究，是因为考虑到Mixi正在长期开发2D手游《怪物弹珠》，并且也需要经常制作动画或VTuber等3DCG内容，对于富有魅力的角色的需求是常态，而将AI投入使用之后，能够大大提高生产力。在确定要研究AI这个课题之后，Mixi就始调查基于GAN的角色画像生成。

此后Mixi开始调查设计中哪些问题能够用AI解决，得到的结论是将AI投入到草稿的制作中。虽说是草稿，但《怪物弹珠》中的草稿已经完成了上色，具有了不低的品质。

《怪物弹珠》想要的就是这种高质量的草稿

（《怪物弹珠》所用的）生成手法，使用了同类技术常用的GAN（生成对抗网络）。这种系统给人的感觉就像是生成画像的AI和给不断给前者挑刺的AI二者之间的较量。其中也有用到一种叫做StyleGAN（基于样式的生成对抗网络）的方法。项目最初使用的是公司内空置的Rendering服务器，最近则开始使用谷歌云平台。

评价方式是对learning rate或batch size等超参数进行变更，然后在TensorBoard（TensorFlow的可视化工具）中查看损耗并进行调整。GAN还会定期将生成的画像发送到Slack上。

GAN(生成对抗网络)是指？

画像生成手法中常常使用的AI技术

由Generator和Disctiminator两种网络构成

可类比为假币制造者（Generator）和警察（Disctiminator）

有StyleGAN、BigGAN、DCGAN（深度卷积生成对抗网络）等多种方法，泛用性很高

虽然现在看来经验丰富，但一开始Mixi对这方面知之甚少，他们选择了和正在开发使用了GAN的偶像生成AI的DATAGRID合作，以此开始研究。

最开始，AI学习了《怪物弹珠》的角色图像之后，随便生成了一些角色的全身画像，最后生成的东西有些勉强能说是人型，大部分则是让人怀疑“是粒子吗？”的噪点。这是因为《怪物弹珠》的角色不光是人型、其中还有很多怪物和机械。演说者也提到了因为游戏运营了超过七年，角色设计发生了很多变化，角色的共同点已经很难找到的原因。

上述经历让长舩先生它们认识到了数据的重要性，于是他们从《交锋联盟》的3D模型中截取了很多2D画像让AI学习。最后虽然生成了很多具有《交锋联盟》风格的角色画像，但却缺少了创新性。从输出的图像来看就像是原有角色摆出了新的姿势。这是因为源数据的变化不足。

因此，Ai的学习对象就从网上找来的动画全身画像抽出一万张形成的数据库转向了《怪物弹珠》的全身数据。从数据库生成的对象本来已经具有了一定品质，转向学习《怪物弹珠》的全身数据之后，生成的结果又有了不少噪点。这是因为《怪物弹珠》的全身数据中大量使用了特效，给AI造成了负面影响。长舩先生从这件事中学到了AI学习时要将要素之间分开学习。

此外，他们还做了给AI骨骼信息的尝试，具体方式是将OpenPose中的信息变换之后对GAN进行扩张。但是，要从2D画像中抽出这种信息十分困难，只能想想别的办法。

因为全身生成的难度很高，于是他们将学习对象限定在了对方的脸，并介绍了那时候起了很大参考作用的两个网站。他们以Making AnimeFace With StyleGAN和包含330万张不同动画脸数据为基础，将《怪物弹珠》的高分辨率画像进行模板匹配抽出了数千张脸的画像，让AI进行学习。

但是，要在《怪物弹珠》的角色中单独抽出人型角色的工作非常辛苦，每天只能进行两小时左右，因此尝试了自动化。将Danbooru相关的自动标记工具DeepDanbooru进行改良之后，就能进行简单的选择了。

这样生成的结果如下图所示，既具备《怪物弹珠》的特点，也具有了创新性。

接下来要介绍的是，为了操作这个CreativeAI而使用的工具或者GUI。最初实装的工具是能够调整和参考网站同样参数的工具，之后也参考了其他画像生成网站添加了能够最大限度接近想要画像的Encoder机能，能够一次性展示全部变化的机能，随意改变参数的节能，其他参考网站如下，“StyleGanEncoder”、“WaifuLabs”、“ArtBreeder”。

AI角色生成工具GUI化～假说

• 用Encoder生成与自己的图像相近的画像（StyleGanEncoder）
• 用简单的GRIDGUI进行差异生成（WaifuLabs）
• 用滑动条GUI进行微调（ArtBreeder）

在实际的Demo演示中，（使用者）要首先从不断随机生成的画像中选择一个喜欢的，这样就会展示出这个画像的差异版本，不断选择缩小范围之后，就进入了调整参数随意改动细节的部分，看着颇为有趣。

在随机生成的角色中选择一个之后，就可以选择这个角色的差异版本

参数调整界面

对上方图片的某个参数进行简单调整之后就成了下图

虽然没有介绍Encoder机能的实例，但是展示了将长舩先生自己的照片输入进去的结果。结果虽然和本人不是特别像，但却变成了《怪物弹珠》风格的美少年。同样也展示了将猫的图像输入进去的示例。输出的结果是虽然没有的猫的特征，但很有猫的感觉的女孩子。这也是一个看起来很有用的机能。

这个系统制作出来是为了满足角色的脸和弹珠两个需求的，长舩先生也展示了将生成角色的参数原样输入生成弹珠用的系统中就生成了和这个角色相似的弹珠的结果。虽然看起来理所当然，但学习角色的脸和弹珠的数据应该有所差异。

如果要给2D画像生成部分一个总体评价的话，Encoder部分因为生成的画像和原照片不够像只能给△（日本人用◎、○、△、×表示认可程度，从前到后认可程度依次降低），表示差异的GUI能够给到◎，用滑动条调整参数的设计则是○。第一感觉是用滑动条来调整参数的话，即使很小的动作变化量也会很大，在凭感觉来到了工作的最终阶段之后，这一步的处理还是细致些好。

自动生成3D角色

接下来进行自动生成3D角色的报道。这一部分的开发进度目前还是中期报告的程度，由钱先生进行介绍。

因为Mixi的新作大部分都是使用Unity引擎制作的3D游戏，3D角色的需求量很大，《怪物弹珠》等作的宣传等活动中也常常要用到3D模型，加上最近也有用Unity制作的动画，于是将3D模型制作的自动化纳入了讨论范围。

首先钱先生诉说了他们的理想，就是输入一张角色图像之后，就能由AI自动制作出一个3D角色的系统。但是，目前生成的角色精度还很低，而且现有的研究大部分是研究从真人照片生成写实角色的方法，对于动画角色的研究很少。

因此Mixi的目标是参数化的方法和机械学习的混合。对参数进行调整之后对3D角色进行客制化的解决方法很多，但这些都需要将参数作为矢量去学习。他们就这一点与东京大学五十岚研究室展开了共同研究。

钱先生他们参考的是网易发表的将照片转化为游戏角色的AI系统的研究。

参考这项研究产生的方法是，从画像中将脸和身体的特征抽出，并算出网格和骨骼的参数。

作为学习素材的则是用VRoid Studio对参数被多次变更的角色进行截取得出的数据。其中一项来源就是对同公司的Vtuber正在使用的“加百列”的3D数据的改造及素体化。将角色本体与发型、服装等分离开之后就能作为素体数据使用了。

AI为了使之与给定的VRiod 的图像变得更为接近，要对参数进行调整并输出，再判定这个结果并且使之更为接近，如此循环往复。

此外，还要将脸部等等的材质抽出进行Scale补正，进行变形等操作之后再加以UVMapping。虽然能从画像上将眼睛、眉毛等等进行自动的部位分割（Segmentation），但Segmentation技术更多被用在照片图像中，因而有开发动画用的对应技术的必要。也要对被头发盖住的地方进行补正。

这次虽然没能展示具体的输出结果，但这项技术已经在研究中了。钱先生说到了三点现在亟待解决的问题，首先是单一的素体不能完全适应的情况很多，因而需要复数模型，对发型和服装也需要进行同样的处理。此外参数推定方法和Segmentation等等也还有改良的空间。

虽然这样说，但如果能够真正实现3D角色的自动生成，那回报也将十分丰厚。钱先生表示一定会一起加油好好研究。

CreativeAI是设计者们的敌人吗？

长舩先生提出了这样一个人类的问题。虽然已经是老生常谈了，但如果绘画真的能够实现自动化，设计者们到底会不会真的失业呢？

长舩先生表示，他虽然通过了解公司内部的信息和参加学习会认识到了AI并不是设计者的敌人，但现实中还是有很多设计者们对此抱有危机感。此外，他还十分坚决地表示一个有魅力的角色需要许多的设定和背景支撑，而GAN只能做出一副皮囊。他总结道，既要避免在未完成的状态就展示给设计者们看而被设计者们视为敌人，同时也不能忽视倾听各类人士的意见。

AI不是敌人而是设计者的好伙伴

今后如果能够生成3D角色了，就能够形成制作2D角色，然后将之3D化，再将其3D数据进行截取以强化2D学习的循环，角色的自动生成技术就能因此变得更加成熟。

但，这样的机械学习需要大量的学习数据，这不能仅靠一个企业，而是需要赞同的企业的共同开发，为此，他呼吁大家参加Game AI Community的Slack频道。

对于非设计者来说，这是梦一般的技术，对于设计者这也并非是噩梦般的技术，CreativeAI的研究今后毫无疑问还将继续，用现在的眼光看来，成果也快要达到实用水平了。Mixi的研究用了一年半走到了这里，者也是近未来的游戏开发绕不开的一个话题。这是一篇让人既被现有的AI技术震惊也认识到技术上还存在问题，对于运用上的问题还需要进一步讨论的演讲。

还记得文章开头的问题吗？答案用红框标示了出来