这项研究利用到的技术叫做Landmark Assisted CycleGAN，它利用面部标志特征来定义一致性损失，指导在CycleGAN中训练局部鉴别器。 整体结构如下：这个转换过程分为3步。
1、首先，生成器先根据CycleGAN生成一张粗糙的卡通人脸。
2、随后，模型根据第一步生成的图像，生成一个预训练回归量（regressor），来预测面部landmark，对面部的关键点进行标记。
3、最后，通过局部和全局两种鉴别器，研究人员细化在卡通图和对应真实图像中的人脸特征。在这个阶段，强调了landmark的一致性，因此最后的生成生成结果逼真且有辨识度。  值得一提的是，这不是风格迁移，而是GAN自己画出来的。 不止能拿着照片作画，看着视频也没问题，例如1960年的老电影《惊魂记》。 这项AI“黑科技”火了，能让真人秒变漫画形象 这项技术里GAN的生成器就像是个画师，而判别器就充当鉴赏家角色，负责识破生成器的画不是人类作品。
生成器里有个潜在空间，里面有千千万万的AI画像，都是从人类画作里，用不同的向量修改而成。 然后，要按着照片生成画像，就把一个向量 (Latent Vector) ，映射到千万AI画像里和照片最接近的一幅。
团队还设计了一个Inverter，可以从照片里近似出一个向量，用来找到潜在空间里最合适的那个向量。 这项AI“黑科技”火了，能让真人秒变漫画形象 用GAN让纸片人活起来 除此之外，GAN甚至还可以让2D形象变成3D“活物”。
例如来自华盛顿大学的照片唤醒 (Photo Wake-Up)技术，可以让你体验到麻瓜的神奇魔法。 它可以让你最爱的体育明星从照片里跑出来： 这项AI“黑科技”火了，能让真人秒变漫画形象 还能赋予二次元角色新力量： 这项AI“黑科技”火了，能让真人秒变漫画形象 还可以借此把角色们AR/VR化，只要动动手指，它们就能出现在你身边的世界：
这项研究整个操作过程，其实只用了三步： 1、第一步是分割纸片人：利用现成的图像分割算法，将画中人的躯干、四肢分割，再用人体姿态估计，提取画中人的2D骨骼关键点，忽略厚重的衣服，拟合出一种半裸的可塑3D模型，称为SMPL模型。
2、第二步是是细化纸片人3D模型：先将SMPL模型映射到2D世界对准轮廓，调好再次转换成3D模型确保精确度。