太阳能路灯厂家
免费服务热线

Free service

hotline

010-00000000
太阳能路灯厂家
热门搜索:
技术资讯
当前位置:首页 > 技术资讯

继AI生成二次元头像之后新一代线稿上色AI来袭_[#第一枪]

发布时间:2021-06-07 13:40:28 阅读: 来源:太阳能路灯厂家

雷锋网 AI科技评论按:本文作者一秒一喵,原文载于其知乎主页, AI科技评论获其授权发布。

预览视频:

视频链接(https://www.bilibili.com/video/av14443094/)

项目主页:

lllyasviel/style2paints(https://github.com/lllyasviel/style2paints)

这里做一个简单的示范,为了防止线稿的主观挑选,我先贴一下现在的时间:

<img src="https://static.leiphone.com/uploads/new/article/pic/201709/786f01fd3b91a95fba8268df6bd874a9.jpg" data-rawwidth="129" data-rawheight="45" class="content_image" width="129" _src="https://static.leiphone.com/uploads/new/article/pic/201709/786f01fd3b91a95fba8268df6bd874a9.jpg"/>

然后就在这个时间,我上谷歌图片搜索关键词“Anime Sketch”(动漫线稿),结果在这里:

<img src="https://static.leiphone.com/uploads/new/article/pic/201709/0f614f47ee39d2f7be4dd4073b290ada.jpg" data-rawwidth="847" data-rawheight="406" class="origin_image zh-lightbox-thumb" width="847" data-original="https://pic3.zhimg.com/v2-853c5c3390f0857f447cc5689d89ea1e_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/0f614f47ee39d2f7be4dd4073b290ada.jpg"/>

然后我直接下载第一个结果,不含挑选的成分,这个图片下载下来是这样的:

<img src="https://static.leiphone.com/uploads/new/article/pic/201709/d6fc6d13b2d92655f1591bc12cb0e417.jpg" data-rawwidth="723" data-rawheight="1000" class="origin_image zh-lightbox-thumb" width="723" data-original="https://pic3.zhimg.com/v2-730093f0d91be3f6bc88f307a283bcde_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/d6fc6d13b2d92655f1591bc12cb0e417.jpg"/>

然后我们的AI需要用户输入一些风格图片,不限制内容,只要颜色比较好看,色域比较宽泛即可。我在桌面上新建了一个文件夹,里面从我的个人收藏中随便选了9张色彩各不相同的图片给AI参考,截个图:

<img src="https://static.leiphone.com/uploads/new/article/pic/201709/872ec0b1ebf5a96ee9ea79648f8265bf.jpg" data-rawwidth="844" data-rawheight="683" class="origin_image zh-lightbox-thumb" width="844" data-original="https://pic2.zhimg.com/v2-4c74391270478a4a5ce81f9bdee911ed_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/872ec0b1ebf5a96ee9ea79648f8265bf.jpg"/>

然后我直接把这九个图片和上面那个线稿丢到AI里面,一共点击9次上传按钮,9次上色按钮,大约10分钟后,我有了9张线稿的不同色彩构图。

<img src="https://static.leiphone.com/uploads/new/article/pic/201709/a7325fd6e1f33b3303e328a188b05588.jpg" data-rawwidth="512" data-rawheight="704" class="origin_image zh-lightbox-thumb" width="512" data-original="https://pic2.zhimg.com/v2-acf366de30bbeaff675f9698f68da561_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/a7325fd6e1f33b3303e328a188b05588.jpg"/><img src="https://static.leiphone.com/uploads/new/article/pic/201709/051193b660707dcf055d58fde2bcbc66.jpg" data-rawwidth="512" data-rawheight="704" class="origin_image zh-lightbox-thumb" width="512" data-original="https://pic3.zhimg.com/v2-46b505205837965e8783b6797bd8ffda_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/051193b660707dcf055d58fde2bcbc66.jpg"/><img src="https://static.leiphone.com/uploads/new/article/pic/201709/13874094875e6a58356d4e69cd8397b2.jpg" data-rawwidth="512" data-rawheight="704" class="origin_image zh-lightbox-thumb" width="512" data-original="https://pic3.zhimg.com/v2-dd42ea722a9f92eab4480906bcd53cbe_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/13874094875e6a58356d4e69cd8397b2.jpg"/><img src="https://static.leiphone.com/uploads/new/article/pic/201709/93f1da891d04ab4a2d07215b89395015.jpg" data-rawwidth="512" data-rawheight="704" class="origin_image zh-lightbox-thumb" width="512" data-original="https://pic2.zhimg.com/v2-c6766b6e525a830d51909ee79095ed51_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/93f1da891d04ab4a2d07215b89395015.jpg"/><img src="https://static.leiphone.com/uploads/new/article/pic/201709/e23f22b1056684a419d36ff1fb8774d5.jpg" data-rawwidth="512" data-rawheight="704" class="origin_image zh-lightbox-thumb" width="512" data-original="https://pic3.zhimg.com/v2-2edeb391eee185df0bb3dfb1bc2c7cce_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/e23f22b1056684a419d36ff1fb8774d5.jpg"/><img src="https://static.leiphone.com/uploads/new/article/pic/201709/efbf0452a79de04fb23c83c724e98213.jpg" data-rawwidth="512" data-rawheight="704" class="origin_image zh-lightbox-thumb" width="512" data-original="https://pic3.zhimg.com/v2-286b3dbb82a66f89b614057788b50d46_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/efbf0452a79de04fb23c83c724e98213.jpg"/><img src="https://static.leiphone.com/uploads/new/article/pic/201709/2a300de5c225d3860a6e836a80eba99f.jpg" data-rawwidth="512" data-rawheight="704" class="origin_image zh-lightbox-thumb" width="512" data-original="https://pic4.zhimg.com/v2-eb742ee67aa2eb49e813c6386e326163_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/2a300de5c225d3860a6e836a80eba99f.jpg"/><img src="https://static.leiphone.com/uploads/new/article/pic/201709/310da6e2cb1609b742f646860307a62a.jpg" data-rawwidth="512" data-rawheight="704" class="origin_image zh-lightbox-thumb" width="512" data-original="https://pic2.zhimg.com/v2-6a099cb17407f83fe4d324845984cb55_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/310da6e2cb1609b742f646860307a62a.jpg"/><img src="https://static.leiphone.com/uploads/new/article/pic/201709/98348b7acd6d1add7dbff7d55740cf12.jpg" data-rawwidth="512" data-rawheight="704" class="origin_image zh-lightbox-thumb" width="512" data-original="https://pic2.zhimg.com/v2-868912deea33e0522f30e1b0ef03b999_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/98348b7acd6d1add7dbff7d55740cf12.jpg"/>

这九个结果和我上面那个文件夹里面的九个参照图片一一对应,有兴趣可以来回翻看。看看AI迁移了哪些信息。

因为是在知乎上面发帖子,所以这里多说一些学术上的突破,具体效果在上面那个视频里面,请一定要看视频,看视频,看视频。

1. 我们成功实现了基于语义信息迁移的颜色提示,这个技术使得上色的色彩变得很和谐。这个技术最早是2017年1月左右早稻田和UCB都有相关研究的一个应用于黑白照片上色的trick。但是anime线稿上色是非常非常严酷的挑战,很多机构都有所尝试,包括今年六月的DWANGO(niconico的母公司),东大在内的一些机构都尝试了迁移式上色,但是都停留在了从结果里面精挑细选的程度,并不能直接运用起来。我们实验室研究了很久尝试了几乎全部生成模型,最后终于组织了一种可以驾驭这个训练的对抗游戏,具体的内容会在后续的论文里面详细说明。

2. 基于语义信息迁移的颜色提示对于anime线稿上色有很重要的意义。一方面解决了“用户的提示越多,结果越难看”以及“我调了半天结果还没有一开始的结果好看”的问题,另一方面大大提高了产率。目前我们可以做到在短时间内针对同一个线稿生成大量各不相同的,合理的色彩构图,这将有利于那些把神经网络作为一个构图工具或者颜色草稿的画师。详情可以看上面那个视频。

3. 我们的正式APP会在一段时间后(由于我们比较穷租不起超级贵超级贵的GPU服务器,可能是一段很长的时间后)上线,但是如果你是reseacher,你可以直接在我们的项目主页里面获取代码来一睹为快。另外我们还有扩大数据集的计划,所以商业APP可能需要等待了。但是这仅仅是财政问题,我们的学术代码,模型等资料完全公开,如果你有兴趣赞助或者你有GPU服务器空闲准备低价外租,请务必联系我们,加视屏最后的那个群就好了。

4. 如果您在看完视屏或者了解了我们的项目之后立刻就想要获得paper,有一篇paper介绍了我们在今年6月份之前的所有技术,收录在ACPR2017,详情可以到github上面找到。但我们更希望向外界介绍一些近期的新研究发现,新的论文成文后会发到github上面。论文:Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN;地址:https://arxiv.org/abs/1706.03319

5. 我们有自信认为我们是目前是所有开源的anime上色模型里面的非常优异的(paintschainer已经闭源了模型数据;传统方案不在我们的比较范围内)。并且我们认为我们最新的模型对于paintschainer的最新模型也是可以一比的,尤其是我们在迁移顺利的时候效果是比以前的模型有很大提升的。

-------------------第二天来更新-------------------

赞超过两百了,谢谢大家的赞,我再发一点我今天的画作吧。

首先这是找到的线稿:

<img src="https://static.leiphone.com/uploads/new/article/pic/201709/cb3aea95d56ebc64a658a2396e9d2072.jpg" data-rawwidth="600" data-rawheight="945" class="origin_image zh-lightbox-thumb" width="600" data-original="https://pic4.zhimg.com/v2-26f29ba94419128263682aec13d4b1cf_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/cb3aea95d56ebc64a658a2396e9d2072.jpg"/><img src="https://static.leiphone.com/uploads/new/article/pic/201709/3045c97dcd3f291f9613edcc088ceefa.jpg" data-rawwidth="540" data-rawheight="960" class="origin_image zh-lightbox-thumb" width="540" data-original="https://pic4.zhimg.com/v2-1df6e94849fe364665997cafbd878f03_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/3045c97dcd3f291f9613edcc088ceefa.jpg"/><img src="https://static.leiphone.com/uploads/new/article/pic/201709/d50baca617acc75e9a7cfcdfe9ebb184.jpg" data-rawwidth="900" data-rawheight="1150" class="origin_image zh-lightbox-thumb" width="900" data-original="https://pic4.zhimg.com/v2-a728abc3974d0cb9d7a76fea28b8e563_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/d50baca617acc75e9a7cfcdfe9ebb184.jpg"/>

这是我用到的风格图:

<img src="https://static.leiphone.com/uploads/new/article/pic/201709/ce17fbff6cea1f41615c4bb7677b666d.jpg" data-rawwidth="462" data-rawheight="118" class="origin_image zh-lightbox-thumb" width="462" data-original="https://pic2.zhimg.com/v2-15b406f409c27ac083714787e091c809_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/ce17fbff6cea1f41615c4bb7677b666d.jpg"/>

这是结果:

<img src="https://static.leiphone.com/uploads/new/article/pic/201709/7274b146812385210020e07eab6072b7.jpg" data-rawwidth="512" data-rawheight="832" class="origin_image zh-lightbox-thumb" width="512" data-original="https://pic3.zhimg.com/v2-6c9f20ba0c1364f20fca0468364aebce_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/7274b146812385210020e07eab6072b7.jpg"/><img src="https://static.leiphone.com/uploads/new/article/pic/201709/2e5be75ad7cf98c4f8d17528292b433a.jpg" data-rawwidth="512" data-rawheight="832" class="origin_image zh-lightbox-thumb" width="512" data-original="https://pic1.zhimg.com/v2-3e4fcfac64bf9ed03b9b05c66ed8c07c_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/2e5be75ad7cf98c4f8d17528292b433a.jpg"/><img src="https://static.leiphone.com/uploads/new/article/pic/201709/f86850e6e5afb89f08091d95c66ccbf9.jpg" data-rawwidth="512" data-rawheight="896" class="origin_image zh-lightbox-thumb" width="512" data-original="https://pic1.zhimg.com/v2-e2e02147ee61eda7aa04b9dfd953c290_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/f86850e6e5afb89f08091d95c66ccbf9.jpg"/><img src="https://static.leiphone.com/uploads/new/article/pic/201709/5084dc4d844206f312d4a3e5c0efe0bb.jpg" data-rawwidth="512" data-rawheight="640" class="origin_image zh-lightbox-thumb" width="512" data-original="https://pic1.zhimg.com/v2-b545df35d35f82b08610692c811a65d0_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/5084dc4d844206f312d4a3e5c0efe0bb.jpg"/><img src="https://static.leiphone.com/uploads/new/article/pic/201709/766320226d0508245bfe6f24e66a31ff.jpg" data-rawwidth="512" data-rawheight="640" class="origin_image zh-lightbox-thumb" width="512" data-original="https://pic3.zhimg.com/v2-d1c9f5670f62b22ddc677e0f5eb47256_r.jpg" _src="https://static.leiphone.com/uploads/new/article/pic/201709/766320226d0508245bfe6f24e66a31ff.jpg"/>

评论里面有问起当输入或者输出非常复杂的情况会怎么样,情况是这样的,随着线稿和风格图变得复杂,成功上色的概率会逐渐降低,如果线稿或者风格图片复杂到人眼都看不清那里是脸哪里是手,就会非常难以上色,我们的github里面有一个issue就是专门针对上色失败问题的,等程序上线之后,您也可以帮助我们收集,来改善我们的模型。

-------------------第三天来更新-------------------

说一点技术上的事情:

不知道是什么时候开始的,关于图像处理出现了一个套路,就是用ResNet堆砌网络深度,然后就可以量产出论文,最近有很多类似的文章。我们的模型里面没有ResBlock。我们使用的是特别适合线稿上色的,一种变种Inception。

雷锋网版权文章,未经授权禁止转载。详情见转载须知。

管道压浆料批发

农用铲车

正丁烷价格

馒头成型机图片