请选择 进入手机版 | 继续访问电脑版

雅恒论坛

您可以使用eMule或eMule Mod(参见eMuleFans.com的Mod页emule-mods.de的Mod页)(Windows)、aMule(Win、Linux、Mac)等软件下载eD2k链接。可以参考这里的修复、关联eD2k协议链接方法
eMule收藏集(.emulecollection)文件是您选中的所有链接的列表文件。eMule可以直接下载它们。
按住SHIFT键选择可以选中多个选择框。
可用文件名和大小选择器来选择文件。
查看eD2k Link Selector php类主页可以下载此php类或联系作者。
查看eD2k Link Selector WordPress 插件主页可以下载WordPress插件。
文件名选择器帮您根据文件名称或后缀来选择文件。不分大小写。
符号使用:
和:空格( )、+
不包含:-
或:|
转义:一对英文引号("");
匹配开头:^
匹配结尾:$
例如:
选中所有名称中包含有“eMule”或“0.49c”字眼,但不包含有“exe”字眼的:emule|0.49c -exe
选中所有名称的开头是“eMule”,结尾是“0.49c”的:^emule 0.49c$
选中所有名称中带有“eMule 0.49c”的(必须是“eMule 0.49c”,中间没有别的字符,不能是“eMule fake 0.49c”),需要转义:"emule 0.49c"
大小选择器帮您根据文件大小选择文件。
查看: 739|回复: 0

爆火DragGAN正式开源,GitHub近18k星!清华校友带GAN逆袭,大...

[复制链接]

41

主题

68

帖子

435

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
435
发表于 2023-6-27 16:21:25 | 显示全部楼层 |阅读模式
640 (18).jpg


【新智元导读】就在刚刚,引爆AI绘图圈的DragGAN,正式发布了开源代码!

论文由MPII、MIT、宾大、谷歌等机构的学者联合发布,并且已被SIGGRAPH 2023录用。

从此,我们只需一拖一拽,就能实现完美P图了,哪里不准修哪里!

640 (30).gif
拍的照片表情不好?修!脸型不够瘦?修!脸冲镜头的角度不对?修!

而就在刚刚,团队正式放出了官方代码!

640 - 2023-06-27T143746.653.png


首先,需要下载预训练StyleGAN2的权重:


sh scripts/download_model.sh
如果想尝试StyleGAN-Human和Landscapes HQ(LHQ)数据集,则需要将下载的权重放到./checkpoints目录下。

接着,启动DragGAN GUI来编辑GAN生成的图像:


sh scripts/gui.sh
如果要编辑真实图像,则需要使用像PTI这样的工具执行GAN反演。然后将新的潜在代码和模型权重加载到GUI中。

有网友在上手试用后表示,只会占用大约6G显存,但是使用效果不是很理想,坐等后续改进。

640 - 2023-06-27T143750.464.png


GAN逆袭归来,一秒把大象P转身

顾名思义,通过DragGAN,我们可以任意拖动图像进行编辑,无论是对象的形状、布局、姿态、表情、位置、大小,都可以做到精准控制。

640 - 2023-06-27T143754.867.png


在确定关键点的起始和终止位置之后,再根据对象的物理结构,用GAN生成符合逻辑的图像,一张挑不出破绽的图就做好了。

640 - 2023-06-27T143758.068.png

比如,轻轻一拖动,就能想把耷拉着的狗耳朵提起来,让狗狗从站着变成趴下,以及让狗狗瞬间张嘴微笑。

640 (31).gif

模特的姿势可以随意改变,短裤可以变成九分裤,短袖可以变长袖。

640 (32).gif

湖边的树可以瞬间长高,湖里的倒影也跟着一起改变。
640 (33).gif

原图中的太阳没露脸?无所谓,DragGAN会给你造个日出。

640 (34).gif

对此网友调侃称,现在甲方提出「让大象转个身」的要求,终于可以实现了。
DragGAN:图像处理新时代

在这项工作中,团队研究了一种强大但还未被充分探索的控制GAN的方法——以交互的方式将图像中任意一点精确「拖动」至目标点。
640 (19).jpg
DragGAN主要包括以下两个主要组成部分:
1. 基于特征的运动监控,驱动操作点向目标位置移动2. 一个新的点跟踪方法,利用区分性的GAN特征持续定位操作点的位置
通过DragGAN,任何人都可以对像素进行精确的控制,进而编辑如动物、汽车、人类、风景等多种类别的姿态、形状、表情和布局。
由于这些操作在GAN的学习生成图像流形上进行,因此它们倾向于生成逼真的输出,即使在富有挑战性的场景下也是如此,例如被遮挡的内容和变形的图像。
定性和定量的对比表明,DragGAN在图像操作和点跟踪任务中,都明显优于先前的方法。
拖拽编辑
在DragGAN的加持下,用户只需要设置几个操作点(红点),目标点(蓝点),以及可选的表示可移动区域的mask(亮区)。然后,模型就会自动完成后续的图像生成,
其中,动态监控步骤会让操作点(红点)向目标点(蓝点)移动,点追踪步骤则通过更新操作点来追踪图像中的对象。此过程会一直持续,直到操作点达到其相应的目标点。
640 - 2023-06-27T143830.323.png
具体来说,团队通过在生成器的特征图上的位移修补损失来实现动态监控,并在相同的特征空间中通过最近邻搜索进行点追踪。
640 - 2023-06-27T143833.360.png
值得注意的是,用户可以通过添加mask的方式,来控制需要编辑的区域。
可以看到,当狗的头部被mask时,在编辑后的图像中,只有头部发生了移动,而其他区域则并未发生变化。但如果没有mask的话,整个狗的身体也会跟着移动。
这也显示出,基于点的操作通常有多种可能的解决方案,而GAN会倾向于在其从训练数据中学习的图像流形中找到最近的解决方案。
640 - 2023-06-27T143837.151.png
在真实图像的编辑中,团队应用GAN反转将其映射到StyleGAN的潜空间,然后分别编辑姿势、头发、形状和表情。
640 - 2023-06-27T143840.106.png
640 (20).jpg
不仅如此,DragGAN还具有强大的泛化能力,可以创建出超出训练图像分布的图像。比如,一个张得巨大的嘴,以及一个被极限放大的车轮。
640 - 2023-06-27T143843.262.png

泛化能力
作者介绍

Xingang Pan 640 - 2023-06-27T143846.246.png

[color=var(--weui-LINK)]论文一作Xingang Pan,目前已经正式成为了南洋理工大学计算机科学与工程学院的助理教授。

研究方向主要集中在生成式AI模型、AI与人类协同内容生成、3D/视频编辑和生成、神经场景表示和渲染,以及物理感知内容生成。
在此之前,他于2016年在清华大学获得学士学位,2021年在香港中文大学多媒体实验室获得博士学位,导师是汤晓鸥教授。随后在马克斯·普朗克计算机科学研究所从事了博士后研究,由Christian Theobalt教授指导。
Lingjie Liu 640 - 2023-06-27T143849.441.png


Lingjie Liu是宾夕法尼亚大学计算机和信息科学系的Aravind K. Joshi助理教授,负责宾大计算机图形实验室,同时也是通用机器人、自动化、传感和感知(GRASP)实验室的成员。
在此之前,她是马克斯·普朗克计算机科学研究所的Lise Meitner博士后研究人员。并于2019年在香港大学获得博士学位。

引用原文:https://mp.weixin.qq.com/s/EH4ggyvNIL3AV6Iu3dwaBw






您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

备案号:粤ICP备14013464号
快速回复 返回顶部 返回列表