请选择 进入手机版 | 继续访问电脑版

雅恒论坛

您可以使用eMule或eMule Mod(参见eMuleFans.com的Mod页emule-mods.de的Mod页)(Windows)、aMule(Win、Linux、Mac)等软件下载eD2k链接。可以参考这里的修复、关联eD2k协议链接方法
eMule收藏集(.emulecollection)文件是您选中的所有链接的列表文件。eMule可以直接下载它们。
按住SHIFT键选择可以选中多个选择框。
可用文件名和大小选择器来选择文件。
查看eD2k Link Selector php类主页可以下载此php类或联系作者。
查看eD2k Link Selector WordPress 插件主页可以下载WordPress插件。
文件名选择器帮您根据文件名称或后缀来选择文件。不分大小写。
符号使用:
和:空格( )、+
不包含:-
或:|
转义:一对英文引号("");
匹配开头:^
匹配结尾:$
例如:
选中所有名称中包含有“eMule”或“0.49c”字眼,但不包含有“exe”字眼的:emule|0.49c -exe
选中所有名称的开头是“eMule”,结尾是“0.49c”的:^emule 0.49c$
选中所有名称中带有“eMule 0.49c”的(必须是“eMule 0.49c”,中间没有别的字符,不能是“eMule fake 0.49c”),需要转义:"emule 0.49c"
大小选择器帮您根据文件大小选择文件。
查看: 1481|回复: 0

AI解决生成视频“闪烁”问题

[复制链接]

41

主题

68

帖子

435

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
435
发表于 2023-6-26 18:12:09 | 显示全部楼层 |阅读模式
曾经介绍了用ControlNet结合Mov2Mov插件生成新的视频。虽然它能够快速的对视频中的人物进行转换,但是还存在难以解决的闪烁问题。
640 (23).gif

造成闪烁的原因很简单,是因为AI是一帧一帧生成图片然后再合成的,所有每张图片本质上不太连贯,最后就会造成视频闪烁的出现。

但是这个难题近期被南洋理工大学的团队很好的解决。首先来看看他们生成的视频效果:

640 (24).gif

可以看到,生成的视频很丝滑,而且人物的动作衔接的很连贯。

不仅仅在人物方面能够解决“闪烁”问题,就连建筑上也能够很好的hold住不同的风格:


640 (25).gif

同时帧与帧之间比较流畅,已经能够和正常的视频相媲美了。

这样的前景大有用途,我们久可以利用现有的视频生成不同另一种不同的风格。比如把一个雕像转换成一个真实的人物也是轻而易举:

640 (26).gif

从放出的论文中可以看出,作者把这个方法称为“零样本文本指导视频翻译”方法。具体方法包含两个部分:关键帧翻译和完整视频翻译。
  • 第一部分使用扩散模型来生成关键帧,并应用分层交叉帧约束来加强形状、纹理和颜色的一致性。
  • 第二部分通过时间感知补丁匹配和帧混合将关键帧传播到其他帧。


利用第一个渲染帧当锚点来调节渲染过程,相当于整体把握生成的风格走向,不至于生成的时候偏离太多。在扩散采样的不同阶段实现了分层交叉帧约束。

640 - 2023-06-26T180639.746.png

利用上面的方法进行生成后,在连续的十几秒中,每一幅图片的细节都生成相似,就能够有效缓解视频闪烁的情况出现。

下图是作者对比Stable-Diffusion的结果:


640 (27).gif

当然,在不同的模型比较上,该作者提出的方法在生成视频的稳定性上效果明显提高:

640 (28).gif

同时,在输入文本中仅需更改几个词语,在视频背景保持不变的情况下,可以不断的调节视频中的细节,例如人物的毛发,五官等等。

640 (29).gif

目前作者已经开放了Demo版本可以进行尝试,感兴趣的可以去这个网站试用一下:
https://huggingface.co/spaces/Anonymous-sub/Rerender

同时完整代码会在不久的将来公开,让我们期待一下把:
640 - 2023-06-26T180655.180.png





您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

备案号:粤ICP备14013464号
快速回复 返回顶部 返回列表