
近年来,随着AI扩散模型的发展,角色动画技术在电影制作、广告、数字人创建等领域取得了巨大的应用潜力。然而,现有技术大多是“局部”的,即要么专注于脸部、口型替换,要么只能模仿迁移角色的简单动作,且许多模型在生成质量、肢体与表情的控制力以及对不同角色的泛化能力上仍有不足。正是在这样的背景下,Season应运而生,它旨在提供一个全面的、高性能的解决方案,推动角色动画技术的发展和应用
Season是一款多模态视频生成模型,其核心功能集中在“动作模仿”和“角色扮演”两大方面,用户只需上传一张人物图片和一段视频,就能精准实现动作复刻与角色替换
动作模仿:将视频角色的动作、表情迁移到图片角色中,以驱动图片角色实现动画效果,输出视频流畅自然,特别擅长唇形同步,支持多种语言和口音适应
角色扮演:在保留原始视频的动作、表情及环境的基础上,将视频中的角色替换为图片中的角色,这意味着用户能轻松“换人”而不破坏整体叙事
Season构建了一个涵盖说话、面部表情和身体动作的大规模人物视频数据集,并基于先进的图生视频模型进行训练。Season支持驱动人物、动漫形象和动物照片,可应用于视频创作、舞蹈模板生成、动漫制作等领域
Season最新中文版:
百度网盘:https://pan.baidu.com/s/1KL9YsX-Vjgw-nkhutt2WYA?pwd=x7x2
技术优势
· 统一输入范式:将参考图像、时间帧指导和环境信息统一输入公式,使得微调过程更加高效
· 精准控制表情与肢体:采用2D骨架信号和“解耦控制”策略,能够稳健处理复杂动作和捕捉微妙的面部表情细节
· 通用符号表示框架:分割角色区域置零生成二值掩码,仅在掩码为零的区域内生成内容,实现统一架构的双模式的生成
· 真实光影重塑:引入重光照辅助LoRA,在保持身份一致的前提下,自适应调整色调与光照,实现物理合理的环境融合
使用方法
1.选择模式
主体替换:视频人物替换
动作迁移:迁移视频角色的动作到图片中,由图片生成视频
2.上传视频文件
3.上传人物图片
4.点击选择需要替换的视频对象,一般点击人物的面部、左肩、右肩、左下、右下,这5处即可,适用于多人场景下的精准定位
5.选择生成视频的长度和迭代数,高端显卡一次可生成十几秒的短视频,迭代数越高人物替换效果越好,生成时间也越长,一般保持默认6即可
6.选择生成视频的宽高,默认480:832,数值可调,低显卡可以选择320:480,横版视频比例832:480
7.(可选)开启视频高清修复,默认1080p分辨率,可以自行调整
8.以上是图片和视频人物替换的方法,如果只想“替换服装不替换人物”或者“只替换人物不替换服装”,可以在文本框中输入提示词,支持中英文
9.点击生成,可以批量生成视频,每多点一次,就会添加一个新的任务到队列中
可以在软件后台查看当前的执行进度,程序处理完毕会输出信息outputs,生成的视频默认保存在项目路径的“生成结果”文件夹下,也可以在“输出界面”的右上角点击下载
注意事项
①项目经过了优化,支持GTX1060 6G以上N卡运行此项目
②显卡越好,人物替换效果越好,建议显存不低于8G
③使用过程中若不慎关闭软件后台,请重新打开,并刷新网页