└── README.md


/README.md:
--------------------------------------------------------------------------------
  1 | Video Maker
  2 | 
  3 | Video maker is based on python(moviepy), LLMs(Qianwen), AIGC(edge-tts, gpt-sovits, whisper, sadtalker, er-nerf, musetalk, vced). It can be used to produce videos for douyin, tiktok, youtube and many other platforms. You can find many interesting examples in data/result:
  4 | 
  5 |     1. 文字成片；
  6 |         鸡汤励志视频剪辑（检索视频成片）
  7 |         新闻视频剪辑（配合新闻内容，检索视频成片）
  8 |         电视剧剧情剪辑（配合剧情，裁剪剧情和对应人物）
  9 |         卡点舞蹈剪辑（热舞卡点）
 10 | 
 11 |     2. 数字人视频；
 12 |         小和尚说话视频（小和尚禅语）
 13 |         直播场景视频（讲星座、讲书）
 14 |         电视剧二创视频（电视角色对白二创）
 15 | 
 16 |     3. 动画讲解视频：
 17 |         文字配图/视频，知识讲解（育儿知识、房产装修）
 18 | 
 19 | 
 20 | 开发进度和计划：
 21 | 
 22 |     V0.1，时间：2024.2.20，
 23 |     实现了基于场景的视频生成功能（基于moviepy）
 24 |         1. 实现了基于配置文件的视频生成框架
 25 |         2. 每个场景可配置图片、视频作为短视频背景
 26 |         3. 每个场景可选择性的增加文字、图片、视频类型的素材
 27 |         4. 每个场景可选择性的增加解说文字，由AI播音（基于edge-tts）
 28 |         5. 每个场景可选择性的增加字幕，字幕来源可以是解说文字，或者从素材视频中获取（基于asr）
 29 |         6. 可增加全局背景音乐
 30 | 
 31 |     V0.2，时间：2024.3.14，
 32 |     增加了混剪视频生成功能（基于VCED）
 33 |         1. 支持混剪视频库的建立
 34 |         2. 支持基于文本自动生成视频素材（视频库检索）
 35 | 
 36 |     V0.3，时间：2024.3.18，
 37 |     增加了数字人功能，
 38 |         1. 增加了图片数字人模型训练和生成（基于Sadtalker），wpai、audodl和本地，
 39 |         2. 增加了视频数字人模型训练和生成（基于ER-NERF），wpai、audodl，mac本地不支持CUDA，无法运行，
 40 |         3. 可在每个场景中选择性增加数字人，口型跟解说文字对齐（以上两种模型+RVM抠图）
 41 |         4. 增加了声音克隆功能，支持本地和网络两种文字朗读
 42 | 
 43 |     V0.4，时间：2024.3.20，
 44 |         1. 支持模糊蒙板，能实现水墨蒙板
 45 |         2. 增加多种字体，支持粗细、颜色配置
 46 |         3. 所有模型支持GPU，支持mac和linux系统
 47 | 
 48 |     V0.5，时间：2024.4.8
 49 |     支持AI视频生成，基于文本，由chatgpt自动生成视频，已支持模板：
 50 |         1. 讲书模板（BOOK）
 51 |           DP版、剪辑+DP版、剪辑版
 52 |         2. 文章概述模板（DOC）
 53 |           DP版，剪辑版，剪辑+DP版
 54 |         3. 书单模板（RANK）
 55 |           DP版、剪辑+DP版
 56 |         4. 情感模板（BUDDHA）
 57 |           小和尚版、DP版、剪辑版
 58 |         5. 动画视频
 59 |           文字+图片，语音讲解
 60 | 
 61 |     V0.6，时间：2024.5
 62 |     完善了用于剪辑的视频索引，
 63 |         1. 混剪索引支持断点；
 64 |         2. 扩展视频剪辑索引库，覆盖了科技、生活、城市、商业、自然等场景素材；
 65 |         3. 支持用于电视剧二创的剪辑索引库，支持人脸识别和检索；
 66 |         4. 支持基于 TransGL 的视频的转场切换，支持 60+ 转场效果；
 67 | 
 68 |     V0.7，时间：2024.6.10
 69 |     完善数字人功能，
 70 |         1. 支持 GPT-Sovits声音克隆，tts 效果有明显提升；
 71 |         2. 支持 MuseTalk，可直接修改现有视频中的嘴型；
 72 |         3. 增加超分模型（Real-ESRGan）和人脸增强模型（GFPGan）；
 73 |         4. 默认视频分辨率，由592*1024，升级到1080*1920；
 74 | 
 75 | 
 76 |     V0.8，时间：2024.6.30
 77 |     支持AI 视频生成，更多模板：
 78 |         1. 热舞卡点视频；
 79 |         2. 数字人讲星座；
 80 |         3. 电视剧对白二创视频；
 81 | 
 82 | 
 83 | 未来计划：
 84 | 
 85 |     1. 支持前端界面；
 86 |     2. 优化视频生成性能；
 87 |     3. 自动发 tt、youtube、douyin账号；
 88 |     4. 自动评论；
 89 |     5. 更多用于二创的功能：（待定）
 90 |         数字人：
 91 |             基于 ControlNet 的动作控制和视频生成（单人唱歌、跳舞、动作）
 92 |             加入对数字人表情的控制
 93 |         剪辑：
 94 |             增加声纹识别，增加对白检索（字幕、语音）
 95 |         生成：
 96 |             加入 图片+文本 生图功能
 97 |             风格转换，如粘土、动漫风格视频转换
 98 | 
 99 | 
100 | 
101 | 
102 | 


--------------------------------------------------------------------------------