TalkLikeYou 运营中

TalkLikeYou 是中科院自动化所开源的实时数字人框架，给一张照片和一段音频，能让照片里的人开口说话，嘴部动作能模仿指定真人的说话习惯。TalkLikeYou通过运动空间建模和一步采样实现实时生成，支持预设编号或参考视频来定制习惯，提出专用指标量化模仿相似度，代码权重全部开源。

照片说话：上传一张人像照片和一段音频，可生成人物开口说话的视频。
习惯模仿：可模仿指定真人的嘴部说话习惯，通过预设编号或4秒参考视频指定。
实时生成：采用一步采样技术，生成速度达32.43 FPS，支持实时流式输出。
视频配音：可替换视频中人物的嘴部动作，保留原有头部动作和时序，适合多语言配音。
对话数字人：接入大模型和语音识别合成后，可实现实时对话交互的数字分身。
风格化驱动：支持驱动素描、油画、动漫、3D角色等非真人风格的人像。

微信关注回复“开源”，加入AI开源项目交流群
运动空间建模：不同于直接在像素空间生成图像，TalkLikeYou 先将照片解析为运动参数，在这组轻量数字上学习和生成说话动作，由渲染器合成回视频，兼顾速度与身份稳定性。
一步 Flow Matching 采样：用 Flow Matching 学习从噪声到目标的直线路径，配合重参数化直接预测干净的运动序列，一步采样可达到接近 50 步的唇同步质量，实现 32.43 FPS 的实时速度。
统一习惯空间：构建可插值的低维习惯向量空间，将数据集中真人的嘴部运动统计压缩为 one-hot 编码，参考视频则通过习惯提取器编码进同一空间，两种入口可自由切换甚至插值混合。
两阶段训练策略：先在 380 人规模的 HDTF 上用 one-hot 编码学习”什么是习惯”，再在大规模 CelebV-HQ 上改用参考视频训练泛化能力，周期性回放 one-hot 数据防止遗忘，使习惯相似度从 0.33 提升至 0.64。
PLAD 评估指标：将嘴部运动投影到张嘴幅度、嘴唇收拢、嘴唇拉宽三个发音轴，用分布直方图对比参考人计算相似度，首次为”说话习惯像不像”提供量化标准。

环境准备：用 Linux 系统，安装 Python 3.10 + CUDA 12.1 + FFmpeg，确保 NVIDIA 显卡显存至少 12GB。
下载代码：从 GitHub 克隆 TalkLikeYou 主仓库。
安装依赖：运行 conda env create -f environment.yaml 创建环境并激活，或自行安装 CUDA 版 PyTorch 后执行 pip install -r requirements.txt。
下载权重：通过 Hugging Face 命令 hf download doubi-killer/TalkLikeYou 将模型权重下载到仓库根目录。
准备素材：准备一张人像照片（或视频）和一段音频，输入视频需为 25 FPS。
运行推理：执行 python -m talklikeyou --source 照片 --audio 音频 --person-id 192 --sampling-steps 1 生成视频，换 --person-id 即换说话习惯。
自定义习惯：将 --person-id 替换为 --habit-reference 指向一段至少 100 帧的参考视频，即可模仿该视频中人物的说话习惯。
视频配音：将 --source 指向视频文件并添加 --pose-mode source，只替换嘴部动作并保留原始头动。

说话习惯专属模仿：业内首个将个人嘴部说话习惯作为一等公民建模的开源框架，可通过编号或视频指定，摆脱”千人一面”的平均嘴。
实时速度快：一步 Flow Matching 采样实现 32.43 FPS，比图像扩散路线的 Sonic快近百倍，且单张 RTX 3090 显存占用不足 4GB。
画质与同步兼优：FID 7.71 不到第二名三分之一，Sync-C 8.73 全场最高，兼顾唇部同步与画面质量。
习惯相似度领先：PLAD 指标习惯相似度 0.62，显著高于 MimicTalk（0.48）、PC-Talk（0.39）等竞品。
两入口灵活定制：支持官方预设编号零成本切换风格，支持任意参考视频现学，可插值创造新习惯。

项目官网：https://bq-wang0511.github.io/TalkLikeYou/
GitHub仓库：https://github.com/BQ-Wang0511/TalkLikeYou
HuggingFace模型库：https://huggingface.co/doubi-killer/TalkLikeYou
arXiv技术论文：https://arxiv.org/pdf/2610.06658

虚拟主播/直播带货：低成本打造具有个人说话习惯的虚拟主播，4GB 显存可本地实时运行，无需真人出镜。
多语言视频配音：替换视频中人物的嘴部动作并保留原有头动时序，让译制片或出海内容的口型与目标语言自然匹配。
数字分身/虚拟客服：结合大模型与语音合成构建实时对话分身，应用于在线客服、智能导览等需要”面对面”交互的场景。
个性化教育/培训：为教师或培训师创建专属数字形象，复刻其独特的说话风格，用于录制课程或远程教学。