什么是INFP?
INFP 是一个先进系统，能将静态肖像图像转变为交互式的说话头像视频，在多回合对话中自然地在说话和倾听状态之间切换。不同于需要手动角色分配的传统方法，INFP 使用音频输入动态引导代理的面部表情和头部动作，以高保真度捕捉语言和非语言线索。它利用涉及动作潜在空间编码和条件扩散变换器的新型两阶段过程，由真实双向对话的大规模 DyConv 数据集支持。该框架实现实时性能并保留个人面部细节和说话风格，适用于需要逼真虚拟头像和交互式代理的应用。
主要功能
●
动态角色切换
基于双向音频输入，自动在说话和倾听状态之间切换动画头像，无需手动干预。
●
两阶段动作生成
结合基于动作的头部模仿和音频引导的动作映射，产生自然同步的面部和头部动作。
●
通用性和实时性
支持任何个人的静态图像并实时生成动画，实现广泛应用。
●
高保真面部细节保留
通过双重注意力机制和风格调节，保持个人面部特征和说话风格。
●
大规模对话数据集
基于广泛的真实对话集合进行训练，提升系统的真实感和互动质量。
1. INFP 需要什么输入来生成会说话的头像视频？⌄
INFP 需要静态肖像图像和相应的音频输入来驱动头部和面部表情的动画。
2. INFP 支持多回合对话吗？⌄
是的，它能动态切换说话和倾听状态，以处理多回合的双向交互。
3. 该系统是否限于特定的个人或图像？⌄
不，INFP 是通用的，可以为任何静态肖像图像制作动画。
4. INFP 如何保持面部特征和风格？⌄
它使用双重注意力机制和风格调制层来保留独特的面部细节和说话风格。
5. INFP 能实时运行吗？⌄
是的，该框架足够轻量级，能够实时生成动画。
6. 什么数据集支持 INFP 的训练？⌄
INFP 在 DyConv 上训练，这是一个包含多样化、真实双向对话的大规模数据集。
7. INFP 技术是否对所有用途公开可用？⌄
目前，核心技术访问仅限于研究机构，以防止滥用。