科学家提出视频扩散模型加速方法，在H100和A100均实现一倍以上端到端加速效果

近日，南京理工大学校友、美国东北大学沈轩博士及其团队提出了一种名为Draft Attention的全新视频扩散模型加速方法。该方法通过将隐藏空间中的tokens重塑为视频结构，并利用平均池化构建低分辨率注意力图，生成稀疏掩码以引导完整分辨率下的稀疏注意力计算，从而在几乎不影响生成质量的情况下显著降低计算开销。实验结果显示，Draft Attention在H100和A100 GPU上分别实现了最高1.75倍和2倍的端到端加速效果。这项即插即用的加速框架不仅提升了视频生成效率，还降低了内容创作者使用AI生成高质量视频的门槛，具有广泛的应用前景，特别是在对生成速度和计算资源要求较高的场景中。未来，该方法有望应用于边缘计算设备，如手机和XR眼镜，实现高质量视频的本地快速生成，对于虚拟现实、游戏制作等领域具有重要意义。此外，草图注意力机制作为一种高效的稀疏计算方法，也可能扩展到其他视觉生成任务中。