Runway API

世界上第一个结合GPT-3、稳定扩散和D-ID独特人脸动画技术的平台。我们的生成式人工智能将在几秒钟内将您的想象变成一个说话的人物形象。

UniAnimate是一个用于人物图像动画的统一视频扩散模型框架。它通过将参考图像、姿势指导和噪声视频映射到一个共同的特征空间，以减少优化难度并确保时间上的连贯性。UniAnimate能够处理长序列，支持随机噪声输入和首帧条件输入，显著提高了生成长期视频的能力。此外，它还探索了基于状态空间模型的替代时间建模架构，以替代原始的计算密集型时间Transformer。UniAnimate在定量和定性评估中都取得了优于现有最先进技术的合成结果，并且能够通过迭代使用首帧条件策略生成高度一致的一分钟视频。

CogVideoX-2B是一个开源的视频生成模型，由清华大学团队开发。它支持使用英语提示语言生成视频，具有36GB的推理GPU内存需求，并且可以生成6秒长、每秒8帧、分辨率为720*480的视频。该模型使用正弦位置嵌入，目前不支持量化推理和多卡推理。它基于Hugging Face的diffusers库进行部署，能够根据文本提示生成视频，具有高度的创造性和应用潜力。

AppMall是一个创新的网页端AI应用商店，致力于为用户打造一个高效、灵活的AI应用生态系统。AppMall提供多种AI应用供用户安装和使用，通过直观的界面以及便捷的操作，用户可以轻松管理AI应用、下载模型。无论是数据处理、模型训练，还是部署智能应用，AppMall AI应用中心都可以为您提供便捷的解决方案。

CamCo是一个创新的图像到视频生成框架，它能够生成具有3D一致性的高质量视频。该框架通过Plücker坐标引入相机信息，并提出了一种符合几何一致性的双线约束注意力模块。此外，CamCo在通过运动结构算法估计相机姿态的真实世界视频上进行了微调，以更好地合成物体运动。

AnimateAnyone是一个基于深度学习的视频生成模型，它能够将静态图片或视频转换为动画。该模型由Novita AI非官方实现，灵感来源于MooreThreads/Moore-AnimateAnyone的实现，并在训练过程和数据集上进行了调整。

ComfyUI-LumaAI-API是一个为ComfyUI设计的插件，它允许用户直接在ComfyUI中使用Luma AI API。Luma AI API基于Dream Machine视频生成模型，由Luma开发。该插件通过提供多种节点，如文本到视频、图像到视频、视频预览等，极大地丰富了视频生成的可能性，为视频创作者和开发者提供了便捷的工具。

FIFO-Diffusion是一种基于预训练扩散模型的新颖推理技术，用于文本条件视频生成。它能够无需训练生成无限长的视频，通过迭代执行对角去噪，同时处理队列中一系列连续帧的逐渐增加的噪声水平；该方法在头部出队一个完全去噪的帧，同时在尾部入队一个新的随机噪声帧。此外，引入了潜在分割来减少训练推理差距，并通过前瞻去噪来利用前向引用的好处。