Pixelle-Video,定位是"AI 全自动短视频引擎",上线没多久就拿下 2 万多 Star,Fork 数也突破了 3.5K。我去翻了完整的 README,发现这东西比我想象的强得多——不只是"能用",而是已经做到了相当完整的产品体验。

图片

它到底在做什么?

一句话:你输入一个主题,它帮你全自动出一条完整的短视频

不是"辅助创作",不是"给你素材",是真正的端到端全自动:

  • AI 写脚本

  • AI 生成每一帧配图(或配视频)

  • AI 合成配音

  • 自动加背景音乐

  • 自动剪辑合成,输出成片

全程你不需要会剪辑,不需要自己找素材,甚至不需要写一个字的文案。官方展示案例里,输入"为什么我们还没发现外星文明",出来的是一条带解说词、配图、BGM 的完整科普短视频。

图片

生成流程是怎么跑的?

项目采用模块化流水线设计,四个步骤清清楚楚:

脚本生成 → 配图规划 → 逐帧处理 → 视频合成

每个步骤都是独立模块,可以单独替换。这个设计很聪明——意味着你不满意某一环节,可以单独调换,不影响其他部分。

图片

功能有多全?细说一下

 大模型支持全家桶

脚本生成这一步,支持 GPT、Qwen、DeepSeek、Ollama(本地部署)等主流模型,基本覆盖了市面上能用的 LLM。

图像与视频生成

这里是这个项目的亮点之一:它不只是生成静态图片,还支持:

  • AI 生成图片

    :接 ComfyUI 工作流(比如 FLUX 模型),或者直连 DashScope / 可灵 / ARK 等 API

  • AI 生成视频

    :支持 WAN 2.1 等动态视频生成模型,真正把"动态视频帧"打进流程

  • 图生视频

    :上传一张图,AI 让它动起来

  • 动作迁移(Motion Transfer)

    :上传参考视频 + 一张图片,AI 把动作迁移到图片角色上——这个功能是 2026 年 1 月刚加的,让我想到了之前刷屏的各种换脸/驱动视频玩法

图片

语音合成

支持 Edge-TTS(免费)、Index-TTS 等多种 TTS 方案,还有一个让人惊喜的功能:声音克隆。上传一段参考音频,它就能用这个声音读脚本。做 IP 号的朋友,这个功能值得重点关注。

另外还支持多语言 TTS,官方案例里甚至有一条韩语 AI 数字人说话的视频。

AI 数字人

对,这个也有了。2026 年 1 月加入,可以生成一个会开口说话的 AI 数字人出境视频,省去了真人出镜的成本。

视频模板系统

提供三类模板:

  • static.html:纯文字样式,无 AI 生成媒体

  • image.html:以 AI 图片为背景

  • video.html:以 AI 视频为背景

模板本身是 HTML 文件,熟悉前端的可以直接改样式、改布局,做出自己的专属风格。

图片

 视频比例

竖屏(9:16)、横屏(16:9)都支持,甚至还支持方形,覆盖抖音、B 站、YouTube、小红书等不同平台需求。

真实案例长啥样?

官方 README 里列了很多生成案例,覆盖了不同主题和风格:

  • 旅途风光

     — 纪录片风格配解说

  • 文化解构

     — 比如"圣诞老人的真实身份"

  • 科学探索

     — "为什么我们还没发现外星文明"

  • 个人成长

     — 用声音克隆功能配音

  • 深度思考

     — 《反脆弱》解读

  • 历史文化

     — 《资治通鉴》内容

  • 副业赚钱

     — 横屏电影感模板

  • 知识科普

     — 用通义千问生成图片

这些视频全部是"输入一个关键词,AI 全自动生成",没有任何人工剪辑参与。

图片

上手有多难?Windows 用户看这里

项目提供了 Windows 整合包,这是亮点——下载、解压、双击 start.bat,浏览器自动打开 localhost:8501,配置好 API Key 就能跑。

不需要安装 Python,不需要配 ffmpeg,不需要碰命令行。

Mac / Linux 用户走源码安装,三步到位:

git clone https://github.com/AIDC-AI/Pixelle-Video.git
cd Pixelle-Video
uv run streamlit run web/app.py
安装好 uv 和 ffmpeg 之后,就这么简单。

图片

界面怎么用?

打开后是三栏布局:

左栏——内容输入:可以选"AI 自动生成脚本"(给主题关键词)或"固定脚本"(你自己提前写好文案)。BGM 这里也有设置,支持选内置音乐或放自己的文件。

中栏——语音 + 视觉设置:选 TTS 工作流、上传声音克隆参考音、选图像生成工作流、调图片尺寸、写风格提示词(Prompt 前缀)、选视频模板……这一栏参数最多,也是能出差异化效果的核心。

右栏——生成视频:点击按钮,实时看进度:"第 3/5 帧 - 正在生成图片"这样的状态。生成完自动播放预览,文件存到 output/ 文件夹。

费用问题:可以做到完全免费

这是我觉得项目很有诚意的地方,官方直接给了三种方案:

方案

LLM

图像生成

成本

完全免费

Ollama 本地部署

ComfyUI 本地部署

¥0

推荐方案

通义千问(极低价格)

ComfyUI 本地部署

极低

云端方案

OpenAI

RunningHub 云服务

较高,但无需本地 GPU

有本地 GPU 的直接走免费方案,没有 GPU 又想省事的,官方推荐用通义千问 + RunningHub,性价比最高。

图片

它背后是谁做的?

来自 AIDC-AI(阿里国际数字商业 AI 团队),是阿里巴巴旗下的一个 AI 研究团队。这个团队在 GitHub 上还有几个关联项目——Pixelle-MCP(ComfyUI + MCP 协议)、Pixelle-Studio(零代码 AI 文件处理)。

值得一提的是,项目的学术背景也很扎实——README 里挂着三篇相关论文,分别发表在 SIGGRAPH Asia 2024、ACL 2025、SIGGRAPH Asia 2025,都是顶级学术会议。这不是一个纯玩具项目,背后有系统性的研究积累。

图片

有哪些不足?

说几句实话:

GitHub Issues 里有不少用户反馈配置问题,比如 RunningHub 和本地 ComfyUI 的配置界面提示有些混淆,工作流文件路径有时报错。这些都是年轻项目正常会遇到的磨合问题,团队响应也在跟进。

另外,要发挥完整能力,还是需要自己去准备 API Key(LLM 服务 + 图像服务),以及了解基本的 ComfyUI 概念。如果你是完全不懂技术的小白,第一次上手可能需要折腾半天。

适合谁?

  • 批量做选题内容的自媒体账号

    :知识科普、历史解读、观点解说……这类内容高度适合自动化,Pixelle-Video 能把选题到成片的时间压缩到几分钟

  • 想做 AI 数字人出镜的 IP 号

    :结合声音克隆 + 数字人功能,可以做到不出镜也有"主播感"

  • 开发者和研究者

    :全链路代码开源(Apache-2.0),每个模块独立可替换,是研究"自动化视频管线"的极佳起点

  • 想私有化部署、掌控数据的团队

    :不依赖任何商业闭源工具,可以完全本地化运行

最后

内容创作的技术门槛正在以非常快的速度降低。

图片

去年你还需要会用剪映、会写文案;今年,AI 帮你做文案和配图;现在,AI 连剪辑合成都包了。

Pixelle-Video 不是终点,但它是一个清晰的信号:"从想法到成品"这件事,正在变得和发一条微信消息一样容易

更多transformer,VIT,swin tranformer
参考头条号:人工智能研究所
v号:人工智能研究Suo, 启示AI科技

 动画详解transformer  在线视频教程

更多推荐