lumenx-comfyui

KO | EN

gitlite — search

#javascript #hacktoberfest #ai #deep-learning #docker #nodejs #macos #kubernetes #vue #awesome-list #security #ios #openai #open-source

(★ 12)

LumenX 短漫剧生成引擎 - ComfyUI 集成版本，支持 AI 动画和短漫剧自动化生成

lumenx-comfyui 최신버젼 다운로드

최종 버전 다운로드 (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# LumenX-ComfyUI

AI 原生短漫剧创作平台 - 基于 ComfyUI 的本地化版本

## 项目概述

LumenX-ComfyUI 是 [LumenX Studio](https://github.com/alibaba/lumenx) 的本地化改造版本，将底层的图像/视频生成从阿里云百炼替换为 ComfyUI API，同时完整保留了原有的短漫剧制作流程、界面和任务管理功能。

## 核心特性

- ✅ 完整保留 LumenX 的 6 阶段短漫剧制作流程
- ✅ 保留所有 UI 界面和交互体验
- ✅ 保留任务一致性、图片资源通用和固定功能
- ✅ 保留提示词模板和剧本分析逻辑
- ✅ 图像/视频生成全部使用 ComfyUI 工作流
- ✅ 文字生成使用 OpenAI 兼容接口的自定义模型
- ✅ 支持动态工作流选择和参数配置
- ✅ 独立项目，不依赖阿里云百炼的图像/视频服务

## 技术栈

- **ComfyUI 服务**: 自定义 ComfyUI 工作流 API
- **文字生成**: OpenAI 兼容接口（支持 Qwen、GPT、DeepSeek、Ollama 等）
- **前端**: Next.js 14 + React 18 + TypeScript + Tailwind CSS
- **后端**: FastAPI + Python 3.11+

## 快速开始

### 1. 环境准备

```bash
# Python 3.11+
# Node.js 18+
# FFmpeg (用于视频处理)
```

### 2. 克隆项目

```bash
git clone <your-repo-url>
cd lumenx-comfyui
```

### 3. 配置环境变量

复制 `.env.example` 为 `.env` 并填入配置：

```bash
cp .env.example .env
```

编辑 `.env` 文件：

```env
# ComfyUI 服务配置
COMFYUI_BASE_URL=https://your-comfyui-server:8443

# LLM 配置（OpenAI 兼容接口）
LLM_BASE_URL=https://coding.dashscope.aliyuncs.com/v1
LLM_API_KEY=your_api_key_here
LLM_MODEL_NAME=qwen3.6-plus
```

### 4. 安装依赖

```bash
# 后端依赖
pip install -r requirements.txt

# 前端依赖
cd frontend
npm install
cd ..
```

### 5. 启动服务

```bash
# 启动后端 (http://localhost:8000)
./start_backend.sh

# 启动前端 (http://localhost:3008)
cd frontend && npm run dev
```

## 配置说明

### ComfyUI 工作流映射

项目使用 `config/workflow_mapping.json` 来定义功能与 ComfyUI 工作流的映射关系：

```json
{
  "asset_generation": {
    "character": "C16-短剧文生图专用-支持场景-角色",
    "character_multiangle": "B13-千问角色一键多角度",
    "scene": "C16-短剧文生图专用-支持场景-角色"
  },
  "video_generation": {
    "i2v": "G03-图生视频-Wan2.2SmoothMix",
    "i2v_first_last_frame": "G02-首尾帧-Wan2.2首尾帧视频",
    "r2v": "P02-动作迁移-Wan2.2Animate角色迁移"
  }
}
```

您可以根据实际的 ComfyUI 工作流进行调整。

### LLM 配置

支持任何 OpenAI 兼容接口的模型服务：

#### 使用 DashScope (默认)

```env
LLM_BASE_URL=https://coding.dashscope.aliyuncs.com/v1
LLM_API_KEY=sk-xxx
LLM_MODEL_NAME=qwen3.6-plus
```

#### 使用 Ollama (本地)

```env
LLM_BASE_URL=http://localhost:11434/v1
LLM_API_KEY=ollama
LLM_MODEL_NAME=qwen2.5:72b
```

#### 使用 OpenAI

```env
LLM_BASE_URL=https://api.openai.com/v1
LLM_API_KEY=sk-xxx
LLM_MODEL_NAME=gpt-4o
```

## ComfyUI 工作流说明

### 图像生成工作流

- **C16-短剧文生图专用**: 支持场景和角色的文生图
- **A01-文生图-Qwen2512**: 高清放大文生图
- **B13-千问角色一键多角度**: 角色多角度生成
- **C07-文生图-Zimage-Nunchaku**: 加速文生图
- **D20-RAW画质重建**: 高质量图像重建

### 视频生成工作流

- **G01-图生视频-Wan2.2**: 基础图生视频
- **G02-首尾帧-Wan2.2**: 首尾帧视频生成
- **G03/G10-图生视频-Wan2.2SmoothMix**: SmoothMix 图生视频
- **H17/H28-LTX2.3**: LTX 系列图生视频
- **P02/P07-动作迁移**: 参考视频驱动

### 音频工作流

- **N2-单人声音克隆**: FishAudio 声音克隆

## 项目结构

```
lumenx-comfyui/
├── frontend/              # Next.js 前端工程（99% 复用 LumenX）
├── src/                   # Python 后端核心
│   ├── apps/comic_gen/   # 短漫剧业务逻辑
│   ├── models/           # AI 模型接口
│   │   ├── comfyui_client.py   # ComfyUI API 客户端
│   │   ├── comfyui_image.py    # 图像生成模型
│   │   ├── comfyui_video.py    # 视频生成模型
│   │   └── factory.py          # 模型工厂
│   ── utils/            # 工具库
├── config/                # 配置文件
│   └── workflow_mapping.json  # 工作流映射
├── output/                # 项目输出目录（自动生成）
└── .env                   # 环境配置
```

## 与原版 LumenX 的差异

| 特性 | LumenX (原版) | LumenX-ComfyUI (本版本) |
|------|---------------|------------------------|
| 图像生成 | 阿里云 Wanx | ComfyUI 工作流 |
| 视频生成 | 阿里云 Wanx/Kling/Vidu | ComfyUI 工作流 |
| 文字生成 | 阿里云 DashScope | OpenAI 兼容接口 |
| 部署方式 | 云服务 + 本地 | 完全本地化 |
| 依赖服务 | 阿里云百炼 | ComfyUI 服务器 |
| 前端界面 | 完全一致 | 完全一致 |
| 功能流程 | 6 阶段完整流程 | 6 阶段完整流程 |

## API 文档

后端提供 Swagger UI 文档：http://localhost:8000/docs

主要 API 端点：

- `/api/comfyui/workflows` - 获取可用工作流列表
- `/api/comfyui/workflow/{id}` - 获取工作流详情
- `/api/comfyui/task/{task_id}` - 查询任务状态
- `/api/scripts` - 剧本管理
- `/api/assets` - 资产管理
- `/api/storyboards` - 分镜管理

## 开发指南

### 添加新的 ComfyUI 工作流

1. 在 ComfyUI 控制面板中创建工作流
2. 更新 `config/workflow_mapping.json` 添加映射
3. 在 `src/models/comfyui_client.py` 中添加对应的调用方法（如需要）

### 切换 LLM 模型

只需修改 `.env` 文件中的 `LLM_BASE_URL`、`LLM_API_KEY` 和 `LLM_MODEL_NAME` 即可。

## 常见问题

### Q: ComfyUI 服务无法连接？

A: 检查以下配置：
- `COMFYUI_BASE_URL` 是否正确
- ComfyUI 服务是否正常运行
- 网络连接是否正常
- 防火墙是否开放对应端口

### Q: 如何自定义工作流参数？

A: 在调用生成 API 时，可以通过 `kwargs` 传递额外参数，这些参数会直接传递给 ComfyUI 工作流。

### Q: 支持哪些 LLM 模型？

A: 任何提供 OpenAI 兼容接口的模型都可以使用，包括但不限于：
- Qwen 系列（通义千问）
- GPT 系列（OpenAI）
- DeepSeek
- LLaMA（通过 Ollama/vLLM）
- 其他 OpenAI 兼容模型

## 贡献

欢迎提交 Issue 和 Pull Request！

## 许可证

MIT License

## 致谢

- [LumenX Studio](https://github.com/alibaba/lumenx) - 原始项目
- [ComfyUI](https://github.com/comfyanonymous/ComfyUI) - 图像生成框架
- [ZEALMAN Control Panel](https://www.zealman.com) - ComfyUI 控制面板

lumenx-comfyui

lumenx-comfyui 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

lumenx-comfyui

lumenx-comfyui 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README