LayerFlow
[SIGGRAGH'25] Official repository of LayerFlow: A Unified Model for Layer-aware Video Generation
File Explorer
Download Latest Version (.zip)- 0000.jpg
- 0001.jpg
- 0002.jpg
- 0003.jpg
- 0004.jpg
- 0005.jpg
- 0006.jpg
- 0007.jpg
- 0008.jpg
- 0009.jpg
- 0010.jpg
- 0011.jpg
- 0012.jpg
- 0013.jpg
- 0014.jpg
- 0015.jpg
- meta_test.json
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- 0000.png
- 0001.png
- 0002.png
- 0003.png
- 0004.png
- 0005.png
- 0006.png
- 0007.png
- 0008.png
- 0009.png
- 0010.png
- 0011.png
- 0012.png
- 0013.png
- 0014.png
- 0015.png
- meta_fg2bg_test.json
- meta_seg_test.json
- .DS_Store
- 0000.jpg
- 0001.jpg
- 0002.jpg
- 0003.jpg
- 0004.jpg
- 0005.jpg
- 0006.jpg
- 0007.jpg
- 0008.jpg
- 0009.jpg
- 0010.jpg
- 0011.jpg
- 0012.jpg
- 0013.jpg
- 0014.jpg
- 0015.jpg
- 0000.jpg
- 0001.jpg
- 0002.jpg
- 0003.jpg
- 0004.jpg
- 0005.jpg
- 0006.jpg
- 0007.jpg
- 0008.jpg
- 0009.jpg
- 0010.jpg
- 0011.jpg
- 0012.jpg
- 0013.jpg
- 0014.jpg
- 0015.jpg
- 0000.jpg
- 0001.jpg
- 0002.jpg
- 0003.jpg
- 0004.jpg
- 0005.jpg
- 0006.jpg
- 0007.jpg
- 0008.jpg
- 0009.jpg
- 0010.jpg
- 0011.jpg
- 0012.jpg
- 0013.jpg
- 0014.jpg
- 0015.jpg
- meta_test.json
- .DS_Store
- arguments.cpython-310.pyc
- base_model.cpython-310.pyc
- data_utils.cpython-310.pyc
- data_utils_test.cpython-310.pyc
- data_video.cpython-310.pyc
- deepspeed_test.cpython-310.pyc
- deepspeed_training.cpython-310.pyc
- deepspeed_training_test.cpython-310.pyc
- diffusion_video.cpython-310.pyc
- diffusion_video_1_9.cpython-310.pyc
- diffusion_video_bg2fg.cpython-310.pyc
- diffusion_video_old.cpython-310.pyc
- diffusion_video_reb.cpython-310.pyc
- diffusion_video_rgb.cpython-310.pyc
- dit_video_concat.cpython-310.pyc
- dit_video_concat_1_9.cpython-310.pyc
- dit_video_concat_bg2fg.cpython-310.pyc
- dit_video_concat_rgb.cpython-310.pyc
- dit_video_concat_v2.cpython-310.pyc
- layers.cpython-310.pyc
- lora.cpython-310.pyc
- lora2_my_new_r.cpython-310.pyc
- model_io.cpython-310.pyc
- transformer.cpython-310.pyc
- transformer_defaults.cpython-310.pyc
- cogvideox_2b_stage2_bg2fg_rgb.yaml
- cogvideox_2b_stage2_bg2fg_rgba.yaml
- cogvideox_2b_stage2_fg2bg_rgb.yaml
- cogvideox_2b_stage2_fg2bg_rgba.yaml
- cogvideox_2b_stage2_gen_rgb.yaml
- cogvideox_2b_stage2_gen_rgba.yaml
- cogvideox_2b_stage2_seg_rgb.yaml
- cogvideox_2b_stage2_seg_rgba.yaml
- sft_stage2_bg2fg_rgb_test.yaml
- sft_stage2_bg2fg_rgba_test.yaml
- sft_stage2_fg2bg_rgb_test.yaml
- sft_stage2_fg2bg_rgba_test.yaml
- sft_stage2_gen_rgb_test.yaml
- sft_stage2_gen_rgba_test.yaml
- sft_stage2_seg_rgb_test.yaml
- sft_stage2_seg_rgba_test.yaml
- __init__.cpython-310.pyc
- __init__.cpython-39.pyc
- util.cpython-310.pyc
- util.cpython-39.pyc
- webds.cpython-310.pyc
- __init__.cpython-310.pyc
- __init__.cpython-39.pyc
- autoencoder.cpython-310.pyc
- autoencoder.cpython-39.pyc
- __init__.py
- autoencoder.py
- autoencoder_i2v.py
- __init__.cpython-310.pyc
- __init__.cpython-39.pyc
- attention.cpython-310.pyc
- attention.cpython-39.pyc
- cp_enc_dec.cpython-310.pyc
- cp_enc_dec.cpython-39.pyc
- ema.cpython-310.pyc
- ema.cpython-39.pyc
- video_attention.cpython-310.pyc
- video_attention.cpython-39.pyc
- __init__.cpython-310.pyc
- __init__.cpython-39.pyc
- temporal_ae.cpython-310.pyc
- temporal_ae.cpython-39.pyc
- __init__.py
- discriminator_loss.py
- lpips.py
- video_loss.py
- __init__.cpython-310.pyc
- util.cpython-310.pyc
- __init__.cpython-310.pyc
- lpips.cpython-310.pyc
- .gitignore
- __init__.py
- LICENSE
- lpips.py
- __init__.py
- LICENSE
- model.py
- __init__.py
- util.py
- vqperceptual.py
- __init__.cpython-310.pyc
- __init__.cpython-39.pyc
- base.cpython-310.pyc
- base.cpython-39.pyc
- __init__.py
- base.py
- finite_scalar_quantization.py
- lookup_free_quantization.py
- quantize.py
- movq_dec_3d.py
- movq_dec_3d_dev.py
- movq_enc_3d.py
- movq_modules.py
- quantize.py
- vqvae_blocks.py
- __init__.py
- magvit2_pytorch.py
- temporal_ae.py
- __init__.cpython-310.pyc
- __init__.cpython-39.pyc
- denoiser.cpython-310.pyc
- denoiser.cpython-39.pyc
- denoiser_scaling.cpython-310.pyc
- denoiser_weighting.cpython-310.pyc
- discretizer.cpython-310.pyc
- discretizer.cpython-39.pyc
- guiders.cpython-310.pyc
- guiders.cpython-39.pyc
- lora.cpython-310.pyc
- lora.cpython-39.pyc
- loss.cpython-310.pyc
- loss_all.cpython-310.pyc
- loss_all_v1.cpython-310.pyc
- loss_all_v2.cpython-310.pyc
- loss_all_v3.cpython-310.pyc
- loss_seg.cpython-310.pyc
- model.cpython-310.pyc
- model.cpython-39.pyc
- openaimodel.cpython-310.pyc
- openaimodel.cpython-39.pyc
- sampling.cpython-310.pyc
- sampling.cpython-39.pyc
- sampling_utils.cpython-310.pyc
- sampling_utils.cpython-39.pyc
- sigma_sampling.cpython-310.pyc
- util.cpython-310.pyc
- util.cpython-39.pyc
- wrappers.cpython-310.pyc
- wrappers.cpython-39.pyc
- __init__.py
- denoiser.py
- denoiser_scaling.py
- denoiser_weighting.py
- discretizer.py
- guiders.py
- lora.py
- loss.py
- model.py
- openaimodel.py
- sampling.py
- sampling_utils.py
- sigma_sampling.py
- util.py
- wrappers.py
- __init__.cpython-310.pyc
- __init__.cpython-39.pyc
- distributions.cpython-310.pyc
- distributions.cpython-39.pyc
- __init__.py
- distributions.py
- __init__.cpython-310.pyc
- __init__.cpython-39.pyc
- modules.cpython-310.pyc
- modules.cpython-39.pyc
- __init__.py
- modules.py
- __init__.py
- attention.py
- cp_enc_dec.py
- cp_enc_dec_i2v.py
- ema.py
- video_attention.py
- __init__.py
- lr_scheduler.py
- util.py
- webds.py
- autoencoder.cpython-310.pyc
- cp_enc_dec.cpython-310.pyc
- ema.cpython-310.pyc
- regularizers.cpython-310.pyc
- utils.cpython-310.pyc
- attention.py
- autoencoder.py
- cp_enc_dec.py
- ema.py
- regularizers.py
- utils.py
- .DS_Store
- arguments.py
- base_model.py
- data_utils.py
- data_video.py
- deepspeed_test.py
- DeepSpeedEngine.py
- diffusion_video.py
- diffusion_video_rgb.py
- dit_video_concat.py
- dit_video_concat_rgb.py
- inference_stage2_bg2fg_rgb.sh
- inference_stage2_bg2fg_rgba.sh
- inference_stage2_fg2bg_rgb.sh
- inference_stage2_fg2bg_rgba.sh
- inference_stage2_gen_rgb.sh
- inference_stage2_gen_rgba.sh
- inference_stage2_seg_rgb.sh
- inference_stage2_seg_rgba.sh
- layers.py
- lora.py
- model_io.py
- sample_video.py
- sample_video_i2v.py
- test_video.py
- test_video_rgb.py
- transformer.py
- transformer_defaults.py
- .gitignore
- LICENSE
- logo.png
- output.txt
- README.md
- requirements.txt
- teaser.png
# Installation Guide
git clone https://github.com/SihuiJi/LayerFlow
Downloads the entire project code from GitHub to your computer.
cd LayerFlow
Moves into the project folder you just downloaded.
2. Official Install Script
Easy Recommended- Python 3 Python is required to use pip.
pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0
Installs the package published on PyPI directly β no need to clone the source.
curl --proto '=https' --tlsv1.2 -sSf [https://sh.rustup.rs](https://sh.rustup.rs/) | sh
Downloads and runs the official install script in one line β this handles the full setup automatically.
pip install lightning pandas websockets
Installs the package published on PyPI directly β no need to clone the source.
Pulled directly from this repo's README.
3. Python
Easypip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0
Installs the package published on PyPI directly β no need to clone the source.
pip install -r requirements.txt
Installs the Python libraries listed in requirements.txt (or similar).
pip install -e .
Installs the Python libraries listed in requirements.txt (or similar).
pip install lightning pandas websockets
Installs the package published on PyPI directly β no need to clone the source.
Pulled directly from this repo's README.
