Chuyển đến nội dung

hpcaitech / Open-Sora

Open-Sora

Mô hình tạo video từ chữ và ảnh mã nguồn mở, kèm toàn bộ mã huấn luyện, cần GPU rất mạnh

Open-Sora là dự án mã nguồn mở của HPC-AI Tech nhằm cho mọi người tiếp cận công nghệ tạo video bằng AI. Bản 2.0 có mô hình 11 tỷ tham số, tạo video từ mô tả chữ hoặc từ ảnh, kèm mã huấn luyện. Đây là dự án cho người nghiên cứu hoặc có máy chủ GPU mạnh, không phải ứng dụng bấm là chạy.

  • 29.941 sao
  • 3.097 fork
  • Python
  • Cập nhật 7 tháng trước
  • Apache 2.0 (dùng tự do, kể cả thương mại)
Độ khó
Khó Dành cho người biết lập trình
Dạng
Mô hình AI, Thư viện lập trình
Chạy trên
Linux, Python
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng Open-Sora

Open-Sora không phải ứng dụng có giao diện cho người dùng thường. Bạn tạo môi trường Python bằng conda, tải mã nguồn, cài PyTorch, xformers và flash-attn, rồi tải trọng số mô hình từ Hugging Face hoặc ModelScope bằng dòng lệnh. Mọi bước đều gõ trong Terminal, và README viết cho người có kinh nghiệm học máy.

Để tạo video, bạn chạy lệnh torchrun với tệp cấu hình độ phân giải và đưa vào mô tả bằng chữ, ví dụ cảnh mưa trên biển. README mô tả quy trình text-to-image-to-video, tức dùng một mô hình tạo ảnh trước rồi biến ảnh thành video, vì mô hình tối ưu cho chuyển ảnh thành video. Bạn có thể chỉnh tỉ lệ khung hình và số khung hình.

Với người chỉ muốn thử, README còn nhắc đến một bản demo Gradio trên Hugging Face Spaces từ năm 2024 và một sản phẩm thương mại có tên Video Ocean của nhóm; bạn nên xem các nơi đó thay vì tự cài. Trang chủ dự án cũng có thư viện video mẫu.

Tính năng nổi bật

Tạo video từ chữ hoặc từ ảnh

Một mô hình hỗ trợ cả text-to-video và image-to-video; bản 2.0 hỗ trợ độ phân giải 256 điểm và 768 điểm theo README.

Mở hoàn toàn

Tác giả công bố trọng số mô hình và mã huấn luyện, thích hợp cho ai muốn nghiên cứu hoặc huấn luyện lại.

Chỉnh khung hình và độ dài

Có tham số tỉ lệ khung hình như 16:9, 9:16, 1:1 và số khung hình tối đa 128 theo README.

Điểm chuyển động và tinh chỉnh mô tả

Cho phép đặt mức chuyển động (motion score) và dùng tính năng tinh chỉnh lời nhắc để mô tả chi tiết hơn.

Hỗ trợ nhiều GPU

Có hướng dẫn chạy song song trên nhiều GPU để tăng tốc, ví dụ lệnh cho 8 GPU với độ phân giải cao.

Nhiều phiên bản để so sánh

Các nhánh cũ 1.0, 1.1, 1.2, 1.3 vẫn có trong kho để nghiên cứu lịch sử phát triển.

Tận dụng Open-Sora vào việc gì?

Sinh viên, nhà nghiên cứu AI

Nghiên cứu mô hình tạo video

Đọc mã nguồn và báo cáo kỹ thuật để hiểu cách xây dựng mô hình video, hoặc huấn luyện thử trên dữ liệu riêng.

Lập trình viên, đội AI của công ty

Dựng quy trình tạo video nội bộ

Chạy trên máy chủ GPU để thử tạo clip ngắn cho ý tưởng quảng cáo hay storyboard.

Người theo dõi công nghệ AI

So sánh các mô hình video mở

Đặt cạnh các mô hình khác như Wan hay HunyuanVideo để đánh giá chất lượng và yêu cầu phần cứng.

Người làm sáng tạo có máy chủ GPU

Thử nghiệm ý tưởng video ngắn

Dùng chế độ chuyển ảnh thành video để làm chuyển động cho một khung hình có sẵn.

Cần chuẩn bị gì?

  • Máy Linux có GPU NVIDIA mạnh; README thử hiệu năng trên GPU H100 và H800, và không nêu mức VRAM tối thiểu cho máy phổ thông.
  • Python 3.10, PyTorch 2.4 trở lên, xformers và flash-attn theo README; cần CUDA phù hợp.
  • Dung lượng ổ cứng đáng kể để chứa trọng số mô hình 11 tỷ tham số cùng các mô hình phụ.
  • Tài khoản Hugging Face hoặc ModelScope có thể cần khi tải trọng số.

Hướng dẫn cài đặt chi tiết

Cài trên Linux (conda)

  1. Tạo môi trường Python 3.10 bằng conda và bật nó lên.

    Terminal
    conda create -n opensora python=3.10
    conda activate opensora
  2. Tải mã nguồn rồi cài gói. README yêu cầu torch phiên bản 2.4.0 trở lên.

    Terminal
    git clone https://github.com/hpcaitech/Open-Sora
    cd Open-Sora
    pip install -v .
  3. Cài xformers và flash-attn đúng với phiên bản CUDA của bạn, theo lệnh trong README.

    Terminal
    pip install xformers==0.0.27.post2 --index-url https://download.pytorch.org/whl/cu121
    pip install flash-attn --no-build-isolation
  4. Tải trọng số mô hình 11B từ Hugging Face vào thư mục ckpts.

    Terminal
    pip install "huggingface_hub[cli]"
    huggingface-cli download hpcai-tech/Open-Sora-v2 --local-dir ./ckpts

Dùng thử lần đầu

  1. Bắt đầu với độ phân giải nhỏ nhất. Chạy lệnh sinh video 256 điểm từ mô tả, kèm tuỳ chọn tiết kiệm bộ nhớ offload.

    Terminal
    torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py configs/diffusion/inference/t2i2v_256px.py --save-dir samples --prompt "raining, sea" --offload True
  2. Mở thư mục samples để xem video được tạo ra. Mô tả bằng tiếng Anh, cụ thể về cảnh và chuyển động.

  3. Thử chuyển ảnh thành video bằng cách đưa vào một ảnh tham chiếu và lời mô tả, theo lệnh ví dụ trong README (phần Image-to-Video).

  4. Chỉ khi máy đủ mạnh mới thử độ phân giải 768 điểm; README chạy cấu hình này với nhiều GPU để có tốc độ hợp lý.

Mẹo dùng hay

  • Đọc phần Computational Efficiency trong README để biết tốc độ và bộ nhớ trên GPU server trước khi quyết định cài.
  • Nếu chỉ muốn xem chất lượng, dùng trang thư viện video mẫu của dự án thay vì tự dựng môi trường.
  • Bạn có thể dùng ComfyUI hay công cụ khác nếu chỉ cần chạy mô hình video ở mức phổ thông; hãy xem hướng dẫn của từng dự án.

Lưu ý và hạn chế

  • Yêu cầu phần cứng rất nặng; máy cá nhân thông thường khó chạy được, đặc biệt ở độ phân giải 768 điểm.
  • Dự án ở dạng mã nghiên cứu, nhánh chính cập nhật lần cuối khoảng tháng 4 năm 2026 trong dữ liệu của kho; hướng dẫn có thể cần chỉnh theo phiên bản thư viện mới.
  • Video do AI tạo ra có thể vô tình giống người hoặc cảnh có thật; không dùng để mạo danh, tạo tin giả hay vi phạm bản quyền, quyền hình ảnh.

Câu hỏi thường gặp

Có chạy được trên laptop không?

README không đưa ra cấu hình cho laptop thông thường và đo hiệu năng trên GPU H100 hoặc H800. Nên xem đây là dự án cho máy chủ GPU, không phải laptop.

Có miễn phí không?

Mã nguồn dùng giấy phép Apache 2.0, miễn phí. Chi phí nằm ở phần cứng GPU hoặc thuê máy chủ.

Muốn thử nhanh có cách nào đơn giản hơn không?

Bạn có thể xem video mẫu trên trang chủ dự án hoặc xem các mô hình video khác có hướng dẫn thân thiện hơn như Wan2.2 trong kho này.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/hpcaitech/Open-Sora.git

Repo tương tự nên xem

Tạo ảnh & video bằng AI18,7K

Wan2.2

Wan-Video / Wan2.2

Bộ mô hình tạo video từ chữ, ảnh, giọng nói; bản 5B vừa với card 24 GB

KhóPythonLinuxWindows
Tạo ảnh & video bằng AI11,4K

LTX-Video (bản gốc v0.9.x)

Lightricks / LTX-Video

Mô hình AI tạo video từ chữ hoặc ảnh của Lightricks; kho này là bản cũ, bản mới là LTX-2.5

KhóWindowsmacOSLinuxPython
Tạo ảnh & video bằng AI12,8K

HunyuanVideo

Tencent-Hunyuan / HunyuanVideo

Mô hình tạo video lớn mã nguồn mở của Tencent, chuyển câu mô tả thành video chất lượng cao

KhóLinuxPythonDocker

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Tạo ảnh & video bằng AI

Tạo ảnh & video bằng AI165K

Stable Diffusion web UI (AUTOMATIC1111)

AUTOMATIC1111 / stable-diffusion-webui

Giao diện web kinh điển để tạo ảnh bằng Stable Diffusion ngay trên máy tính của bạn

VừaWindowsLinuxmacOSPython
Tạo ảnh & video bằng AI147K

ComfyUI

Comfy-Org / ComfyUI

Tạo ảnh, video, âm thanh bằng AI ngay trên máy bằng cách nối các khối (node) thành quy trình

VừaWindowsmacOSLinuxPython
Tạo ảnh & video bằng AI144K

MoneyPrinterTurbo

harry0703 / MoneyPrinterTurbo

Nhập chủ đề, tự có video ngắn: kịch bản, giọng đọc, cảnh quay, phụ đề và nhạc

VừaWindowsmacOSLinuxDocker+1
Tạo ảnh & video bằng AI53,9K

Fooocus

lllyasviel / Fooocus

Tạo ảnh AI kiểu Midjourney ngay trên máy bạn, chỉ cần gõ mô tả, ít phải chỉnh thông số

DễWindowsLinuxmacOSPython
Tạo ảnh & video bằng AI52,7K

Upscayl

upscayl / upscayl

Phóng to ảnh mờ, ảnh nhỏ lên nét hơn bằng AI, cài như phần mềm thường, bấm vài nút

DễWindowsmacOSLinux
Tạo ảnh & video bằng AI37,7K

GFPGAN

TencentARC / GFPGAN

AI khôi phục khuôn mặt trong ảnh cũ, ảnh mờ, ảnh do AI tạo ra cho rõ nét hơn

KhóPythonLinuxWindows

Xem cả 26 repo Tạo ảnh & video bằng AI Về Kho Repo