Trải nghiệm khi dùng Open-Sora
Open-Sora không phải ứng dụng có giao diện cho người dùng thường. Bạn tạo môi trường Python bằng conda, tải mã nguồn, cài PyTorch, xformers và flash-attn, rồi tải trọng số mô hình từ Hugging Face hoặc ModelScope bằng dòng lệnh. Mọi bước đều gõ trong Terminal, và README viết cho người có kinh nghiệm học máy.
Để tạo video, bạn chạy lệnh torchrun với tệp cấu hình độ phân giải và đưa vào mô tả bằng chữ, ví dụ cảnh mưa trên biển. README mô tả quy trình text-to-image-to-video, tức dùng một mô hình tạo ảnh trước rồi biến ảnh thành video, vì mô hình tối ưu cho chuyển ảnh thành video. Bạn có thể chỉnh tỉ lệ khung hình và số khung hình.
Với người chỉ muốn thử, README còn nhắc đến một bản demo Gradio trên Hugging Face Spaces từ năm 2024 và một sản phẩm thương mại có tên Video Ocean của nhóm; bạn nên xem các nơi đó thay vì tự cài. Trang chủ dự án cũng có thư viện video mẫu.
Tính năng nổi bật
Tạo video từ chữ hoặc từ ảnh
Một mô hình hỗ trợ cả text-to-video và image-to-video; bản 2.0 hỗ trợ độ phân giải 256 điểm và 768 điểm theo README.
Mở hoàn toàn
Tác giả công bố trọng số mô hình và mã huấn luyện, thích hợp cho ai muốn nghiên cứu hoặc huấn luyện lại.
Chỉnh khung hình và độ dài
Có tham số tỉ lệ khung hình như 16:9, 9:16, 1:1 và số khung hình tối đa 128 theo README.
Điểm chuyển động và tinh chỉnh mô tả
Cho phép đặt mức chuyển động (motion score) và dùng tính năng tinh chỉnh lời nhắc để mô tả chi tiết hơn.
Hỗ trợ nhiều GPU
Có hướng dẫn chạy song song trên nhiều GPU để tăng tốc, ví dụ lệnh cho 8 GPU với độ phân giải cao.
Nhiều phiên bản để so sánh
Các nhánh cũ 1.0, 1.1, 1.2, 1.3 vẫn có trong kho để nghiên cứu lịch sử phát triển.
Tận dụng Open-Sora vào việc gì?
Sinh viên, nhà nghiên cứu AI
Nghiên cứu mô hình tạo video
Đọc mã nguồn và báo cáo kỹ thuật để hiểu cách xây dựng mô hình video, hoặc huấn luyện thử trên dữ liệu riêng.
Lập trình viên, đội AI của công ty
Dựng quy trình tạo video nội bộ
Chạy trên máy chủ GPU để thử tạo clip ngắn cho ý tưởng quảng cáo hay storyboard.
Người theo dõi công nghệ AI
So sánh các mô hình video mở
Đặt cạnh các mô hình khác như Wan hay HunyuanVideo để đánh giá chất lượng và yêu cầu phần cứng.
Người làm sáng tạo có máy chủ GPU
Thử nghiệm ý tưởng video ngắn
Dùng chế độ chuyển ảnh thành video để làm chuyển động cho một khung hình có sẵn.
Cần chuẩn bị gì?
- Máy Linux có GPU NVIDIA mạnh; README thử hiệu năng trên GPU H100 và H800, và không nêu mức VRAM tối thiểu cho máy phổ thông.
- Python 3.10, PyTorch 2.4 trở lên, xformers và flash-attn theo README; cần CUDA phù hợp.
- Dung lượng ổ cứng đáng kể để chứa trọng số mô hình 11 tỷ tham số cùng các mô hình phụ.
- Tài khoản Hugging Face hoặc ModelScope có thể cần khi tải trọng số.
Hướng dẫn cài đặt chi tiết
Cài trên Linux (conda)
Tạo môi trường Python 3.10 bằng conda và bật nó lên.
conda create -n opensora python=3.10 conda activate opensoraTải mã nguồn rồi cài gói. README yêu cầu torch phiên bản 2.4.0 trở lên.
git clone https://github.com/hpcaitech/Open-Sora cd Open-Sora pip install -v .Cài xformers và flash-attn đúng với phiên bản CUDA của bạn, theo lệnh trong README.
pip install xformers==0.0.27.post2 --index-url https://download.pytorch.org/whl/cu121 pip install flash-attn --no-build-isolationTải trọng số mô hình 11B từ Hugging Face vào thư mục ckpts.
pip install "huggingface_hub[cli]" huggingface-cli download hpcai-tech/Open-Sora-v2 --local-dir ./ckpts
Dùng thử lần đầu
Bắt đầu với độ phân giải nhỏ nhất. Chạy lệnh sinh video 256 điểm từ mô tả, kèm tuỳ chọn tiết kiệm bộ nhớ offload.
torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py configs/diffusion/inference/t2i2v_256px.py --save-dir samples --prompt "raining, sea" --offload TrueMở thư mục samples để xem video được tạo ra. Mô tả bằng tiếng Anh, cụ thể về cảnh và chuyển động.
Thử chuyển ảnh thành video bằng cách đưa vào một ảnh tham chiếu và lời mô tả, theo lệnh ví dụ trong README (phần Image-to-Video).
Chỉ khi máy đủ mạnh mới thử độ phân giải 768 điểm; README chạy cấu hình này với nhiều GPU để có tốc độ hợp lý.
Mẹo dùng hay
- Đọc phần Computational Efficiency trong README để biết tốc độ và bộ nhớ trên GPU server trước khi quyết định cài.
- Nếu chỉ muốn xem chất lượng, dùng trang thư viện video mẫu của dự án thay vì tự dựng môi trường.
- Bạn có thể dùng ComfyUI hay công cụ khác nếu chỉ cần chạy mô hình video ở mức phổ thông; hãy xem hướng dẫn của từng dự án.
Lưu ý và hạn chế
- Yêu cầu phần cứng rất nặng; máy cá nhân thông thường khó chạy được, đặc biệt ở độ phân giải 768 điểm.
- Dự án ở dạng mã nghiên cứu, nhánh chính cập nhật lần cuối khoảng tháng 4 năm 2026 trong dữ liệu của kho; hướng dẫn có thể cần chỉnh theo phiên bản thư viện mới.
- Video do AI tạo ra có thể vô tình giống người hoặc cảnh có thật; không dùng để mạo danh, tạo tin giả hay vi phạm bản quyền, quyền hình ảnh.
Câu hỏi thường gặp
Có chạy được trên laptop không?
README không đưa ra cấu hình cho laptop thông thường và đo hiệu năng trên GPU H100 hoặc H800. Nên xem đây là dự án cho máy chủ GPU, không phải laptop.
Có miễn phí không?
Mã nguồn dùng giấy phép Apache 2.0, miễn phí. Chi phí nằm ở phần cứng GPU hoặc thuê máy chủ.
Muốn thử nhanh có cách nào đơn giản hơn không?
Bạn có thể xem video mẫu trên trang chủ dự án hoặc xem các mô hình video khác có hướng dẫn thân thiện hơn như Wan2.2 trong kho này.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/hpcaitech/Open-Sora.gitRepo tương tự nên xem
Wan2.2
Wan-Video / Wan2.2
Bộ mô hình tạo video từ chữ, ảnh, giọng nói; bản 5B vừa với card 24 GB
LTX-Video (bản gốc v0.9.x)
Lightricks / LTX-Video
Mô hình AI tạo video từ chữ hoặc ảnh của Lightricks; kho này là bản cũ, bản mới là LTX-2.5
HunyuanVideo
Tencent-Hunyuan / HunyuanVideo
Mô hình tạo video lớn mã nguồn mở của Tencent, chuyển câu mô tả thành video chất lượng cao