Trải nghiệm khi dùng SAM 2 (Segment Anything Model 2)
Cách dễ nhất để cảm nhận SAM 2 là mở bản demo web chính thức của Meta được nêu trong README: bạn tải ảnh hoặc video lên, bấm vào vật muốn chọn và thấy viền mặt nạ (mask) bao quanh vật đó ngay. Trong video, bạn chỉ cần chọn ở một khung hình và mô hình tự bám theo vật đó ở các khung sau. Nếu chạy tại máy thì cần dựng môi trường lập trình.
Cài đặt dành cho lập trình viên: clone kho mã, cài bằng pip ở chế độ chỉnh sửa, tải một trong bốn file checkpoint kích cỡ khác nhau (tiny, small, base plus, large) rồi dùng vài dòng Python để nạp mô hình, đưa ảnh vào và yêu cầu dự đoán mặt nạ theo điểm bạn chỉ. README có sẵn sổ tay Jupyter cho ảnh, tạo mặt nạ tự động và video.
Trên Windows, README khuyên rất mạnh nên dùng WSL với Ubuntu thay vì cài trực tiếp. Phần cài còn có bước biên dịch một tiện ích CUDA, nhưng nếu bước này lỗi thì vẫn dùng được SAM 2, chỉ một số hậu xử lý bị hạn chế.
Tính năng nổi bật
Chọn vật bằng một cú bấm
Chỉ cần điểm, khung hoặc nét vẽ làm gợi ý để mô hình tách đúng vật thể ra khỏi nền.
Theo dõi vật trong video
Chọn ở một khung hình rồi để mô hình lan mặt nạ sang các khung hình còn lại, hỗ trợ nhiều vật cùng lúc.
Tự tạo mặt nạ cho cả ảnh
Có chế độ tự động tìm và tách mọi vật trong ảnh, giống SAM đời đầu.
Bốn cỡ mô hình
Từ bản nhỏ đến bản lớn để cân bằng tốc độ và độ chính xác theo phần cứng bạn có.
Có mã huấn luyện và demo web
README đã công bố mã huấn luyện, tinh chỉnh và mã nguồn trang demo để bạn tự dựng.
Tăng tốc cho video
Có tuỳ chọn biên dịch toàn bộ mô hình để suy luận video nhanh hơn đáng kể theo README.
Tận dụng SAM 2 (Segment Anything Model 2) vào việc gì?
Người làm video, hậu kỳ
Tách đối tượng để dựng video
Khoanh một nhân vật hoặc sản phẩm ở một khung hình rồi để AI tạo mặt nạ cho cả đoạn phim.
Kỹ sư dữ liệu, sinh viên nghiên cứu
Gán nhãn dữ liệu cho dự án AI
Dùng SAM 2 để tạo mặt nạ nhanh khi chuẩn bị dữ liệu huấn luyện cho mô hình nhận dạng.
Người chỉnh ảnh chuyên nghiệp
Xoá hoặc thay nền chính xác
Chọn đối tượng chính xác bằng điểm bấm thay vì tô tay từng chi tiết.
Lập trình viên
Xây công cụ chỉnh ảnh riêng
Gọi thư viện trong ứng dụng của bạn để thêm tính năng chọn vật thông minh.
Cần chuẩn bị gì?
- Python 3.10 trở lên cùng torch 2.5.1 trở lên và torchvision 0.20.1 trở lên theo README.
- Windows nên dùng WSL với Ubuntu; README khuyên điều này rất mạnh.
- Card đồ hoạ NVIDIA có CUDA cho tốc độ tốt; ví dụ code trong README dùng chế độ autocast của CUDA. README không nêu mức VRAM tối thiểu.
- Nếu biên dịch phần mở rộng CUDA cần bộ công cụ CUDA và trình biên dịch nvcc phù hợp với phiên bản PyTorch.
Hướng dẫn cài đặt chi tiết
Cài trên Linux hoặc WSL
Cài PyTorch và torchvision theo hướng dẫn trên trang pytorch.org, rồi tải mã nguồn và cài ở chế độ chỉnh sửa. Nên dùng một môi trường conda hoặc venv riêng.
git clone https://github.com/facebookresearch/sam2.git && cd sam2 pip install -e .Nếu muốn chạy các sổ tay ví dụ, cài thêm gói notebooks.
pip install -e ".[notebooks]"Tải các checkpoint SAM 2.1 bằng script có sẵn.
cd checkpoints && ./download_ckpts.sh && cd ..
Cài trên Windows
Cài WSL với bản phân phối Ubuntu theo hướng dẫn của Microsoft, rồi làm các bước như tab Linux bên trong cửa sổ Ubuntu. README khuyên cách này thay cho cài trực tiếp trên Windows.
wsl --install
Cài trên Thử không cần cài
Mở bản demo web chính thức của Meta được liên kết trong README (sam2.metademolab.com) hoặc các sổ tay Colab trong kho mã để thử mà không cần cài. Lưu ý ảnh hoặc video bạn tải lên sẽ đi qua dịch vụ bên ngoài.
Dùng thử lần đầu
Mở sổ tay image_predictor_example.ipynb có sẵn trong thư mục notebooks, hoặc bản Colab liên kết trong README.
Dùng checkpoint kích cỡ lớn để nạp mô hình, đưa một ảnh vào và cho một điểm bấm tại vật cần tách.
Quan sát mặt nạ trả về, thử thêm điểm tích cực hoặc tiêu cực để tinh chỉnh vùng chọn.
Sau khi quen với ảnh, mở sổ tay video và thử chọn một vật ở khung hình đầu rồi để mô hình theo dõi tiếp.
Mẹo dùng hay
- Bắt đầu với checkpoint nhỏ (tiny hoặc small) nếu máy yếu, rồi tăng dần cỡ mô hình để so sánh độ chính xác.
- Nếu thấy thông báo lỗi biên dịch phần mở rộng CUDA khi cài, README cho biết có thể bỏ qua và vẫn dùng được trong hầu hết trường hợp.
- Muốn dùng qua giao diện, nhiều công cụ khác (ví dụ InvokeAI) đã tích hợp SAM, SAM2 để chọn đối tượng.
Lưu ý và hạn chế
- Đây là thư viện nghiên cứu cho người biết Python; không có ứng dụng cài sẵn để bấm chạy.
- Dữ liệu và hạ tầng cho video khá nặng; xử lý video dài cần card đồ hoạ mạnh và bộ nhớ đáng kể.
- Mô hình tạo mặt nạ rất mạnh nên có thể dùng để tách người khỏi video; hãy tôn trọng quyền riêng tư và bản quyền hình ảnh khi xử lý nội dung của người khác.
Câu hỏi thường gặp
SAM 2 có miễn phí không?
Có. Mã, checkpoint và mã demo được cấp theo giấy phép Apache 2.0 theo README, kèm vài thành phần như phông chữ có giấy phép riêng.
Có cài trên Windows trực tiếp được không?
README khuyên mạnh dùng WSL với Ubuntu. Cài trực tiếp có thể gặp lỗi với phần mở rộng CUDA.
SAM 2 khác SAM đời đầu ở đâu?
SAM 2 xem ảnh như video một khung hình, nhờ vậy dùng chung một mô hình cho cả ảnh và video, và có khả năng theo dõi vật thể qua các khung hình.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/facebookresearch/sam2.gitRepo tương tự nên xem
rembg
danielgatis / rembg
Xoá nền ảnh tự động bằng một lệnh: ra ảnh PNG nền trong suốt, chạy trên máy bạn
Invoke (InvokeAI)
invoke-ai / InvokeAI
Xưởng tạo ảnh AI có canvas và workflow, cài bằng trình khởi chạy chính thức
ComfyUI
Comfy-Org / ComfyUI
Tạo ảnh, video, âm thanh bằng AI ngay trên máy bằng cách nối các khối (node) thành quy trình