Chuyển đến nội dung

facebookresearch / sam2

SAM 2 (Segment Anything Model 2)

Mô hình của Meta tự khoanh vùng mọi vật trong ảnh và theo dõi chúng xuyên suốt video

SAM 2 là mô hình AI của Meta FAIR cho phép chỉ một điểm hoặc khung vào vật thể, rồi nó tự tách vật đó ra khỏi ảnh. Điểm mới so với SAM đời đầu là làm được trên video: bạn chọn vật ở một khung hình và mô hình theo dõi nó qua các khung còn lại. Đây là thư viện Python cho người biết lập trình, không phải ứng dụng cài sẵn.

  • 20.155 sao
  • 2.593 fork
  • Jupyter Notebook
  • Cập nhật 5 tháng trước
  • Apache 2.0 (dùng tự do, kể cả thương mại)
Độ khó
Khó Dành cho người biết lập trình
Dạng
Mô hình AI, Thư viện lập trình
Chạy trên
Python, Linux, Windows
Chi phí
Miễn phí hoàn toàn

Trải nghiệm khi dùng SAM 2 (Segment Anything Model 2)

Cách dễ nhất để cảm nhận SAM 2 là mở bản demo web chính thức của Meta được nêu trong README: bạn tải ảnh hoặc video lên, bấm vào vật muốn chọn và thấy viền mặt nạ (mask) bao quanh vật đó ngay. Trong video, bạn chỉ cần chọn ở một khung hình và mô hình tự bám theo vật đó ở các khung sau. Nếu chạy tại máy thì cần dựng môi trường lập trình.

Cài đặt dành cho lập trình viên: clone kho mã, cài bằng pip ở chế độ chỉnh sửa, tải một trong bốn file checkpoint kích cỡ khác nhau (tiny, small, base plus, large) rồi dùng vài dòng Python để nạp mô hình, đưa ảnh vào và yêu cầu dự đoán mặt nạ theo điểm bạn chỉ. README có sẵn sổ tay Jupyter cho ảnh, tạo mặt nạ tự động và video.

Trên Windows, README khuyên rất mạnh nên dùng WSL với Ubuntu thay vì cài trực tiếp. Phần cài còn có bước biên dịch một tiện ích CUDA, nhưng nếu bước này lỗi thì vẫn dùng được SAM 2, chỉ một số hậu xử lý bị hạn chế.

Tính năng nổi bật

Chọn vật bằng một cú bấm

Chỉ cần điểm, khung hoặc nét vẽ làm gợi ý để mô hình tách đúng vật thể ra khỏi nền.

Theo dõi vật trong video

Chọn ở một khung hình rồi để mô hình lan mặt nạ sang các khung hình còn lại, hỗ trợ nhiều vật cùng lúc.

Tự tạo mặt nạ cho cả ảnh

Có chế độ tự động tìm và tách mọi vật trong ảnh, giống SAM đời đầu.

Bốn cỡ mô hình

Từ bản nhỏ đến bản lớn để cân bằng tốc độ và độ chính xác theo phần cứng bạn có.

Có mã huấn luyện và demo web

README đã công bố mã huấn luyện, tinh chỉnh và mã nguồn trang demo để bạn tự dựng.

Tăng tốc cho video

Có tuỳ chọn biên dịch toàn bộ mô hình để suy luận video nhanh hơn đáng kể theo README.

Tận dụng SAM 2 (Segment Anything Model 2) vào việc gì?

Người làm video, hậu kỳ

Tách đối tượng để dựng video

Khoanh một nhân vật hoặc sản phẩm ở một khung hình rồi để AI tạo mặt nạ cho cả đoạn phim.

Kỹ sư dữ liệu, sinh viên nghiên cứu

Gán nhãn dữ liệu cho dự án AI

Dùng SAM 2 để tạo mặt nạ nhanh khi chuẩn bị dữ liệu huấn luyện cho mô hình nhận dạng.

Người chỉnh ảnh chuyên nghiệp

Xoá hoặc thay nền chính xác

Chọn đối tượng chính xác bằng điểm bấm thay vì tô tay từng chi tiết.

Lập trình viên

Xây công cụ chỉnh ảnh riêng

Gọi thư viện trong ứng dụng của bạn để thêm tính năng chọn vật thông minh.

Cần chuẩn bị gì?

  • Python 3.10 trở lên cùng torch 2.5.1 trở lên và torchvision 0.20.1 trở lên theo README.
  • Windows nên dùng WSL với Ubuntu; README khuyên điều này rất mạnh.
  • Card đồ hoạ NVIDIA có CUDA cho tốc độ tốt; ví dụ code trong README dùng chế độ autocast của CUDA. README không nêu mức VRAM tối thiểu.
  • Nếu biên dịch phần mở rộng CUDA cần bộ công cụ CUDA và trình biên dịch nvcc phù hợp với phiên bản PyTorch.

Hướng dẫn cài đặt chi tiết

Cài trên Linux hoặc WSL

  1. Cài PyTorch và torchvision theo hướng dẫn trên trang pytorch.org, rồi tải mã nguồn và cài ở chế độ chỉnh sửa. Nên dùng một môi trường conda hoặc venv riêng.

    Terminal
    git clone https://github.com/facebookresearch/sam2.git && cd sam2
    pip install -e .
  2. Nếu muốn chạy các sổ tay ví dụ, cài thêm gói notebooks.

    Terminal
    pip install -e ".[notebooks]"
  3. Tải các checkpoint SAM 2.1 bằng script có sẵn.

    Terminal
    cd checkpoints && ./download_ckpts.sh && cd ..

Cài trên Windows

  1. Cài WSL với bản phân phối Ubuntu theo hướng dẫn của Microsoft, rồi làm các bước như tab Linux bên trong cửa sổ Ubuntu. README khuyên cách này thay cho cài trực tiếp trên Windows.

    PowerShell
    wsl --install

Cài trên Thử không cần cài

  1. Mở bản demo web chính thức của Meta được liên kết trong README (sam2.metademolab.com) hoặc các sổ tay Colab trong kho mã để thử mà không cần cài. Lưu ý ảnh hoặc video bạn tải lên sẽ đi qua dịch vụ bên ngoài.

Dùng thử lần đầu

  1. Mở sổ tay image_predictor_example.ipynb có sẵn trong thư mục notebooks, hoặc bản Colab liên kết trong README.

  2. Dùng checkpoint kích cỡ lớn để nạp mô hình, đưa một ảnh vào và cho một điểm bấm tại vật cần tách.

  3. Quan sát mặt nạ trả về, thử thêm điểm tích cực hoặc tiêu cực để tinh chỉnh vùng chọn.

  4. Sau khi quen với ảnh, mở sổ tay video và thử chọn một vật ở khung hình đầu rồi để mô hình theo dõi tiếp.

Mẹo dùng hay

  • Bắt đầu với checkpoint nhỏ (tiny hoặc small) nếu máy yếu, rồi tăng dần cỡ mô hình để so sánh độ chính xác.
  • Nếu thấy thông báo lỗi biên dịch phần mở rộng CUDA khi cài, README cho biết có thể bỏ qua và vẫn dùng được trong hầu hết trường hợp.
  • Muốn dùng qua giao diện, nhiều công cụ khác (ví dụ InvokeAI) đã tích hợp SAM, SAM2 để chọn đối tượng.

Lưu ý và hạn chế

  • Đây là thư viện nghiên cứu cho người biết Python; không có ứng dụng cài sẵn để bấm chạy.
  • Dữ liệu và hạ tầng cho video khá nặng; xử lý video dài cần card đồ hoạ mạnh và bộ nhớ đáng kể.
  • Mô hình tạo mặt nạ rất mạnh nên có thể dùng để tách người khỏi video; hãy tôn trọng quyền riêng tư và bản quyền hình ảnh khi xử lý nội dung của người khác.

Câu hỏi thường gặp

SAM 2 có miễn phí không?

Có. Mã, checkpoint và mã demo được cấp theo giấy phép Apache 2.0 theo README, kèm vài thành phần như phông chữ có giấy phép riêng.

Có cài trên Windows trực tiếp được không?

README khuyên mạnh dùng WSL với Ubuntu. Cài trực tiếp có thể gặp lỗi với phần mở rộng CUDA.

SAM 2 khác SAM đời đầu ở đâu?

SAM 2 xem ảnh như video một khung hình, nhờ vậy dùng chung một mô hình cho cả ảnh và video, và có khả năng theo dõi vật thể qua các khung hình.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/facebookresearch/sam2.git

Repo tương tự nên xem

Tạo ảnh & video bằng AI25,5K

rembg

danielgatis / rembg

Xoá nền ảnh tự động bằng một lệnh: ra ảnh PNG nền trong suốt, chạy trên máy bạn

VừaPythonWindowsmacOSLinux+1
Tạo ảnh & video bằng AI29,1K

Invoke (InvokeAI)

invoke-ai / InvokeAI

Xưởng tạo ảnh AI có canvas và workflow, cài bằng trình khởi chạy chính thức

VừaWindowsmacOSLinuxDocker+1
Tạo ảnh & video bằng AI147K

ComfyUI

Comfy-Org / ComfyUI

Tạo ảnh, video, âm thanh bằng AI ngay trên máy bằng cách nối các khối (node) thành quy trình

VừaWindowsmacOSLinuxPython

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: Tạo ảnh & video bằng AI

Tạo ảnh & video bằng AI165K

Stable Diffusion web UI (AUTOMATIC1111)

AUTOMATIC1111 / stable-diffusion-webui

Giao diện web kinh điển để tạo ảnh bằng Stable Diffusion ngay trên máy tính của bạn

VừaWindowsLinuxmacOSPython
Tạo ảnh & video bằng AI144K

MoneyPrinterTurbo

harry0703 / MoneyPrinterTurbo

Nhập chủ đề, tự có video ngắn: kịch bản, giọng đọc, cảnh quay, phụ đề và nhạc

VừaWindowsmacOSLinuxDocker+1
Tạo ảnh & video bằng AI53,9K

Fooocus

lllyasviel / Fooocus

Tạo ảnh AI kiểu Midjourney ngay trên máy bạn, chỉ cần gõ mô tả, ít phải chỉnh thông số

DễWindowsLinuxmacOSPython
Tạo ảnh & video bằng AI52,7K

Upscayl

upscayl / upscayl

Phóng to ảnh mờ, ảnh nhỏ lên nét hơn bằng AI, cài như phần mềm thường, bấm vài nút

DễWindowsmacOSLinux
Tạo ảnh & video bằng AI37,7K

GFPGAN

TencentARC / GFPGAN

AI khôi phục khuôn mặt trong ảnh cũ, ảnh mờ, ảnh do AI tạo ra cho rõ nét hơn

KhóPythonLinuxWindows
Tạo ảnh & video bằng AI37,5K

Real-ESRGAN

xinntao / Real-ESRGAN

Mô hình AI phóng to và làm nét ảnh, video; có bản chạy ngay không cần cài Python

VừaWindowsmacOSLinuxPython

Xem cả 26 repo Tạo ảnh & video bằng AI Về Kho Repo