Chuyển đến nội dung

unclecode / crawl4ai

Crawl4AI

Thu thập trang web và chuyển thành Markdown sạch để đưa cho AI, chạy trên máy bạn hoặc qua dịch vụ đám mây

Crawl4AI là thư viện Python (kèm máy chủ Docker và lệnh crwl) mở trình duyệt thật để đọc trang web rồi trả về nội dung sạch dạng Markdown hoặc dữ liệu JSON có cấu trúc. Nó sinh ra để cấp dữ liệu cho chatbot, hệ thống RAG và agent AI. Ngoài bản miễn phí tự chạy còn có dịch vụ Crawl4AI Cloud tính phí.

  • 87.408 sao
  • 9.120 fork
  • Python
  • Cập nhật 3 ngày trước
  • Apache 2.0 (dùng tự do, kể cả thương mại)
Độ khó
Khó Dành cho người biết lập trình
Dạng
Thư viện lập trình, Dòng lệnh (CLI)
Chạy trên
Windows, macOS, Linux, Docker, Python
Chi phí
Miễn phí, có bản trả phí

Trải nghiệm khi dùng Crawl4AI

Bạn cài bằng pip, chạy lệnh crawl4ai-setup một lần để nó tải trình duyệt, rồi viết khoảng chục dòng Python hoặc gõ thẳng lệnh crwl kèm địa chỉ trang. Vài giây sau bạn nhận lại phần nội dung chính của trang dưới dạng Markdown gọn gàng, có tiêu đề, danh sách, bảng, đã bỏ bớt menu và chân trang.

Nếu cần lấy dữ liệu cụ thể như tên sản phẩm và giá, bạn có thể khai báo mẫu để bóc tách bằng CSS hoặc XPath (nhanh, không cần AI), hoặc nhờ một mô hình AI đọc trang và điền vào cấu trúc JSON bạn mô tả. Cách thứ hai tốn thêm phí hoặc thời gian của mô hình nhưng linh hoạt hơn.

Muốn dùng chung cho cả nhóm, bạn chạy Crawl4AI như một máy chủ trong Docker rồi gọi qua API; README cũng nhắc máy chủ cần có token. Nếu không muốn tự lo trình duyệt và proxy, họ có dịch vụ đám mây trả phí theo mức dùng.

Tính năng nổi bật

Markdown sạch cho AI đọc

Giữ tiêu đề, bảng, đoạn mã và có thể lọc bớt nội dung thừa như menu, quảng cáo để tiết kiệm token.

Bóc dữ liệu có cấu trúc

Lấy dữ liệu theo mẫu CSS/XPath nhanh gọn, hoặc dùng mô hình AI bất kỳ để trích xuất thành JSON theo cấu trúc bạn định.

Chạy trình duyệt thật

Xử lý được các trang tải nội dung bằng JavaScript, hỗ trợ phiên đăng nhập, cookie và proxy do bạn cấu hình.

Ba cách dùng

Gọi từ Python, dùng lệnh crwl trong Terminal, hoặc chạy máy chủ Docker có bảng điều khiển và khu thử nghiệm (playground).

Thu thập nhiều trang

Có chế độ đi theo liên kết (deep crawl) với giới hạn số trang để quét một mục tài liệu hay một chuyên mục.

Tận dụng Crawl4AI vào việc gì?

Người làm chatbot, RAG

Nạp tài liệu website vào chatbot

Quét trang hướng dẫn hay trung tâm trợ giúp của chính bạn thành Markdown rồi đưa vào kho kiến thức cho AI trả lời.

Nhà nghiên cứu, người làm nội dung

Gom bài viết để nghiên cứu

Lưu các bài báo hay tài liệu công khai thành file Markdown để tóm tắt và trích dẫn.

Chủ shop online

Theo dõi giá và thông tin sản phẩm

Lấy tên và giá từ các trang mà điều khoản cho phép, rồi so sánh trong bảng tính.

Lập trình viên

Cấp công cụ web cho agent AI

Dùng Crawl4AI làm công cụ đọc web cho agent, kể cả qua MCP như tài liệu của dự án đề cập.

Cần chuẩn bị gì?

  • Python để cài thư viện bằng pip; lệnh crawl4ai-setup sẽ tải trình duyệt cần dùng.
  • Docker nếu chạy máy chủ; README khuyến nghị cấp bộ nhớ chia sẻ lớn (--shm-size=1g) cho container.
  • API key mô hình AI nếu dùng chế độ trích xuất bằng LLM.
  • Cần Internet và đủ RAM để chạy trình duyệt khi quét nhiều trang.

Hướng dẫn cài đặt chi tiết

Cài trên pip

  1. Tạo môi trường ảo (khuyến nghị) rồi cài thư viện. Bước crawl4ai-setup tải trình duyệt, chỉ cần chạy một lần.

    PowerShell
    python -m venv .venv
    .venv\Scripts\activate
    pip install -U crawl4ai
    crawl4ai-setup
  2. Trên macOS hoặc Linux thay lệnh kích hoạt môi trường ảo bằng source .venv/bin/activate.

    Terminal
    python3 -m venv .venv
    source .venv/bin/activate
    pip install -U crawl4ai
    crawl4ai-setup

Cài trên Docker

  1. README yêu cầu máy chủ có token. Tạo một token ngẫu nhiên rồi chạy container (bash). Máy chủ mở cổng 11235.

    Terminal
    export CRAWL4AI_API_TOKEN="$(openssl rand -hex 32)"
    docker run -d -p 11235:11235 --name crawl4ai --shm-size=1g \
      -e CRAWL4AI_API_TOKEN="$CRAWL4AI_API_TOKEN" \
      unclecode/crawl4ai:latest
  2. Đợi khoảng 10 giây rồi mở http://localhost:11235/playground để thử trên giao diện, hoặc http://localhost:11235/dashboard để xem bảng điều khiển.

Cài trên Dịch vụ đám mây

  1. Nếu không muốn tự chạy trình duyệt, đăng ký lấy API key tại crawl4ai.com (README ghi có tín dụng miễn phí hằng tháng, sau đó tính phí theo mức dùng). Xem bảng giá hiện hành trên trang chính thức.

    Văn bản
    https://crawl4ai.com

Dùng thử lần đầu

  1. Tạo file thu_thap.py với đoạn mã sau để lấy Markdown của một trang.

    Python
    import asyncio
    from crawl4ai import AsyncWebCrawler
    
    async def main():
        async with AsyncWebCrawler() as crawler:
            result = await crawler.arun(url="https://example.com")
            print(result.markdown)
    
    asyncio.run(main())
  2. Chạy file và xem nội dung Markdown in ra Terminal.

    PowerShell
    python thu_thap.py
  3. Thử lệnh crwl cho nhanh, rồi lưu kết quả ra file để đọc.

    Terminal
    crwl https://example.com -o markdown
  4. Khi cần chỉ lấy phần liên quan, đọc tài liệu về Fit Markdown và bộ lọc nội dung trong docs.crawl4ai.com.

Mẹo dùng hay

  • Bắt đầu với một trang của chính bạn hoặc trang cho phép thu thập, và thử với ít trang trước khi quét nhiều.
  • Dùng bóc theo mẫu CSS khi cấu trúc trang ổn định vì nhanh và không tốn phí mô hình; chỉ dùng LLM khi cần linh hoạt.
  • Đặt token cho máy chủ Docker và đừng mở cổng ra Internet nếu chưa cấu hình bảo mật.

Lưu ý và hạn chế

  • Thu thập dữ liệu web phải tôn trọng điều khoản sử dụng, robots.txt, bản quyền và quy định về dữ liệu cá nhân; nhiều trang cấm quét tự động và có thể chặn bạn.
  • Trang có bảo vệ chống bot mạnh sẽ cần proxy và cấu hình thêm, README cho biết bản đám mây xử lý hộ phần này còn bản tự chạy thì bạn tự lo.
  • Dùng chế độ trích xuất bằng AI sẽ phát sinh phí và gửi nội dung trang tới nhà cung cấp mô hình.

Câu hỏi thường gặp

Crawl4AI có miễn phí không?

Thư viện và máy chủ Docker miễn phí, giấy phép Apache-2.0; bạn tự chịu chi phí máy chạy. Dịch vụ Crawl4AI Cloud là sản phẩm riêng, tính phí theo mức dùng.

Tôi không biết lập trình có dùng được không?

Có thể dùng lệnh crwl hoặc khu thử nghiệm trên máy chủ Docker mà gần như không cần viết code, nhưng vẫn phải cài Python hoặc Docker.

Quét web có hợp pháp không?

Phụ thuộc vào trang web, loại dữ liệu và nơi bạn sinh sống. Hãy đọc điều khoản của trang, chỉ lấy dữ liệu công khai được phép và không dùng cho mục đích xâm phạm bản quyền hay quyền riêng tư.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/unclecode/crawl4ai.git

Repo tương tự nên xem

AI Agent & tự động hoá202K

Firecrawl

firecrawl / firecrawl

API biến trang web thành markdown hoặc JSON sạch để nạp cho AI, có thể dùng bản cloud hoặc tự cài

VừaWebPythonNode.jsDocker
AI Agent & tự động hoá32,8K

ScrapeGraphAI

ScrapeGraphAI / Scrapegraph-ai

Thư viện Python dùng AI để lấy dữ liệu từ trang web chỉ bằng cách mô tả bạn muốn gì

KhóPythonWindowsmacOSLinux
Tài liệu, OCR & hỏi đáp tri thức196K

MarkItDown

microsoft / markitdown

Công cụ của Microsoft đổi PDF, Word, Excel, PowerPoint và nhiều file khác thành Markdown cho AI đọc.

VừaWindowsmacOSLinuxPython

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: AI Agent & tự động hoá

AI Agent & tự động hoá395K

OpenClaw

openclaw / openclaw

Trợ lý AI chạy trên máy bạn và trả lời ngay trong Telegram, WhatsApp, Discord, Slack và nhiều app chat khác

VừaWindowsmacOSLinuxNode.js+1
AI Agent & tự động hoá264K

Hermes Agent

NousResearch / hermes-agent

Trợ lý AI dạng agent của Nous Research biết tự học kỹ năng mới, dùng trong Terminal hoặc Telegram

VừaWindowsmacOSLinuxAndroid
AI Agent & tự động hoá211K

n8n

n8n-io / n8n

Tự động hoá công việc bằng sơ đồ kéo thả, nối hơn 1500 ứng dụng và cả AI, tự cài trên máy chủ riêng

VừaDockerWebLinuxWindows+1
AI Agent & tự động hoá188K

AutoGPT

Significant-Gravitas / AutoGPT

Nền tảng tạo đội trợ lý AI chuyên biệt và quy trình tự động, dùng bản cloud hoặc tự cài bằng Docker

VừaWebDockerWindowsmacOS+1
AI Agent & tự động hoá161K

Dify

langgenius / dify

Nền tảng kéo thả để dựng ứng dụng AI, chatbot hỏi đáp tài liệu và quy trình tự động, tự cài bằng Docker

VừaDockerWebLinuxWindows+1
AI Agent & tự động hoá157K

Langflow

langflow-ai / langflow

Kéo thả các khối để dựng chatbot và agent AI, rồi biến thành API hoặc công cụ MCP dùng ngay

VừaWindowsmacOSLinuxDocker+1

Xem cả 28 repo AI Agent & tự động hoá Về Kho Repo