Trải nghiệm khi dùng Crawl4AI
Bạn cài bằng pip, chạy lệnh crawl4ai-setup một lần để nó tải trình duyệt, rồi viết khoảng chục dòng Python hoặc gõ thẳng lệnh crwl kèm địa chỉ trang. Vài giây sau bạn nhận lại phần nội dung chính của trang dưới dạng Markdown gọn gàng, có tiêu đề, danh sách, bảng, đã bỏ bớt menu và chân trang.
Nếu cần lấy dữ liệu cụ thể như tên sản phẩm và giá, bạn có thể khai báo mẫu để bóc tách bằng CSS hoặc XPath (nhanh, không cần AI), hoặc nhờ một mô hình AI đọc trang và điền vào cấu trúc JSON bạn mô tả. Cách thứ hai tốn thêm phí hoặc thời gian của mô hình nhưng linh hoạt hơn.
Muốn dùng chung cho cả nhóm, bạn chạy Crawl4AI như một máy chủ trong Docker rồi gọi qua API; README cũng nhắc máy chủ cần có token. Nếu không muốn tự lo trình duyệt và proxy, họ có dịch vụ đám mây trả phí theo mức dùng.
Tính năng nổi bật
Markdown sạch cho AI đọc
Giữ tiêu đề, bảng, đoạn mã và có thể lọc bớt nội dung thừa như menu, quảng cáo để tiết kiệm token.
Bóc dữ liệu có cấu trúc
Lấy dữ liệu theo mẫu CSS/XPath nhanh gọn, hoặc dùng mô hình AI bất kỳ để trích xuất thành JSON theo cấu trúc bạn định.
Chạy trình duyệt thật
Xử lý được các trang tải nội dung bằng JavaScript, hỗ trợ phiên đăng nhập, cookie và proxy do bạn cấu hình.
Ba cách dùng
Gọi từ Python, dùng lệnh crwl trong Terminal, hoặc chạy máy chủ Docker có bảng điều khiển và khu thử nghiệm (playground).
Thu thập nhiều trang
Có chế độ đi theo liên kết (deep crawl) với giới hạn số trang để quét một mục tài liệu hay một chuyên mục.
Tận dụng Crawl4AI vào việc gì?
Người làm chatbot, RAG
Nạp tài liệu website vào chatbot
Quét trang hướng dẫn hay trung tâm trợ giúp của chính bạn thành Markdown rồi đưa vào kho kiến thức cho AI trả lời.
Nhà nghiên cứu, người làm nội dung
Gom bài viết để nghiên cứu
Lưu các bài báo hay tài liệu công khai thành file Markdown để tóm tắt và trích dẫn.
Chủ shop online
Theo dõi giá và thông tin sản phẩm
Lấy tên và giá từ các trang mà điều khoản cho phép, rồi so sánh trong bảng tính.
Lập trình viên
Cấp công cụ web cho agent AI
Dùng Crawl4AI làm công cụ đọc web cho agent, kể cả qua MCP như tài liệu của dự án đề cập.
Cần chuẩn bị gì?
- Python để cài thư viện bằng pip; lệnh crawl4ai-setup sẽ tải trình duyệt cần dùng.
- Docker nếu chạy máy chủ; README khuyến nghị cấp bộ nhớ chia sẻ lớn (--shm-size=1g) cho container.
- API key mô hình AI nếu dùng chế độ trích xuất bằng LLM.
- Cần Internet và đủ RAM để chạy trình duyệt khi quét nhiều trang.
Hướng dẫn cài đặt chi tiết
Cài trên pip
Tạo môi trường ảo (khuyến nghị) rồi cài thư viện. Bước crawl4ai-setup tải trình duyệt, chỉ cần chạy một lần.
python -m venv .venv .venv\Scripts\activate pip install -U crawl4ai crawl4ai-setupTrên macOS hoặc Linux thay lệnh kích hoạt môi trường ảo bằng source .venv/bin/activate.
python3 -m venv .venv source .venv/bin/activate pip install -U crawl4ai crawl4ai-setup
Cài trên Docker
README yêu cầu máy chủ có token. Tạo một token ngẫu nhiên rồi chạy container (bash). Máy chủ mở cổng 11235.
export CRAWL4AI_API_TOKEN="$(openssl rand -hex 32)" docker run -d -p 11235:11235 --name crawl4ai --shm-size=1g \ -e CRAWL4AI_API_TOKEN="$CRAWL4AI_API_TOKEN" \ unclecode/crawl4ai:latestĐợi khoảng 10 giây rồi mở http://localhost:11235/playground để thử trên giao diện, hoặc http://localhost:11235/dashboard để xem bảng điều khiển.
Cài trên Dịch vụ đám mây
Nếu không muốn tự chạy trình duyệt, đăng ký lấy API key tại crawl4ai.com (README ghi có tín dụng miễn phí hằng tháng, sau đó tính phí theo mức dùng). Xem bảng giá hiện hành trên trang chính thức.
https://crawl4ai.com
Dùng thử lần đầu
Tạo file thu_thap.py với đoạn mã sau để lấy Markdown của một trang.
import asyncio from crawl4ai import AsyncWebCrawler async def main(): async with AsyncWebCrawler() as crawler: result = await crawler.arun(url="https://example.com") print(result.markdown) asyncio.run(main())Chạy file và xem nội dung Markdown in ra Terminal.
python thu_thap.pyThử lệnh crwl cho nhanh, rồi lưu kết quả ra file để đọc.
crwl https://example.com -o markdownKhi cần chỉ lấy phần liên quan, đọc tài liệu về Fit Markdown và bộ lọc nội dung trong docs.crawl4ai.com.
Mẹo dùng hay
- Bắt đầu với một trang của chính bạn hoặc trang cho phép thu thập, và thử với ít trang trước khi quét nhiều.
- Dùng bóc theo mẫu CSS khi cấu trúc trang ổn định vì nhanh và không tốn phí mô hình; chỉ dùng LLM khi cần linh hoạt.
- Đặt token cho máy chủ Docker và đừng mở cổng ra Internet nếu chưa cấu hình bảo mật.
Lưu ý và hạn chế
- Thu thập dữ liệu web phải tôn trọng điều khoản sử dụng, robots.txt, bản quyền và quy định về dữ liệu cá nhân; nhiều trang cấm quét tự động và có thể chặn bạn.
- Trang có bảo vệ chống bot mạnh sẽ cần proxy và cấu hình thêm, README cho biết bản đám mây xử lý hộ phần này còn bản tự chạy thì bạn tự lo.
- Dùng chế độ trích xuất bằng AI sẽ phát sinh phí và gửi nội dung trang tới nhà cung cấp mô hình.
Câu hỏi thường gặp
Crawl4AI có miễn phí không?
Thư viện và máy chủ Docker miễn phí, giấy phép Apache-2.0; bạn tự chịu chi phí máy chạy. Dịch vụ Crawl4AI Cloud là sản phẩm riêng, tính phí theo mức dùng.
Tôi không biết lập trình có dùng được không?
Có thể dùng lệnh crwl hoặc khu thử nghiệm trên máy chủ Docker mà gần như không cần viết code, nhưng vẫn phải cài Python hoặc Docker.
Quét web có hợp pháp không?
Phụ thuộc vào trang web, loại dữ liệu và nơi bạn sinh sống. Hãy đọc điều khoản của trang, chỉ lấy dữ liệu công khai được phép và không dùng cho mục đích xâm phạm bản quyền hay quyền riêng tư.
Tải mã nguồn về máy
Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.
git clone https://github.com/unclecode/crawl4ai.gitRepo tương tự nên xem
Firecrawl
firecrawl / firecrawl
API biến trang web thành markdown hoặc JSON sạch để nạp cho AI, có thể dùng bản cloud hoặc tự cài
ScrapeGraphAI
ScrapeGraphAI / Scrapegraph-ai
Thư viện Python dùng AI để lấy dữ liệu từ trang web chỉ bằng cách mô tả bạn muốn gì
MarkItDown
microsoft / markitdown
Công cụ của Microsoft đổi PDF, Word, Excel, PowerPoint và nhiều file khác thành Markdown cho AI đọc.