Chuyển đến nội dung

ScrapeGraphAI / Scrapegraph-ai

ScrapeGraphAI

Thư viện Python dùng AI để lấy dữ liệu từ trang web chỉ bằng cách mô tả bạn muốn gì

ScrapeGraphAI là thư viện Python cào dữ liệu (web scraping) dùng mô hình ngôn ngữ: bạn đưa địa chỉ trang hoặc tài liệu cục bộ và viết một yêu cầu bằng lời, nó đọc nội dung rồi trả về dữ liệu có cấu trúc. Chạy được với mô hình trên máy (qua Ollama) hoặc dịch vụ như OpenAI. Cũng có API đám mây tính phí của cùng đội ngũ.

  • 32.817 sao
  • 3.352 fork
  • Python
  • Cập nhật 1 tháng trước
  • MIT (dùng tự do, kể cả thương mại)
Độ khó
Khó Dành cho người biết lập trình
Dạng
Thư viện lập trình
Chạy trên
Python, Windows, macOS, Linux
Chi phí
Miễn phí (trả phí API AI nếu dùng)

Trải nghiệm khi dùng ScrapeGraphAI

Bạn cài thư viện bằng pip, chạy thêm lệnh playwright install để có trình duyệt tải trang, rồi viết một đoạn Python khai báo mô hình AI và hai thứ: yêu cầu (prompt) và địa chỉ trang. Ví dụ README bảo nó trích mô tả công ty, người sáng lập và liên kết mạng xã hội từ một trang web.

Điểm khác với cào dữ liệu truyền thống là bạn không cần chỉ ra từng thẻ HTML hay bộ chọn CSS; mô hình tự hiểu nội dung trang. Đổi lại, kết quả có thể sai hoặc thiếu và mỗi lần chạy tốn thời gian hoặc tiền của mô hình.

Thư viện có nhiều đường ống dựng sẵn, ví dụ lấy dữ liệu một trang, nhiều trang, hay sinh ra mã Python để cào lại về sau. Bạn đổi giữa mô hình chạy trên máy hoặc OpenAI chỉ bằng cách sửa cấu hình.

Tính năng nổi bật

Mô tả bằng lời thay vì viết bộ chọn

Chỉ cần nói muốn lấy thông tin gì, mô hình tự tìm trong trang.

Chạy với mô hình trên máy hoặc online

Cấu hình dùng Ollama cho mô hình cục bộ hoặc các nhà cung cấp như OpenAI chỉ bằng thay đổi vài dòng.

Nhiều đường ống dựng sẵn

Cào một trang, nhiều trang, tài liệu cục bộ như HTML, XML, JSON, Markdown, và tạo script Python.

Kết quả dạng JSON

Trả về dữ liệu có cấu trúc để đưa vào bảng tính hoặc cơ sở dữ liệu.

Tích hợp với hệ sinh thái

README liệt kê tích hợp với LangChain, LlamaIndex, CrewAI và các nền tảng ít code như n8n, Zapier cho dịch vụ API của họ.

Tận dụng ScrapeGraphAI vào việc gì?

Chủ shop, người làm thương mại

Gom thông tin sản phẩm hoặc nhà cung cấp

Lấy tên, mô tả và liên hệ từ vài trang nhà cung cấp thành bảng để so sánh, trong phạm vi cho phép của trang.

Người làm dữ liệu

Trích thông tin từ file HTML hoặc Markdown cục bộ

Đọc tập tài liệu đã lưu và rút ra các trường cần thiết mà không phải viết quy tắc cho từng mẫu.

Marketing, sinh viên

Nghiên cứu thị trường nhỏ

Tổng hợp mô tả dịch vụ từ nhiều website công khai để làm phân tích cạnh tranh.

Lập trình viên

Làm nền cho agent AI cần đọc web

Dùng làm công cụ lấy dữ liệu trong các hệ thống agent.

Cần chuẩn bị gì?

  • Python (nên dùng môi trường ảo).
  • Chạy lệnh playwright install để cài trình duyệt cho việc tải trang.
  • Mô hình AI: Ollama cài trên máy (ví dụ llama3.2 như trong ví dụ) hoặc API key của nhà cung cấp online.
  • RAM đủ chạy mô hình cục bộ nếu chọn cách này.

Hướng dẫn cài đặt chi tiết

Cài trên pip

  1. Tạo môi trường ảo rồi cài thư viện. Trên Windows PowerShell:

    PowerShell
    python -m venv .venv
    .venv\Scripts\activate
    pip install scrapegraphai
  2. Cài trình duyệt cho Playwright. Bước này quan trọng để tải được nội dung trang.

    PowerShell
    playwright install
  3. Trên macOS hoặc Linux:

    Terminal
    python3 -m venv .venv
    source .venv/bin/activate
    pip install scrapegraphai
    playwright install

Dùng thử lần đầu

  1. Cài Ollama và tải một mô hình như llama3.2 nếu muốn chạy cục bộ, hoặc chuẩn bị API key nếu dùng OpenAI.

  2. Tạo file thu_du_lieu.py với đoạn mã dưới đây (theo README), thay địa chỉ bằng trang bạn được phép lấy dữ liệu.

    Python
    from scrapegraphai.graphs import SmartScraperGraph
    import json
    
    graph_config = {
        "llm": {
            "model": "ollama/llama3.2",
            "model_tokens": 8192,
            "format": "json",
        },
        "verbose": True,
        "headless": False,
    }
    
    scraper = SmartScraperGraph(
        prompt="Extract the company description and social media links",
        source="https://scrapegraphai.com/",
        config=graph_config,
    )
    print(json.dumps(scraper.run(), indent=4))
  3. Chạy và so sánh kết quả với nội dung thật trên trang để biết mức độ tin cậy.

    PowerShell
    python thu_du_lieu.py
  4. Muốn dùng OpenAI, đổi phần llm trong cấu hình thành api_key và model theo ví dụ trong README.

Mẹo dùng hay

  • Thử với một trang trước rồi mới chạy hàng loạt để ước lượng chi phí và thời gian.
  • Mô hình nhỏ chạy trên máy dễ bỏ sót hoặc nhầm thông tin; luôn kiểm tra mẫu kết quả.
  • Đặt prompt cụ thể và nói rõ các trường muốn nhận để kết quả ổn định hơn.

Lưu ý và hạn chế

  • Cào dữ liệu có thể vi phạm điều khoản sử dụng, bản quyền hoặc quy định dữ liệu cá nhân của nhiều website; chỉ lấy dữ liệu công khai được phép và đừng quá tải máy chủ của họ.
  • Kết quả do AI trích xuất có thể sai; không dùng làm số liệu quan trọng khi chưa kiểm chứng.
  • README thường dẫn tới dịch vụ API trả phí của đội ngũ; thư viện mã nguồn mở vẫn dùng được độc lập.

Câu hỏi thường gặp

ScrapeGraphAI có miễn phí không?

Thư viện giấy phép MIT, dùng miễn phí. Bạn trả phí cho mô hình AI nếu dùng dịch vụ online; dùng mô hình cục bộ qua Ollama thì không tốn phí API. Dịch vụ API riêng của họ có tính phí.

Có xử lý được trang tiếng Việt không?

Phụ thuộc mô hình bạn chọn; README không có đánh giá riêng cho tiếng Việt, nên hãy thử trên vài trang mẫu.

Có hợp pháp không?

Phụ thuộc vào trang và mục đích. Hãy đọc điều khoản và chính sách dữ liệu của trang, và chỉ lấy thông tin được phép.

Tải mã nguồn về máy

Nếu bạn muốn xem hoặc sửa mã nguồn, mở Terminal (trên Windows là PowerShell) và chạy lệnh dưới. Máy cần cài sẵn Git.

Terminal
git clone https://github.com/ScrapeGraphAI/Scrapegraph-ai.git

Repo tương tự nên xem

AI Agent & tự động hoá87,4K

Crawl4AI

unclecode / crawl4ai

Thu thập trang web và chuyển thành Markdown sạch để đưa cho AI, chạy trên máy bạn hoặc qua dịch vụ đám mây

KhóWindowsmacOSLinuxDocker+1
AI Agent & tự động hoá202K

Firecrawl

firecrawl / firecrawl

API biến trang web thành markdown hoặc JSON sạch để nạp cho AI, có thể dùng bản cloud hoặc tự cài

VừaWebPythonNode.jsDocker
AI Agent & tự động hoá121K

Browser Use

browser-use / browser-use

Cho AI tự điều khiển trình duyệt Chrome để làm việc trên web như người thật, viết bằng Python

KhóWindowsmacOSLinuxPython

Nội dung được biên soạn bằng tiếng Việt dựa trên tài liệu chính thức của dự án, cập nhật lần cuối 16/11/2026. Lệnh cài có thể thay đổi theo phiên bản mới; nếu có khác biệt, hãy làm theo README trên GitHub.

Cùng chủ đề: AI Agent & tự động hoá

AI Agent & tự động hoá395K

OpenClaw

openclaw / openclaw

Trợ lý AI chạy trên máy bạn và trả lời ngay trong Telegram, WhatsApp, Discord, Slack và nhiều app chat khác

VừaWindowsmacOSLinuxNode.js+1
AI Agent & tự động hoá264K

Hermes Agent

NousResearch / hermes-agent

Trợ lý AI dạng agent của Nous Research biết tự học kỹ năng mới, dùng trong Terminal hoặc Telegram

VừaWindowsmacOSLinuxAndroid
AI Agent & tự động hoá211K

n8n

n8n-io / n8n

Tự động hoá công việc bằng sơ đồ kéo thả, nối hơn 1500 ứng dụng và cả AI, tự cài trên máy chủ riêng

VừaDockerWebLinuxWindows+1
AI Agent & tự động hoá188K

AutoGPT

Significant-Gravitas / AutoGPT

Nền tảng tạo đội trợ lý AI chuyên biệt và quy trình tự động, dùng bản cloud hoặc tự cài bằng Docker

VừaWebDockerWindowsmacOS+1
AI Agent & tự động hoá161K

Dify

langgenius / dify

Nền tảng kéo thả để dựng ứng dụng AI, chatbot hỏi đáp tài liệu và quy trình tự động, tự cài bằng Docker

VừaDockerWebLinuxWindows+1
AI Agent & tự động hoá157K

Langflow

langflow-ai / langflow

Kéo thả các khối để dựng chatbot và agent AI, rồi biến thành API hoặc công cụ MCP dùng ngay

VừaWindowsmacOSLinuxDocker+1

Xem cả 28 repo AI Agent & tự động hoá Về Kho Repo