CrawlFlow - Data Migration & Crawling Framework
WordPress Plugin: The GUI create a flow for crawler to migrate or crawl data from other sources: web, rss, xml, csv or more
by Puleeno Nguyen · github.com/puleeno/wp-crawlflow · website
★ 1stars
2composer installs
0forks
Install
No release zip yet. The repository archive installs, but the folder name will carry the branch suffix and updates will not flow:
wp plugin install https://github.com/puleeno/wp-crawlflow/archive/refs/heads/v2.zipAlso on Packagist as puleeno/rake-wordpress-migration-example:
composer require puleeno/rake-wordpress-migration-exampleFrom the readme
WP-CRAWFLOW PLUGIN
Phiên bản: 2.0
Ngày cập nhật: 2025
Kiến trúc: Flow-Based Architecture
Tác giả: Development Team
📋 MỤC LỤC
1. Tổng quan WP-CrawlFlow
2. Mục đích và ý nghĩa
3. Tại sao cần dùng WP-CrawlFlow
4. Mối quan hệ với Rake Ecosystem
5. Kiến trúc Plugin
6. Cách sử dụng
7. Tài liệu kỹ thuật
8. Development Guidelines
🎯 TỔNG QUAN WP-CRAWFLOW
Mục tiêu
WP-CrawlFlow 2.0 là WordPress plugin mạnh mẽ cho data migration và web crawling sử dụng Flow-Based Architecture, cung cấp:
- Flow-Based Architecture: Kiến trúc mới hoàn toàn dựa trên visual flow nodes để xử lý dữ liệu
- Visual Flow Composer: React Flow-based editor để tạo và quản lý crawl workflows
- Node-Based System: Hệ thống modular với các node types: Start, Click, Loop, Repository, Reception, Worker, Extractor, Processor, Completion
- Database Migration System: Hệ thống migration tự động với version tracking
- Multiple Data Sources: Hỗ trợ URL, API, MySQL, CSV, JSON, XML
- WordPress Integration: Tích hợp hoàn hảo với WordPress admin và database
Vai trò trong hệ thống
🎯 MỤC ĐÍCH VÀ Ý NGHĨA
Mục đích chính
WP-CrawlFlow được thiết kế để giải quyết các vấn đề phức tạp trong data processing và web crawling:
1. Data Migratio
Read the full README on GitHub →
Releases
These releases are tags only. The author does not attach a packaged zip, so there are no download counts to report.