wxxiong6/crawl

简单实用的php爬虫系统

php爬虫系统

• 程序只支持CLI,执行前需要把php加入环境变量

安装程序

1.dbconfig.php 添加正确的数据库配置

2. 安装程序

php run install

启动程序

安装完成后，在setting表添加来源站点及正则提取规则。

启动程序 (参数是 setting 表id)

php run run 1 

清除项目数据 (参数是 setting 表id)

PHP php run clear 1, _(*1)

完整代码目录

PHP │ crawl.sql │ LICENSE │ README │ run 系统入口程序 │ ├─code │ ├─config 配置文件 │ │ config.php │ │ dbconfig.php │ │ │ └─library 类库 │ │ App.php │ │ Crawl.php │ │ CrawlCallback.php │ │ Import.php │ │ Loader.php │ │ │ └─db 数据库 │ MysqlPDO.php │ ├─data 数据 │ ├─log 日志目录 │ ├─tmp └─web web目录, _(*2)