基于DolphinPHP(ThinkPHP的二次开发框架).本项目主要用于管理好房网(www.haofang5.com)的楼盘信息。其中楼盘录入系统中用到了信息采集技术。利用正则匹配目标网页,抓取相关的楼盘信息,然后筛选掉重复信息录入到数据库中。在采集过程中也曾遇到过目标网址验证的问题,为了保持采集频率,后来采取三方类Snoopy来进行数据采集。
评论