设计全球房源爬虫程序

对全球各个国家大型房源平台详情页数据获取，美国房产平台trulia.com，新房平台newhomesource.com, 商业资产loopnet.com, 英国房产 rightmove.co.uk/等，设计爬虫程序，使用阿里云美国节点弹性ip访问外网，通过eip绑定解绑实现IP切换，通过地区类型对房源数据分组，group组表状态监控数据，使用触发器完成增量数据差异化，定时器轮询组状态异步翻译，下载， 上传，调用百度翻译api, 对数据翻译入库，轮询异步下载上传图片视频oss对象存储。