语言技术Python、Mongo、HTTP
使用爬虫框架自动获取某电影平台上的电影信息并持久化到Mongo DB中。整体操作在遵循robots.txt规范之下完成整个过程,同时也控制了执行频率避免了对对方平台产生攻击效果。
评论
评论