1.通过python编写爬虫程序,实现自动化爬取网站信息,并对爬取下来的数据进行数据整理分析并汇总成表格形式;2.开发爬虫程序过程中用到了webdriver、selenium、json、tkinter、pandas等第三方库3.难点在于爬取页面有反爬机制,并且网页内容的下拉框不好选择只能通过不断点击来选择不同的选项,解决反爬机制只能通过每次爬取少量信息尽量不触发反爬机制来解决。
评论