爬取知网文献数据产品系统

解决了人工手动检索和复制粘贴效率极低的问题，数据提取准确率达 98% 以上，大幅节省了文献收集时间，为后续数据分析提供了高质量的数据源

项目是一款基于 Python + Selenium 的动态网页数据采集工具，专门用于自动化提取学术文献数据。支持在高级检索页面自定义搜索关键词、切换检索字段（如主题、篇名、全文），并能实现自动翻页抓取。最终将抓取到的文献标题、作者、来源期刊、发表时间等核心字段，清洗后导出为规范的 UTF-8 编码 CSV 文件（且支持一键存入 MySQL 数据库）

网页元素定位与交互：利用 WebDriverWait 显式等待解决异步加载难题，通过 CSS 选择器与 XPath 精准定位下拉菜单和输入框。

反爬机制突破：配置浏览器 Options 参数，结合 CDP 协议注入 JS 篡改 navigator.webdriver 属性，并采用 random.uniform 随机延时模拟真人操作，成功绕过目标网站检测。

数据清洗与容错：使用 try-except 捕获解析异常，利用 pandas 对数据进行去空格清洗，确保长时间运行稳定不崩溃