2. 关键技术组件请求模块：模拟浏览器发送 HTTP/HTTPS 请求，常用工具包括：Python：requests、aiohttp（异步请求）JavaScript：axios、node-fetch浏览器自动化：Selenium、Playwright（处理动态渲染页面，如 JavaScript 生成的内容）。解析模块：从 HTML/XML 中提取结构化数据，常用方法：正则表达式（Regex）：灵活但复杂，适合简单模式匹配。解析库：Python：BeautifulSoup、lxml（基于 XPath/CSS 选择器）。JavaScript：JSDOM、Cheerio。可视化工具：Chrome DevTools 的 Selector Helper、XPath Helper 插件辅助定位元素。存储模块：将数据保存为文件或数据库，支持格式包括：文件：JSON、CSV、Excel、HTML。数据库：SQL（MySQL、PostgreSQL）、NoSQL（MongoDB、Redis）。调度与控制：管理爬取顺序和频率，避免被封禁：队列（Queue）：维护待爬取 URL 列表（如优先队列实现深度 / 广度优先搜索）。限速机制：设置请求间隔（如time.sleep()），模拟人类浏览速度。代理池（Proxy Pool）：轮换使用 IP 地址，绕过 IP 封锁（需注意代理合规性）。