具备完整的网站数据获取、处理与输出能力。熟练掌握Scrapy、Requests等主流爬虫框架,能够应对静态页面动态渲染、登录验证、防爬机制等复杂采集场景。同时我具备全站结构分析能力,能根据页面内容、接口结构或数据流逻辑构建高效的采集方案。熟悉 Django、FastAPI等框架,能够构建稳定、高性能的 API服务。了解基本的数据库架构设计,包括表结构规范、索引优化、缓存策略,擅长使用MySQL 与 Redis 进行高效数据存储与访问。
在数据处理方面,熟练使用 Pandas 进行数据清洗、转换与导出,具备批量数据整理与结构化能力,能够将混乱的原始数据转化为可用结果,支持CSV、Excel、JSON、数据库等多种输出格式。
我具备一定的全栈开发基础,对数据流、前后端交互、块解耦等有基本理解,能独立完成从数据采集、存储、处理到输出接口的完整闭环流程,适用于各类数据驱动型项目与自动化任务开发。