Python 数据采集与自动化处理作品集（3 个项目）

技术信息

语言技术
Python、Android、iOS、Object-c、Swift系统类型
Web、Windows行业分类
工业互联网、企业服务参考价格
2000演示地址
https://liqiangxo.github.io/portfolio/

作品详情

行业场景

本项目旨在解决中小企业和个人用户的重复性数据处理难题。日常工作中，数据采集、多表格合并、报表生成等操作高度重复且耗时，人工处理易出错。项目提供爬虫采集、Excel 自动化、在线工具三类解决方案，帮助用户把重复劳动自动化，提升效率、降低出错率，业务背景覆盖电商运营、财务统计、信息管理等多个场景。

功能介绍

项目包含三个功能模块：1、网页爬虫模块：支持分页抓取公开网站数据，自动解析结构化字段，输出 JSON/CSV 格式，内置限速、超时与重试机制；2、Excel 自动化模块：支持批量合并多个表格、数据清洗（去空格、统一日期、去重、缺失值补算）、按多维度汇总统计、自动生成带多 Sheet 的统计报告；3、Web 应用模块：在线名片生成器，支持表单录入、数据持久化、独立分享链接及 JSON API 接口。三个模块均可一键运行，输出结果即开即用。

项目实现

本项目由我独立开发完成，负责全部需求分析、架构设计与代码实现。技术栈包括：Python、requests、BeautifulSoup（爬虫）、pandas、openpyxl（数据处理）、Flask、Jinja2、HTML/CSS（Web 应用）。实现亮点：1、配置与逻辑分离，换目标网站只需改配置区；2、清洗规则完整覆盖真实脏数据场景；3、数据持久化与容错处理完善；4、全部使用免费开源库，无需付费 API key。难点在于爬虫的健壮性设计（限速、重试、空页处理）与 Excel 多格式兼容。