CSV Sweeper - 智能数据清洗平台产品系统

在企业数据处理场景中，CSV文件常存在编码混乱、格式不规范、公式注入风险等问题。CSV Sweeper旨在为数据分析人员和运维团队提供一站式的CSV数据清洗解决方案，覆盖\x1b数据安全扫描、格式标准化、智能去重等核心场景，帮助企业降低数据质量风险，提升数据处理效率。项目面向跨境电商、金融分析、企业运维等数据密集型行业。

CSV Sweeper包含以下核心功能模块：1）智能编码检测：支持UTF-8、GBK等多种编码自动识别，使用charset-normalizer作为fallback方案，解决传统chardet对GBK识别率低的问题；2）CSV注入防护：扫描所有数据行的公式模式（=、+、-、@），对潜在注入风险进行告警，覆盖全量数据而非仅前1万行；3）数据清洗：支持去重、空行删除、格式标准化等操作，提供操作历史栈支持20步撤销，采用增量diff快照降低内存占用；4）大文件处理：超过50万行的CSV文件自动切换磁盘快照压缩模式，避免内存溢出；5）多格式导出：支持CSV、Parquet、Excel格式导出，Excel导出自动处理104万行限制并分sheet输出；6）会话隔离：通过SessionState按session_id隔离，防止多用户操作互相干扰。

我负责整个项目的架构设计和核心模块开发。技术栈采用Python后端（dataclasses + type hints确保类型安全），Vue Element Plus前端（API集中管理于api.js），Koa中间件层。架构亮点：使用注册表模式实现插件扩展性，所有异常继承自CSVSweeperError基类实现统一错误处理，不可逆操作前弹出确认提示。技术难点：1）大文件内存优化——通过单实例SessionState替代DataFrame拷贝避免OOM；2）Excel导出行数限制——自动检测并分sheet输出或提示切换CSV/Parquet；3）撤销操作索引重置——去重或删行后DataFrame index变化需要特殊处理。核心模块测试覆盖率80%以上。