自托管数据采集与实时监控平台产品系统

立项原因：中小团队在数据采集中普遍面临数据源分散、格式不统一、人工整理耗时的问题，缺少低成本的自托管方案。本平台旨在用一套轻量架构打通采集、清洗、存储、分析、可视化全链路，替代多工具拼凑的繁琐流程。行业场景：适用于需要对公开数据或本地文件做批量采集、结构化入库、指标计算与实时看板展示的场景，例如企业运营数据监控、行业数据追踪、业务报表自动化、研究数据准备等。单机即可部署，无需云服务，数据不出本地，适合对数据私密性有要求的团队。

1、采集调度模块：支持公开接口与本地二进制文件两类数据源，实现限频重试、断点续传、去重入库、异常隔离与口径校验，任务可断点恢复，单条数据异常不影响整体流程。

2、存储引擎模块：SQLite单库4.8GB、21张业务表、累计入库2064万行。通过批量事务写入与索引调优，把千万级数据的写入从小时级压缩到分钟级；支持增量更新与历史口径统一。

3、指标计算模块：基于Pandas的多维加权评分引擎与批量统计框架，支持多条件组合筛选、结果可复算、参数留档，输出可直接使用的统计报表。

4、Web看板模块：Python后端提供34个REST接口，按业务拆分为5个薄路由模块；前端使用Lightweight-Charts绘制图表，esbuild打包，含8个前端模块，支持定时自动刷新与结果导出。

5、系统管理模块：定时任务调度、开机自启、日志与错误处理、数据一致性校验脚本，单机自托管运行。

采用 Python + SQLite + Pandas 构建四层模块化架构（采集层、存储层、计算层、接入层），共22个源文件、约4500行代码。采集层用 Requests 完成接口调用，用 struct 解析本地二进制文件；存储层设计批量事务写入与索引优化方案，解决千万级数据写入的性能瓶颈；计算层用 Pandas 向量化计算配合分批处理，解决大规模循环计算耗时问题；接入层提供 REST 接口，前端以 Lightweight-Charts 绘图、esbuild 打包。定时任务以纯脚本模式运行，单机部署、开机自启。主要难点在于无文档二进制格式的逆向验证、千万级写入性能优化，以及历史数据的口径统一。