日喀则大数据中心数据治理项目 产品系统

项目由日喀则市经信局推动建设，立项原因是当地各单位数据相互独立，存在数据壁垒和数据孤岛问题，难以统一盘点、管理和共享。项目面向全市88家单位归集非涉密数据，通过建设统一的数据治理链路，解决数据采集方式分散、处理流程依赖人工、跨部门数据共享困难等问题，为政务数据资产管理和业务系统上云上平台提供支撑。

项目包含多源数据归集、Python爬虫采集、离线任务调度、数据清洗与转换、数据库备份迁移、Hive/SQL数据加工、结果表传输以及数据共享等功能模块。系统面向日喀则市88家单位，通过线下报送、政务外网和自动化爬虫等方式汇聚非涉密数据，并对数据进行统一处理、定时更新和共享分发，形成较完整的数据治理全生命周期链路。

我主要负责编写和优化Python数据爬虫，将采集程序部署至Linux服务器，并通过crontab实现自动执行；同时参与Docker及数据库环境部署、数据库文件每日备份、跨服务器和跨数据库迁移，编写HiveQL、标准SQL、函数及存储过程，将每日处理结果传输至指定数据库。项目采用定时任务与容器化部署架构，亮点是实现大部分数据流程自动运行；难点在于多单位数据来源分散、数据结构不统一，以及跨库迁移和定时任务稳定性保障。