Python数据分析与可视化平台产品系统

公司日常运营会产生大量数据, 分散在各个业务系统里, 想做个分析报表得开发临时写SQL跑数据, 效率低还容易出错。这个项目搭了一个数据分析平台, 让业务人员自己选数据源、配SQL查询、看可视化报表, 不用每次都找开发。适合有一定数据积累但还没有专门BI工具的团队。

数据源管理: 支持接入MySQL、PostgreSQL、CSV文件等多种数据源, 配置连接信息后可测试连通性, 点击数据源可查看表结构和最近查询记录。SQL查询执行: 核心功能, 上方选数据源, 中间SQL编辑器带行号, 提供预设SQL模板, 点击执行查询后显示结果表格和可视化图表。可视化报表: 支持饼图、柱状图、折线图三种图表类型切换, 数据来源于SQL查询结果, 图表用CSS和SVG手绘渲染。仪表盘: 多个报表可组合成一个仪表盘页面, 布局可拖拽调整。分析任务调度: 配置SQL查询后保存为分析任务, 支持立即执行和定时执行。

后端用Python开发, 框架Django, 数据处理用Pandas执行SQL查询和数据清洗聚合, 任务调度用Celery加Redis做异步队列, 数据库PostgreSQL, 图表前端用CSS和SVG手绘渲染。我主要负责: 数据源对接模块, 封装MySQL、PostgreSQL、CSV的连接和查询逻辑; 分析任务模块, 用Pandas执行查询并做数据清洗和聚合; 任务调度功能, 用Celery实现任务的异步执行和定时触发; 可视化报表模块, 后端返回聚合数据, 前端用CSS和SVG渲染多种图表类型; 仪表盘功能, 支持把多个报表组合到一个页面; 前端开发了数据源配置、SQL编辑器、任务管理、报表查看等页面。