用户行为数据分析_系统开发案例-程序员客栈

技术信息

作品详情

行业场景

本项目通过日志，目标是建立一套从原始 Log 到行为分析、服务质量分析和 Power BI 看板的数据分析方案，支持后续产品优化和运营决策。

功能介绍

建立一套从原始 Log 到行为分析、服务质量分析和 Power BI 看板的数据分析方案，支持后续产品优化和运营决策。
支持 CSV、JSON、JSONL/NDJSON 和 Parquet 日志读取。
- 支持字段映射、时间解析、时区转换、文本清洗和未知字段保留。
- 支持用户、会话、搜索、点击、查看、下载和搜索性能分析。
- 支持 Search Journey 构建、搜索漏斗、热门查询、论文点击统计和 download 事件记录。
- 支持 JSON 汇总，以及 Power BI 可加载的 CSV 和 Parquet 数据表。
- 支持数据质量摘要，包括记录数、字段清单、无效时间和事件分布。
- 已有 Notebook、命令行管线和自动化测试，可重复执行分析流程。

项目实现

1. Python 数据分析
Python 离线批处理和 CLI 命令行程序
pandas：日志表格处理、分组聚合、统计分析
PyYAML：读取 YAML 配置
pathlib、argparse、json：路径管理、命令行参数和结果输出
pyarrow：可选，用于导出 Parquet
2. 日志读取与清洗

支持 CSV、JSON、JSONL/NDJSON、Parquet 和 .log
.log 支持 JSON、key=value 和普通文本格式
字段映射、时间解析、UTC/目标时区转换
日志级别和文本清洗
未知字段保留
数据质量检查，包括无效时间、字段缺失、事件分布等
3. 用户行为分析
用户数、会话数、搜索数、点击数、下载数
Search Journey 构建
搜索漏斗：搜索、响应、点击、查看、下载
CTR、无点击率、零结果率
查询改写率、热门搜索词
论文点击排行、点击位置分析
下载转化率和下载类型分析
响应时间平均值、P50、P90、P95
按设备和地区分析性能