Python 自动化工具集：文档批处理与数据库运维

技术信息

语言技术
Python、Shell、MySQL、SQLServer、Oracle系统类型
Linux、Web行业分类
金融、企业服务开源地址
https://gitee.com/xuanxuan-zhi/python-automation-toolkit授权协议
MIT许可演示地址
https://gitee.com/xuanxuan-zhi/python-automation-toolkit

行业场景

本作品面向金融行业数据库运维场景，解决 Greenplum/Doris 集群日常巡检、故障排查、性能监控等重复性运维工作的问题。在基金、证券、银行等金融机构中，Greenplum 和 Doris 是核心数仓平台，需要定期巡检集群状态、磁盘空间、节点存活、SQL 性能等指标。传统人工巡检方式效率低、易遗漏、无法形成标准化记录。本工具集通过 Python + Shell 脚本实现自动化巡检，覆盖集群状态检查、磁盘监控、SQL 批量执行、服务启停管理、日志清理等核心运维场景，将原本需要数小时的巡检工作压缩到分钟级完成，并自动输出标准化巡检报告。工具已在多个金融机构的 Doris/Greenplum 集群上实际使用，运行稳定。

功能介绍

1. 集群状态巡检（ant-doris-status）：一键检查 FE/BE 节点存活状态、磁盘使用率、SQL 执行情况，输出三节点统一状态报告，支持 SSH 远程批量执行。
2. SQL 批量执行（ant-doris-sql）：支持通过命令行执行任意 SQL 语句，自动处理引号转义问题（base64 编码传输），避免远程命令截断。
3. 服务启停管理（ant-doris-service）：支持对 FE/BE 节点的 start/stop/restart/status 操作。
4. 磁盘监控（ant-doris-disk）：三节点磁盘检查，实时监控磁盘使用率，支持阈值告警。
5. 日志清理（ant-doris-cleanup）：自动清理过期日志文件，支持 crontab 定时任务。
6. PDF 合并排版（ant-pdf-merge）：将多个 PDF/图片按 n-up 排版合并为统一纸张，支持尺寸自适应。
7. 报销单自动生成（ant-travel-reimburse）：模板 + JSON 数据驱动，自动生成差旅费报销单，金额大写自动分位。

项目实现

技术架构：Python 3.10+ / Shell，核心依赖 PyMuPDF、python-docx、Playwright、PaddleOCR，数据库为 Greenplum 和 Doris，运行环境为 WSL2 + Ubuntu 24.04。
实现方式：
1. 模块化设计，每个功能独立为单个 Python 脚本（ant-*.py），通过统一命令行接口调用。
2. 集群运维工具通过 SSH 远程连接数据库节点，使用 base64 编码传输 SQL 语句，解决引号截断问题。
3. PDF 合并工具使用 PyMuPDF 的 show_pdf_page 实现等比缩放和居中排版。
4. 所有工具均支持参数化配置（JSON/CLI 参数），不改代码即可适配不同环境。
5. 采用错误隔离机制，单个文件损坏不影响整批处理，支持幂等重跑。
已在 192.168.0.227/228/229 三节点 Doris 集群上实际部署运行。