Categraf是一个监控采集Aget，类似Telegraf、Grafaa-Aget、Datadog-Aget，希望对所有常见监控对象提供监控数据采集能力，采用All-i-oe的设计，不但支持指标采集，也希望支持日志和调用链路的数据采集。来自快猫研发团队，和Ope-Falco、Nightigale的研发是一拨人。
categraf和telegraf、exporters、grafaa-aget、datadog-aget等的关系是什么？telegraf是ifluxdb生态的产品，因为ifluxdb是支持字符串数据的，所以telegraf采集的很多field是字符串类型，另外ifluxdb的设计，允许labels是非稳态结构，比如result_code标签，有时其value是0，有时其value是1，在ifluxdb中都可以接受。但是上面两点，在类似prometheus的时序库中，处理起来就很麻烦。prometheus生态有各种exporters，但是设计逻辑都是一个监控类型一个exporter，甚至一个实例一个exporter，生产环境可能会部署特别多的exporters，管理起来略麻烦。grafaa-agetimport了大量exporters的代码，没有裁剪，没有优化，没有最佳实践在产品上的落地，有些中间件，仍然是一个grafaa-aget一个目标实例，管理起来也很不方便。datadog-aget确实是集大成者，但是大量代码是pytho的，整个发布包也比较大，有不少历史包袱，而且生态上是自成一派，和社区相对割裂。categraf确实又是一个轮子，categraf希望：支持remote_write写入协议，支持将数据写入promethues、M3DB、VictoriaMetrics、IfluxDB指标数据只采集数值，不采集字符串，标签维持稳态结构采用all-i-oe的设计，所有的采集工作用一个aget搞定，未来也可以把日志和trace的采集纳入aget纯Go代码编写，静态编译依赖少，容易分发，易于安装尽可能落地最佳实践，不需要采集的数据无需采集，针对可能会对时序库造成高基数的问题在采集侧做出处理常用的采集器，不但提供采集能力，还要整理出监控大盘和告警规则，用户可以直接导入使用未来希望作为快猫SaaS产品的重要组成部分，引入快猫团队的研发力量持续迭代，当然，希望更多的公司、更多人研发人员参与共建，做成国内最开放、最好用的采集器安装可以直接去categrafreleases页面，下载编译好的二进制，也可自行编译，编译只需要一条命令：gobuild当然，前提是机器上有Go环境。如果是从老版本升级，也是建议大家查看categrafreleases页面，每个版本改动了什么，升级时注意什么，都会在这里写清楚。在目标机器部署，只需要categraf二进制、以及cof目录，cof下有一个主配置文件：cofig.toml，定义机器名、全局采集频率、全局附加标签、remotewritebacked地址等；另外就是各种采集插件的配置目录，以iput.打头，如果某个采集器xx不想启用，把iput.xx改个其他前缀，比如bak.iput.xx，categraf就会忽略这个采集器。测试我们经常会需要测试某个采集器的行为，临时看一下这个采集器输出哪些监控指标，比如配置好了cof/iput.mysql/mysql.toml想要看看采集了哪些mysql指标，可以执行命令：./categraf--test--iputsmysql这个命令会去连接你配置的mysql实例，执行SQL收集输出，将输出的内容做格式转换，最终打印到stdout，如果我们在stdout正常看到了mysql相关监控指标，则说明一切正常，否则就是哪里出了问题，大概率是cof/iput.mysql/mysql.toml配置的有问题。如果修改了某个采集器的配置，需要重启categraf或者给categraf进程发送HUP信号，发送HUP信号的命令，举例：kill-HUPpidofcategraf”另外，categraf支持哪些命令行参数，可以通过./categraf--help查看插件说明采集插件的代码，在代码的iputs目录，每个插件一个独立的目录，目录下是采集代码，以及相关的监控大盘JSON（如有）和告警规则JSON（如有），Liux相关的大盘和告警规则没有散在cpu、mem、disk等采集器目录，而是一并放到了system目录下，方便使用。插件的配置文件，放在cof目录，以iput.打头，每个配置文件都有详尽的注释，如果整不明白，就直接去看iputs目录下的对应采集器的代码，Go的代码非常易读，比如某个配置不知道是做什么的，去采集器代码里搜索相关配置项，很容易就可以找到答案。配置说明这里对cofig.toml的每项配置做出解释：[global]#启动的时候是否在stdout中打印配置内容prit_cofigs=false#机器名，作为本机的唯一标识，会为时序数据自动附加一个aget_hostame=$hostame的标签#hostame配置如果为空，自动取本机的机器名#hostame配置如果不为空，就使用用户配置的内容作为hostame#用户配置的hostame字符串中，可以包含变量，目前支持两个变量，#$hostame和$ip，如果字符串中出现这两个变量，就会自动替换#$hostame自动替换为本机机器名，$ip自动替换为本机IP#建议大家使用--test做一下测试，看看输出的内容是否符合预期hostame=""#是否忽略主机名的标签，如果设置为true，时序数据中就不会自动附加aget_hostame=$hostame的标签omit_hostame=false#时序数据的时间戳使用ms还是s，默认是ms，是因为remotewrite协议使用ms作为时间戳的单位precisio="ms"#全局采集频率，15秒采集一次iterval=15#全局附加标签，一行一个，这些写的标签会自动附到时序数据上#[global.labels]#regio="shaghai"#ev="localhost"#发给后端的时序数据，会先被扔到categraf内存队列里，每个采集插件一个队列#cha_size定义了队列最大长度#batch是每次从队列中取多少条，发送给后端backed[writer_opt]#default:2000batch=2000#chael(asqueue)sizecha_size=10000#后端backed配置，在toml中[[]]表示数组，所以可以配置多个writer#每个writer可以有不同的url，不同的basicauth信息[[writers]]url="https://127.0.0.1:19000/prometheus/v1/write"#Basicauthuseramebasic_auth_user=""#Basicauthpasswordbasic_auth_pass=""#timeoutsettigs,uit:mstimeout=5000dial_timeout=2500max_idle_cos_per_host=100对于每个采集器的配置，不在这里一一赘述，只讲一些相对通用的配置项。iterval每个插件的配置中，一开始通常都是iterval配置，表示采集频率，如果这个配置注释掉了，就会复用cofig.toml中的采集频率，这个配置如果配置成数字，单位就是秒，如果配置成字符串，就要给出单位，比如：iterval=60iterval="60s"iterval="1m"上面三种写法，都表示采集频率是1分钟，如果是使用字符串，可以使用的单位有：秒：s分钟：m小时：histaces很多采集插件的配置中，都有istaces配置段，用[[]]包住，说明是数组，即，可以出现多个[[istaces]]配置段，比如pig监控的采集插件，想对4个IP做PING探测，可以按照下面的方式来配置：[[istaces]]targets=["www.baidu.com","127.0.0.1","10.4.5.6","10.4.5.7"]也可以下面这样子配置：[[istaces]]targets=["www.baidu.com","127.0.0.1"][[istaces]]targets=["10.4.5.6","10.4.5.7"]iterval_timesistaces下面如果有iterval_times配置，表示iterval的倍数，比如pig监控，有些地址采集频率是15秒，有些可能想采集的别太频繁，比如30秒，那就可以把iterval配置成15，把不需要频繁采集的那些istaces的iterval_times配置成2或者：把iterval配置成5，需要15秒采集一次的那些istaces的iterval_times配置成3，需要30秒采集一次的那些istaces的iterval_times配置成6labelsistaces下面的labels和cofig.toml中的global.labels的作用类似，只是生效范围不同，都是为时序数据附加标签，istaces下面的labels是附到对应的实例上，global.labels是附到所有时序数据上工作计划categraf已经完成了一些常用的采集插件，还有很多需要继续开发，欢迎大家共建补充，已经完成的采集插件包括：[x]system[x]kerel[x]kerel_vmstat[x]liux_sysctl_fs[x]cpu[x]mem[x]et[x]etstat[x]disk[x]diskio[x]tp[x]processes[x]exec[x]pig[x]http_respose[x]et_respose[x]procstat[x]mysql[x]redis[x]oracle[x]rabbitmq[x]prometheus[x]tomcat[x]vidia_smi部分采集器不但提供了采集能力，还提供了监控大盘的配置和告警规则的配置，将JSON导入夜莺就可以使用，至于有哪些插件提供了JSON配置，可以通过下面的方式找到：[root@master01categraf]#fidiputs-ame"*.jso"iputs/redis/alerts.jsoiputs/redis/dashboard.jsoiputs/system/dashboard.jsoiputs/system/alerts-liux.jsoiputs/oracle/dashboard.jsoiputs/pig/alerts.jsoiputs/pig/dashboard.jsoiputs/tp/alerts.jsoiputs/procstat/alerts.jsoiputs/mysql/alerts.jsoiputs/mysql/dashboard.jsoiputs/tomcat/dashboard.jsoiputs/rabbitmq/dashboard.jsoiputs/http_respose/alerts.jsoiputs/http_respose/dashboard.jsoiputs/et_respose/alerts.jsoiputs/et_respose/dashboard.jso还需要继续开发的包括：[]k8ssolutio[]gixvts[]mogodb[]rocketmq[]activemq[]kafka[]elasticsearch[]prometheusdiscovery[]widows[]mssql[]iis[]weblogic[]was[]hadoop[]ad[]zookeeper[]statsd[]smp[]ipmi[]smartctl[]loggig[]trace
评论