Collectd 简介

2016-08-16 Tuesday     linux , misc

collectd 是一个后台监控程序,用来采集其所运行系统上的系统信息,并提供各种存储方式来存储为不同值的格式,例如 RRD 文件形式、文本格式、MongoDB 等等。

在此,简单介绍下 collectd 。

collectd logo

简介

Collectd 完全由 C 语言编写,故性能很高,可移植性好,它允许运行在系统没有脚本语言支持或者 cron daemon 的系统上,比如嵌入式系统;同时,它包含优化以及处理成百上千种数据集的新特性,目前包含了几十种插件。

其中数据采集和采集数据的写入都可以通过插件进行定义,目前支持的数据采集插件包括了几十种,写入包括了 Graphite、RRDtool、Riemann、MongoDB、HTTP 等。

collectd architecture

简单来说,其特点如下:

  1. C语言、插件、多线程(读写线程池),支持 Python、Shell、Perl 等脚本语言;
  2. 数据采集插件包括了 OS(CPU、Memory、Network、Disk等)、通用组件(Nginx、MySQL、PostgreSQL、Redis、HAProxy等);
  3. 写入插件支持 RRDTool、Kafka、MongoDB、Redis、Riemann、Sensu、TSDB等;
  4. 支持级联方式,数据发送采用 UDP 报文;

如下是将采集的数据保存为 rrd 格式文件,并通过 rrdtool 工具绘制出来。

collectd cpu rrd

安装

对于 CentOS 可以直接安装 collectd 对应的 RPM 包,不同的插件可以安装不同的包。

----- 查看当前版本,以及所支持的插件
$ yum --enablerepo=epel list all | grep collectd
----- 安装
# yum --enablerepo=epel install collectd

源码编译

编译选项可以直接通过 ./configure --help 命令查看,例如可以通过如下配置开启调试选项,也就是 COLLECT_DEBUG 宏;对于插件会自动检查是否存在头文件,例如 rrdtool 需要 rrd.h 文件,也就是需要安装 rrdtool-devel 包。

$ ./configure --enable-debug --enable-all-plugins

注意,在配置完之后会打印配置项信息,包括了编译、链接参数,以及支持哪些插件等,也可以查看 config.log 文件。

编译完成之后,可以直接通过 make check 进行检查;对于 RPM 包生成,在 contrib 中有相应的 spec 文件;对于帮助文档可以查看 man -l src/collectd.1;关于支持哪些组件,可以查看源码中的 README 文件,例如测试时,可以直接开启 write_log 写入插件。

另外,编译后的动态库保存在 src/.libs 目录下,如果不想安装,可以直接调整配置文件即可。

常见操作

----- 启动服务
$ collectd -C collectd.conf
----- 检查配置文件
$ collectd -C collectd.conf -t
----- 测试插件,会调用一次插件
$ collectd -C collectd.conf -T
----- 刷新,会生成单独线程执行do_flush()操作
$ kill -SIGUSR1 `pidof collectd`
----- 关闭服务,也可以使用SIGTERM信号
$ kill -SIGINT `pidof collectd`
----- 采用多线程,可以通过该命令查看当前的线程数
$ ps -Lp `pidof collectd`

状态查看

Collectd 可以通过 unixsock 插件进行通讯、查看状态等,也可以使用 collectdctl 命令;通过如下配置打开 unixsock 。

LoadPlugin unixsock
<Plugin unixsock>
  SocketFile "/tmp/collectd.sock"
  SocketGroup "collectd"
  SocketPerms "0660"
  DeleteSocket true                  # 启动时如果存在sock,是否尝试删除
</Plugin>

在开启了 UnixSock 之后,可以通过如下命令与 Collectd 进行交互;对于 collectdctl 命令,可直接通过 man -l src/collectdctl.1 查看帮助。

$ collectdctl -s /tmp/collectd.sock listval
$ echo "PUTNOTIF severity=okay time=$(date +%s) message=hello" | \
    socat - UNIX-CLIENT:/path/to/socket

日志配置

collectd 支持多种日志格式,包括了 syslog、logstash、本地日志文件等;如果调试,也可以通过 write_log 插件将采集数据写入到日志文件中。

推荐配置

源码中有一个 src/collectd.conf 参考配置文件,如下是一些常见的配置项。

# 指定上报的主机名,可以为IP或者按照规则定义主机名称(service_name.componet_name)
Hostname    "foobar"
# 是否允许主机名查找,如果DNS配置可能有误,建议不要开启
FQDNLookup   false

# 各种文件、目录的设置
BaseDir     "/var/lib/collectd"
PIDFile     "/var/run/collectd.pid"
PluginDir   "/home/andy/Workspace/packages/collectd/collectd-5.7.1/src/.libs"
TypesDB     "/home/andy/Workspace/packages/collectd/collectd-5.7.1/src/types.db"

# 设置为true时,对于<Plugin XXX>可以自动加载插件,无需指定LoadPlugin,详见dispatch_block_plugin()
AutoLoadPlugin false

# 是否同时上报collectd自身的状态,会通过plugin_register_read()注册读取函数,也即会通过
# 执行plugin_update_internal_statistics()函数上报当前collectd的状态
CollectInternalStats false

# 设置全局的数据采集时间间隔,单位是秒,可以在插件中进行覆盖;关于最大采集时间间隔,详见后面的介绍
Interval                 1
MaxReadInterval        180

# 注意这里单位不是秒,实际超时时间是timeout*interval
Timeout                  2

# 用于配置读写线程数
WriteThreads             2
ReadThreads              5

# 配置缓存的上下限
WriteQueueLimitLow    8000
WriteQueueLimitHigh  12000

# 创建一个Unix Socket用于一些命令发送,状态查看等
LoadPlugin unixsock
<Plugin unixsock>
  SocketFile "/tmp/collectd.sock"
  SocketGroup "collectd"
  SocketPerms "0660"
  DeleteSocket true                  # 启动时如果存在sock,是否尝试删除
</Plugin>

# 设置日志文件,保存到本地文件中,可以通过logrotate管理
LoadPlugin logfile
<Plugin logfile>
    LogLevel info
    File "/var/log/collectd/collectd.log"  # 也可以配置为STDOUT,作为标准输出
    Timestamp true
    PrintSeverity true
</Plugin>

# 通过write_log插件将采集数据保存到日志中,默认采用的是Graphite格式
LoadPlugin write_log
<Plugin write_log>
  Format JSON
</Plugin>

如下简单列举一些常用的配置。

1. 数据缓存上下限设置。

可以通过 WriteQueueLimitHighWriteQueueLimitLow 参数可以配置缓存队列的大小,在源码中对应了 write_limit_highwrite_limit_low 变量。

当小于 WriteQueueLimitLow 时不会丢弃所采集的数据,当大于上述值而小于 WriteQueueLimitHigh 时会概率性丢弃,而大于 High 则直接丢弃。

2. 插件采集时间间隔。

如果调用插件读取数据时失败,则会将下次采集时间 double,但是最大值为配置文件中的设置值;当一次读取成功时,则会直接恢复到正常的采集时间间隔。

3. 关于Timeout参数

主线程会检查是否有数据采集超时,注意这里真正的超时时间是 timeout*interval ,如果超时则会调用注册的 missing 回调函数,而且会在 global cache 中删除这个对象。

4. types.db 的使用

type.db 每行由两个字段组成,由空格或者 tab 分隔,分别表示:A) 数据集名称;B) 数据源说明的列表,对列表单元都以逗号分隔。

每个数据源通过冒号分为 4 部分:数据源名、类型、最小值和最大值 ds-name:ds-type:min:max;其中 ds-type 包含 4 种类型 (ABSOULUTE, COUNTER, DERIVE, GAUSE),其中,mix 和 max 定义了固定值范围,U 表示范围未知或者不限定。

每行数据对应了一个 value_list_t,可以通过 format_values() 函数进行格式化。

5. 如何查看 collectd 的状态?

自身状态查看,可以在配置文件中添加 CollectInternalStats true 选项,或者开启 unixsocket,然后通过 collectdctl 命令进行查看。

显然,一个是可以远程采集数据的,一个是只能本地访问的。

Filter-Chain

从 4.6 版本开始支持 filter-chain 功能,可用于将某个值发送给特定的输出,其工作模式类似于 ip_tables,包括了 matches 和 targets,前者用于匹配一个规则,后者用于执行某个操作。

如下是处理流程图。

 +---------+
 ! Chain   !
 +---------+
      !
      V
 +---------+  +---------+  +---------+  +---------+
 ! Rule    !->! Match   !->! Match   !->! Target  !
 +---------+  +---------+  +---------+  +---------+
      !
      V
 +---------+  +---------+  +---------+
 ! Rule    !->! Target  !->! Target  !
 +---------+  +---------+  +---------+
      !
      V
      :
      :
      !
      V
 +---------+  +---------+  +---------+
 ! Rule    !->! Match   !->! Target  !
 +---------+  +---------+  +---------+
      !
      V
 +---------+
 ! Default !
 ! Target  !
 +---------+

简单介绍下如上的常见概念:

  • Match,用于匹配规则,例如采集指标名称以及当前采集的值,通常规则使用 match_ 插件,不过在使用前需要提前加载。
  • Target,就是将要执行的一些操作,插件以 target_ 开头。
  • Rule,零到多个 match 规则以及至少一个 target 组成 rule ,如果没有规则对所有的值匹配。
  • Chain,包括了一系列的 rule 以及可能的默认目标,会按照规则进行匹配,如果满足则指定 target 执行。

Chain 规则,目前只支持 Pre-Chain 和 Post-Chain 两种,在配置文件中可通过 PreCacheChain、PostCacheChain 用于配置 filter-chain 功能。

示例

一个简单的示例如下。

PostCacheChain "PostCache"
<Chain "PostCache">
  <Rule "ignore_mysql_show">
    <Match "regex">
      Plugin "^mysql$"
      Type "^mysql_command$"
      TypeInstance "^show_"
    </Match>
    <Target "stop">
    </Target>
  </Rule>
  <Target "write">
    Plugin "rrdtool"
  </Target>
</Chain>

上述的配置中,会忽略 plugin=mysql + type=mysql_command + type_instance=show_ 采集的值,不过需要注意的是,这个操作是在 PostCache 链表中,所以仍然可以通过 unixsock 插件查看采集值。

通讯协议

Collectd 提供了两种协议 Plain text protocol 以及 Binary protocol

Plain text protocol

这一协议目前可以在使用 Exec 执行脚本时使用,或者通过 UnixSock 查看当前 Collectd 服务的状态时使用。注意:一行的请求需要小于 1024 字节,否则报 “Parsing options failed” 错误。

LISTVAL

语法是 LISTVAL ,用于查看当前监控项,会打印出上次采集的时间点。

$ collectdctl -s /tmp/collectd.sock listval
$ echo "LISTVAL" | nc -U /tmp/collectd.sock
$ echo "LISTVAL" | socat - UNIX-CLIENT:/tmp/collectd.sock

GETVAL

语法是 GETVAL Identifier ,获取某个指标的采集值,指标通过上述的标示符 (Identifier) 定义。

$ echo 'GETVAL "localhost/memory/memory-buffered"' | nc -U /tmp/collectd.sock

PUTVAL

语法是 PUTVAL Identifier [OptionList] Valuelist ,用于将某个监控项提交给 Collectd 服务,会自动转给写插件。

  • OptionList: 选项列表,每项通过 KV 表示,目前只支持 interval=seconds 这一模式。
  • Valuelist: 通过冒号分割的时间戳以及值,支持的数据类型有 uint(COUNTER+ABSOLUTE), int(DERIVE), double(GAUGE);对于 GAUGE 可以使用 “U” 标示未定义值,但是不能对 COUNTER 使用 “U”;时间戳采用 UNIX epoch,也可以使用 “N” 表示使用当前时间。
$ echo 'PUTVAL "localhost/load/load" interval=10 N:13:456:5000' | nc -U /tmp/collectd.sock

Thresholds

4.3.0 版本之后,开始支持监控,实际上也就是说不仅支持数据的采集上报,而且会对采集数据进行判断,如果定义的事件发生则会上报。

这一操作主要是通过 threshold 插件完成,然后发送 notification 消息;而其它的插件则可以注册接收该消息并作进一步的处理。

注意,这里没有对采集的数据进行处理,也就是没有做类似移动平均线 (Moving Average) 之类的处理,也就意味着比较敏感,可能会有误报。

如下是一个简单的配置文件。

LoadPlugin "threshold"
<Plugin "threshold">
  <Type "foo">
    WarningMin    0.00
    WarningMax 1000.00
    FailureMin    0.00
    FailureMax 1200.00
    Invert false
    Instance "bar"
  </Type>

  <Plugin "interface">
    Instance "eth0"
    <Type "if_octets">
      FailureMax 10000000
      DataSource "rx"
    </Type>
  </Plugin>

  <Host "hostname">
    <Type "cpu">
      Instance "idle"
      FailureMin 10
    </Type>

    <Plugin "memory">
      <Type "memory">
        Instance "cached"
        WarningMin 100000000
      </Type>
    </Plugin>

    <Type "load">
       DataSource "midterm"
       FailureMax 4
       Hits 3
       Hysteresis 3
    </Type>
  </Host>
</Plugin>

在插件中可以通过 Host Plugin Type 配置块决定需要监控的指标 (注意需要按顺序嵌套),而且 Plugin Type 还可以通过 Instance 决定哪个示例。

RRDTool

Round Robin Database, RRD 适用于存储和时间序列相关的数据,是一种循环使用存储空间的数据库,也就是创建之后其大小已经固定,不再需要维护。

可以通过 rrdtool 保存数据,此时磁盘 IO 可能会成为瓶颈,为此可以使用 RRDCacheD 后台进程。

简介

首先介绍下常见概念。

Primary Data Point, PDP:正常情况下每个周期都会收到一个采集值,然后根据不同的类型计算出一个值,这个计算出的值就是 PDP ;注意,除非是 GAUGE,否则改值不是收到的值。

Consolidation Data Point, CPD:通过定义的 CF 函数,使用多个 PDP 计算出一个 CDP 值并保存在 RRA 中,绘图时就使用这些数据。

创建文件

其中 filename 、DS 部分和 RRA 部分是必须的,其它两个参数可选。

rrdtool create filename [--start|-b start time] [--step|-s step]
    [DS:variable_name:DST:heartbeat:min:max]
    [RRA:CF:xff:step:rows]

参数解析:
  --step NUM
    预计多久收到一个值,默认是5分钟,与MRTG中的interval相同;
  --start TIMESTAMP
    给出第一个记录的起始时间,小于等于该时间的数据不保存,例如指定为一天前--start $(date -d '1 days ago' +%s);
  DS:variable_name:DST:heartbeat:min:max
    用于定义 Data Soure Name,常见有eth0_in, eth0_out,一般为1-19个字符,必须是0-9,a-z,A-Z;
    以及数据类型(Data Source Type, DST),包括了COUNTER、GUAGE、DERIVE、ABSOLUTE、COMPUTE 5 种:
      COUNTER
        必须是递增的,除非是计数器溢出 (overflows) 此时会自动修改收到的值;这也是最常见的类型,例如网络接口流量。
      DERIVE
        和 COUNTER 类似,但可以是递增,也可以递减,例如数据库的链接数。
      ABSOLUTE
        会计算斜率,每次都会假设其前一个值是 0,类似于每次读取监控数据后统计值自动清零。
      GAUGE
        没有上述的平均值概念,收到后原样保存。
      COMPUTE
        这一类型比较特殊,它并不接受输入,而是定义一个表达式,通过引用其它 DS 并自动计算出值。
  RRA:CF:xff:step:rows
    RRA定义了数据如何存放,可以把一个 RRA 看成一个表,各保存不同 interval 的统计结果。
    Consolidation Function, CF 也就是指定的合并功能函数,有 AVERAGE、MAX、MIN、LAST 四种,分别表
    示对多个PDP取平均、最大值、最小值、当前值四种类型。
    xfile factor 取值范围是 0~1 ,表示一个范围内采样值为 UNKNOWN 值比率超过多少就会将聚合值设置为UNKNOWN;
    例如 RRA:AVERAGE:0.5:24:600 ,当 PDP 中有超过 12 值为 UNKNOWN 时该聚合的值就是 UNKNOWN 。

----- 创建文件
$ rrdtool create eth0.rrd \
    --start $(date –d '1 days ago' +%s) \    # 保存一天的数据
    --step 300 \                             # 采集时间间隔为5min
    DS:eth0_in:COUNTER:600:0:12500000 \      # 600 是 heartbeat;0 是最小值;12500000 表示最大值;
    DS:eth0_out:COUNER:600:0:12500000 \      # 如果没有最小值/最大值,可以用 U 代替,例如 U:U
    RRA:AVERAGE:0.5:1:600 \                  # 1表示对1个PDP取平均,实际上就等于PDP的值
    RRA:AVERAGE:0.5:4:600 \                  # 4表示每4个PDP合成为一个CDP,也就是20分钟,方法是对4个PDP取平均
    RRA:AVERAGE:0.5:24:600 \                 # 同上,也就是24*5=120分钟=2小时
    RRA:AVERAGE:0.5:288:730                  # 同上,也就是 288*5=1440分钟=1天

----- 查看文件信息,主要包括了创建时的信息,例如DS、RRA等
$ rrdtool info eth0.rrd

----- 查看最近一次,第一次更新时间
$ rrdtool last eth0.rrd |xargs -i date -d '1970-01-01 {} sec utc'
$ rrdtool first eth0.rrd |xargs -i date -d '1970-01-01 {} sec utc'

关于 heartbeat ,如上,如果在 300 秒内没有收到数据,那么就再等待 heartbeat-step=300 秒,如果还没有收到则设置为 UNKNOWN 。

更新数据

$ rrdtool {update | updatev} filename
    [--template|-t ds-name[:ds-name]...]
    N|timestamp:value[:value...]
    at-timestamp@value[:value...]
    [timestamp:value[:value...] ...]

----- 更新一个值,需要注意时间戳要大于最近更新的时间,DS数目要保持一致
$ rrdtool update eth0.rrd 1479477014:1:15

----- 两个命令类似,不过会回显写入的结果,类似upate verbose
$ rrdtool updatev eth0.rrd 1479477014:1:15

时间定义比较灵活,可以是 N(date +%s) AT(man 1 at) 两种格式,可以通过 date -d '2016-11-18 21:50:14' +%s 获取时间戳。

获取数据

rrdtool fetch filename CF [--resolution|-r resolution] [--start|-s start] [--end|-e end]

----- 最简单方式
$ rrdtool fetch eth0.rrd AVERAGE
----- 指定范围,可以用AT方式
$ rrdtool fetch eth0.rrd AVERAGE --start end-1day --end 1164553800
----- 指定resolution,如果不存在则使用>=该值的最小值,不过需要保证改值为resolution的整数倍
$ rrdtool fetch eth0.rrd AVERAGE -r 1200 --end $((($(date +%s)/1200)*1200))

默认 --end 是 now ,--start 是 end-1day ,也就是 1 天前;指定的 CF 类型需要保证建库时有该 CF 类型的 RRA 才可以。通常一个文件中包含了多个 RRA ,那么其选择条件如下:

  1. 该 RRA 必须要满足所请求时间范围,例如,查看两天的数据,如果一个 RRA 保存了一天,那么肯定不会选择该 RRA 。
  2. 如果多个 RRA 满足,除非指定 resolution ,否者会选择 resolution 最小的一个。

RRDTool 插件

在 RRDTool 插件中,比较核心的配置分为了两部分:A) 如何创建文件;B) 如何写文件。

LoadPlugin rrdtool
<Plugin rrdtool>
  DataDir Directory       # 指定数据保存目录,默认会保存在BaseDir目录下
  CreateFilesAsync false  # 如果需要创建几百个文件可以设置为异步,此时在文件创建完成前的数据将会丢弃,
                          #     如果同步则会阻塞
  StepSize Seconds        # 设置RRD文件的step,默认会从上报的数据中选择step,建议不要设置
  HeartBeat Seconds       # 一般设置为step的两倍,同样不建议设置
  RRARows NumRows         # 默认是1200,一般保存15个RRA,是MIN, AVERAGE, MAX与hour, day, week, month,
                          #     year的组合,计算方式为PDPs=timespan/(stepsize*rrarows)
  RRATimespan Seconds     # 手动设置范围,可以配置多次,单位是秒;如果没有配置默认是(3600, 86400,
                          #     604800, 2678400, 31622400)
  XFF Factor              # 设置XFiles Factor参数,默认是0.1,范围是[0.0-1.0)

  CacheFlush Seconds      # 当设置了缓存时,每次接收到新值时,如果超过了这里设置的时间,就会检查所有
                          #     的采集值;适用于部分指标由于异常一直没有更新,导致始终保存在缓存中,
                          #     因为消耗资源比较大,建议设置为较大的值,如900、7200秒。
  CacheTimeout Seconds    # 大于0时会将值缓存到内存中,如果缓存的时间差超过改值,则放入到update queue队列中
  WritesPerSecond Updates # 如果采集的指标比较多,可能会一直在刷新,那么如果此时有 IO 操作,那么可能会
                          #     导致阻塞。为此,可以通过该参数限制每秒更新的次数,从而不会造成过大的磁
                          #     盘压力,建议设置为 25~80;此时也可以根据 RRD 文件数,大致评估一次刷新锁
                          #     消耗的时间。
  RandomTimeout Seconds   # 选择随机的时间,其范围是 CacheTimeout-RandomTimeout ~ CacheTimeout+RandomTimeout ,
                          #     用于防止由于同一间隔导致峰值。
</Plugin>

关于 RRDTool 插件,可以参考 Inside the RRDtool plugin

简言之,如果有很多个监控指标,那么直接更新到磁盘时,就会导致大量的小文件+随机写,将严重影响到 HDD 甚至 SSD 的写入性能。

collectd rrdtool plugin

更新一个值时,一般为 8 Bytes,为了更新该值需要读取 512B(HDD)、16KB(SSD) 字节,在内存中修改对应的值,然后再写入内存,显然这将严重影响到磁盘 IO 性能,为此需要将多个指标合并写入磁盘。

通过一个平衡二叉树,每个节点是采集值或者 RRD 文件,每次收到一个采集值后会与最老的值比较时间戳,如果超过了设置的超时时间,那么该节点就被放 update queue 中。如果一个新写入的值已经在 update queue 队列中了,那么新值会直接写入到 update queue 中相应的节点。

collectd-web

直接从 github collectd-web 上下载即可,在配置文件 /etc/collectd/collection.conf 中指定 datadir 目录,也就是 rrd 保存的目录;例如:

datadir: "/etc/collectd/collectd-web/"

然后,通过如下方式运行即可。

./runserver.py 0.0.0.0 8989

No DS

对于 No DS called 'contextswitches' in 之类的报错,其原因是在 collection.modified.cgi 文件中的 load_graph_definitions() 写死;解决方法是先通过 rrdtool info filename 查看是否存在对应的 DS name 是否存在,一般类似:

ds[value].index = 0
ds[value].type = "DERIVE"
ds[value].minimal_heartbeat = 2
ds[value].min = 0.0000000000e+00
ds[value].max = NaN
ds[value].last_ds = "6950152000"
ds[value].value = 0.0000000000e+00
ds[value].unknown_sec = 0

其中的 value 就是所谓的 DS name 。

常用插件

tail

主要用于日志文件。

参考

关于告警可以参考 Collectd Thresholds and alerting



如果喜欢这里的文章,而且又不差钱的话,欢迎打赏个早餐 ^_^

About This Blog

Recent Posts

Categories

Related Links

  • RTEMS
    RTEMS
  • GNU
  • Linux Kernel
  • Arduino

Search


This Site was built by Jin Yang, generated with Jekyll, and is hosted on GitHub Pages
©2013-2017 – Jin Yang