Skip to main content
Version: 2.14

error-log-logger

描述#

error-log-logger 是用于按用户设定的 log 级别对 APISIX 的 error.log 进行筛选,继而将筛选的数据发送到 TCP 服务或者 Apache SkyWalking 的插件。

以实现将 error.log 中的数据进行筛选并发送到监控工具或其它 TCP 服务,和通过 HTTP 发送到 SkyWalking 的能力。

该插件提供了将日志数据作为批处理推送到外部 TCP 服务器的功能。如果您没有收到日志数据,不用担心,它会在我们的批处理处理器中的计时器功能到期后自动发送日志。

有关 Apache APISIX 中 Batch-Processor 的更多信息,请参考。 Batch-Processor

属性#

名称类型必选项默认值有效值描述
tcp.hoststring必须TCP 服务的 IP 地址或主机名
tcp.portinteger必须[0,...]目标端口
tcp.tlsboolean可选false用于控制是否执行 SSL 验证
tcp.tls_server_namestring可选TLS 服务名称标记
skywalking.endpoint_addrstring可选http://127.0.0.1:12900/v3/logsSkywalking 的 HTTP endpoint 地址,例如:http://127.0.0.1:12800
skywalking.service_namestring可选APISIXskywalking 上报的 service 名称
skywalking.service_instance_nameString可选APISIX Instance Nameskywalking 上报的 service 实例名,如果期望直接获取本机主机名则设置为 $hostname
clickhouse.endpoint_addrString可选http://127.0.0.1:8213clickhouse 的 HTTP endpoint 地址,例如 http://127.0.0.1:8213
clickhouse.userString可选defaultclickhouse 的用户名
clickhouse.passwordString可选clickhouse 的密码
clickhouse.databaseString可选clickhouse 的用于接收 log 的数据库
clickhouse.logtableString可选clickhouse 的用于接收 log 的表
hoststring可选(弃用,替换成tcp.host) TCP 服务的 IP 地址或主机名
portinteger可选[0,...](弃用,替换成tcp.port) 目标端口
tlsboolean可选false(弃用,替换成tcp.tls) 用于控制是否执行 SSL 验证
tls_server_namestring可选(弃用,替换成tcp.tls_server_name) TLS 服务名称标记
timeoutinteger可选3[1,...]连接和发送数据超时间(以秒为单位)
keepaliveinteger可选30[1,...]复用连接时,连接保持的时间(以秒为单位)
levelstring可选WARN进行错误日志筛选的级别,缺省 WARN,取值 ["STDERR", "EMERG", "ALERT", "CRIT", "ERR", "ERROR", "WARN", "NOTICE", "INFO", "DEBUG"],其中 ERR 与 ERROR 级别一致

本插件支持使用批处理器来聚合并批量处理条目(日志/数据)。这样可以避免插件频繁地提交数据,默认设置情况下批处理器会每 5 秒钟或队列中的数据达到 1000 条时提交数据,如需了解或自定义批处理器相关参数设置,请参考 Batch-Processor 配置部分。

如何开启和禁用#

本插件属于 APISIX 全局性插件。

开启插件#

conf/config.yaml 中启用插件 error-log-logger 即可,不需要在任何 route 或 service 中绑定。 下面是一个在 conf/config.yaml 中添加插件信息的例子:

plugins:                          # plugin list
... ...
- request-id
- hmac-auth
- api-breaker
- error-log-logger # enable plugin `error-log-logger

禁用插件#

conf/config.yaml 中删除或注释掉插件 error-log-logger 即可。

plugins:                          # plugin list
... ...
- request-id
- hmac-auth
- api-breaker
#- error-log-logger # enable plugin `error-log-logger

如何设置接收日志的 TCP 服务器#

步骤:更新插件属性

curl http://127.0.0.1:9080/apisix/admin/plugin_metadata/error-log-logger -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
"tcp": {
"host": "127.0.0.1",
"port": 1999
},
"inactive_timeout": 1
}'

如何设置接收日志的 SkyWalking OAP 服务器#

步骤:更新插件属性

curl http://127.0.0.1:9080/apisix/admin/plugin_metadata/error-log-logger -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
"skywalking": {
"endpoint_addr": "http://127.0.0.1:12800/v3/logs"
},
"inactive_timeout": 1
}'

如何设置接收日志的 clickhouse 数据库#

插件将 error log 作为一个字符串发送到 clickhouse 表的 data 字段。

TODO 将 error log 作为一个字符串保存到 clickhouse 数据库的 data 字段,未来我们将会增加更多的字段。

步骤:更新插件属性

curl http://127.0.0.1:9080/apisix/admin/plugin_metadata/error-log-logger -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
"clickhouse": {
"user": "default",
"password": "a",
"database": "error_log",
"logtable": "t",
"endpoint_addr": "http://127.0.0.1:8123"
}
}'