Skip to main content
Version: 2.13

clickhouse-logger

描述#

clickhouse-logger 是一个插件,可将Log数据请求推送到clickhouse服务器。

属性列表#

名称类型必选项默认值有效值描述
endpoint_addrstring必须clickhouse 服务器的 endpoint。
databasestring必须使用的数据库。
logtablestring必须写入的表名 。
userstring必须clickhouse的用户。
passwordstring必须clickhouse的密码 。
timeoutinteger可选3[1,...]发送请求后保持连接活动的时间。
namestring可选"clickhouse logger"标识 logger 的唯一标识符。
ssl_verifyboolean可选true[true,false]验证证书。

本插件支持使用批处理器来聚合并批量处理条目(日志/数据)。这样可以避免插件频繁地提交数据,默认设置情况下批处理器会每 5 秒钟或队列中的数据达到 1000 条时提交数据,如需了解或自定义批处理器相关参数设置,请参考 Batch-Processor 配置部分。

如何开启#

这是有关如何为特定路由启用 clickhouse-logger 插件的示例。

curl http://127.0.0.1:9080/apisix/admin/routes/1 -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
"plugins": {
"clickhouse-logger": {
"user": "default",
"password": "a",
"database": "default",
"logtable": "test",
"endpoint_addr": "http://127.0.0.1:8123"
}
},
"upstream": {
"type": "roundrobin",
"nodes": {
"127.0.0.1:1980": 1
}
},
"uri": "/hello"
}'

测试插件#

成功:

$ curl -i http://127.0.0.1:9080/hello
HTTP/1.1 200 OK
...
hello, world

插件元数据设置#

名称类型必选项默认值有效值描述
log_formatobject可选{"host": "$host", "@timestamp": "$time_iso8601", "client_ip": "$remote_addr"}以 JSON 格式的键值对来声明日志格式。对于值部分,仅支持字符串。如果是以 $ 开头,则表明是要获取 APISIX 变量Nginx 内置变量。特别的,该设置是全局生效的,意味着指定 log_format 后,将对所有绑定 http-logger 的 Route 或 Service 生效。

设置日志格式示例#

curl http://127.0.0.1:9080/apisix/admin/plugin_metadata/clickhouse-logger -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
"log_format": {
"host": "$host",
"@timestamp": "$time_iso8601",
"client_ip": "$remote_addr"
}
}'

创建clickhouse log table

CREATE TABLE default.test (
`host` String,
`client_ip` String,
`route_id` String,
`@timestamp` String,
PRIMARY KEY(`@timestamp`)
) ENGINE = MergeTree()

在clickhouse上执行select * from default.test;,将得到类似下面的数据:

┌─host──────┬─client_ip─┬─route_id─┬─@timestamp────────────────┐
127.0.0.1 │ 127.0.0.1 │ 12022-01-17T10:03:10+08:00 │
└───────────┴───────────┴──────────┴───────────────────────────┘

禁用插件#

在插件配置中删除相应的 json 配置以禁用 clickhouse-logger。APISIX 插件是热重载的,因此无需重新启动 APISIX:

$ curl http://127.0.0.1:9080/apisix/admin/routes/1  -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
{
"methods": ["GET"],
"uri": "/hello",
"plugins": {},
"upstream": {
"type": "roundrobin",
"nodes": {
"127.0.0.1:1980": 1
}
}
}'