文档

将事件发布到 PostgreSQL

MinIO 支持将 存储桶通知 事件发布到 PostgreSQL。MinIO 仅支持 PostgreSQL 9.5 及以上版本。

向 MinIO 部署添加 PostgreSQL 端点

以下过程将为 MinIO 部署新增一个 PostgreSQL 服务端点,以支持 存储桶通知

前提条件

PostgreSQL 9.5 及以上版本

MinIO 依赖 PostgreSQL 9.5 引入的特性。

MinIO mc 命令行工具

此过程中的某些操作需要使用 mc 命令行工具。 安装说明参见 mc 快速入门

1) 向 MinIO 添加 PostgreSQL 端点

你可以使用环境变量 运行时配置设置来配置新的 PostgreSQL 服务端点。

MinIO 支持使用 环境变量 指定 PostgreSQL 服务端点及其相关 配置设置。minio server 进程会在下次启动时应用这些设置。

下面的示例代码设置了与配置 PostgreSQL 服务端点相关的 全部 环境变量。 最低 必需 的变量如下:

   export MINIO_NOTIFY_POSTGRES_ENABLE_<IDENTIFIER>="on"
   export MINIO_NOTIFY_POSTGRES_CONNECTION_STRING_<IDENTIFIER>="host=postgresql-endpoint.example.net port=4222"
   export MINIO_NOTIFY_POSTGRES_TABLE_<IDENTIFIER>="minioevents"
   export MINIO_NOTIFY_POSTGRES_FORMAT_<IDENTIFIER>="namespace|access"
   export MINIO_NOTIFY_POSTGRES_MAX_OPEN_CONNECTIONS_<IDENTIFIER>="2"
   export MINIO_NOTIFY_POSTGRES_QUEUE_DIR_<IDENTIFIER>="/opt/minio/events"
   export MINIO_NOTIFY_POSTGRES_QUEUE_LIMIT_<IDENTIFIER>="100000"
   export MINIO_NOTIFY_POSTGRES_COMMENT_<IDENTIFIER>="PostgreSQL Notification Event Logging for MinIO"
  • <IDENTIFIER> 替换为 PostgreSQL 服务端点的唯一描述性字符串。 对于与新目标服务端点相关的所有环境变量,请使用相同的 <IDENTIFIER> 值。 以下示例假定标识符为 PRIMARY

    如果指定的 <IDENTIFIER> 与 MinIO 部署上现有的 PostgreSQL 服务 端点匹配,则新设置会 覆盖 该端点的现有设置。使用 mc admin config get notify_postgres 查看 MinIO 部署当前配置的 PostgreSQL 端点。

  • <ENDPOINT> 替换为 PostgreSQL 服务端点的 PostgreSQL 连接字符串。MinIO 支持连接字符串使用 key=value 格式。 例如:

    "host=https://postgresql.example.com port=5432 ..."

    有关受支持的 PostgreSQL 连接字符串参数的完整文档,请参见 PostgreSQL 连接字符串

各环境变量的完整文档请参见 用于存储桶通知的 PostgreSQL 服务

MinIO 支持在正在运行的 minio server 进程上,使用 mc admin config set 命令和 notify_postgres 配置键 来新增或更新 PostgreSQL 端点。你必须重启 minio server 进程, 才能应用任何新增或更新的配置设置。

下面的示例代码设置了与配置 PostgreSQL 服务端点相关的 全部 设置。 最低 必需 的设置如下:

mc admin config set ALIAS/ notify_postgres:IDENTIFIER \
   connection_string="ENDPOINT" \
   table="<string>" \
   format="<string>" \
   max_open_connections="<string>" \
   queue_dir="<string>" \
   queue_limit="<string>" \
   comment="<string>"
  • IDENTIFIER 替换为 PostgreSQL 服务端点的唯一描述性字符串。 本过程后续示例假定标识符为 PRIMARY

    如果指定的 IDENTIFIER 与 MinIO 部署上现有的 PostgreSQL 服务端点 匹配,则新设置会 覆盖 该端点的现有设置。使用 mc admin config get notify_postgres 查看 MinIO 部署当前配置的 PostgreSQL 端点。

  • <ENDPOINT> 替换为 PostgreSQL 服务端点的 PostgreSQL URI 连接字符串。 MinIO 支持 PostgreSQL 连接字符串使用 key=value 格式。例如:

    "host=https://postgresql.example.com port=5432 ..."

    有关受支持的 PostgreSQL 连接字符串参数的完整文档,请参见 PostgreSQL 连接字符串

各设置的完整文档请参见 PostgreSQL 存储桶通知配置设置

1) 重启 MinIO 部署

你必须重启 MinIO 部署才能应用配置更改。 使用 mc admin service restart 命令重启该部署。

mc admin service restart ALIAS

ALIAS 替换为要重启的部署的 别名

minio server 进程在启动时会为每个已配置的 PostgreSQL 目标输出一行内容, 类似如下:

SQS ARNs: arn:minio:sqs::primary:postgresql

当将关联的 PostgreSQL 部署作为目标配置存储桶通知时,你必须指定该 ARN 资源。

识别存储桶通知的 ARN

此前创建端点时,你已定义 <IDENTIFIER>,用于分配给存储桶通知目标 ARN。 以下步骤会返回该部署上已配置的 ARN。 请通过查找你指定的 <IDENTIFIER> 来识别此前创建的 ARN。

查看 JSON 输出

  1. 复制并运行以下命令,将 ALIAS 替换为该部署的 别名

    mc admin info --json ALIAS
    
  2. 在 JSON 输出中,查找 info.sqsARN 键。

    你需要的 ARN 就是该键中与所指定 <IDENTIFIER> 匹配的那个值。

    例如,arn:minio:sqs::primary:postgresql

使用 jq 从 JSON 中解析该值

  1. 安装 jq

  2. 复制并运行以下命令,将 ALIAS 替换为该部署的 别名

    mc admin info --json ALIAS | jq  .info.sqsARN
    

    该命令会返回用于通知的 ARN,例如 arn:minio:sqs::primary:postgresql

3) 将 PostgreSQL 端点作为目标配置存储桶通知

使用 mc event add 命令新增一个以已配置 PostgreSQL 服务为目标的 存储桶通知事件:

mc event add ALIAS/BUCKET arn:minio:sqs::primary:postgresql \
  --event EVENTS
  • ALIAS 替换为 MinIO 部署的 别名

  • BUCKET 替换为要配置该事件的存储桶名称。

  • EVENTS 替换为以逗号分隔的 事件 列表,MinIO 将在这些事件发生时触发通知。

使用 mc event ls 查看给定通知目标当前配置的所有存储桶事件:

mc event ls ALIAS/BUCKET arn:minio:sqs::primary:postgresql

4) 验证已配置的事件

对你为其配置了新事件的存储桶执行一个操作,并检查 PostgreSQL 服务中的通知数据。 所需执行的操作取决于配置存储桶通知时指定了哪些 事件

例如,如果存储桶通知配置包含 s3:ObjectCreated:Put 事件,则可以使用 mc cp 命令在存储桶中新建对象并触发通知。

mc cp ~/data/new-object.txt ALIAS/BUCKET

在 MinIO 部署中更新 PostgreSQL 端点

以下过程将更新 MinIO 部署中现有的 PostgreSQL 服务端点,以支持 存储桶通知

前提条件

PostgreSQL 9.5 及以上版本

MinIO 依赖 PostgreSQL 9.5 引入的特性。

MinIO mc 命令行工具

此过程中的某些操作需要使用 mc 命令行工具。 安装说明参见 mc 快速入门

1) 列出部署中已配置的 PostgreSQL 端点

使用 mc admin config get 命令列出部署中当前已配置的 PostgreSQL 服务端点:

mc admin config get ALIAS/ notify_postgres

ALIAS 替换为 MinIO 部署的 别名

命令输出类似如下:

notify_postgres:primary queue_dir="" connection_string="postgresql://" queue_limit="0"  table="" format="namespace"
notify_postgres:secondary queue_dir="" connection_string="" queue_limit="0"  table="" format="namespace"

notify_postgres 键是 PostgreSQL 通知设置 的顶层配置键。 connection_string 键为给定的 notify_postgres 键指定 PostgreSQL 服务端点。 notify_postgres:<IDENTIFIER> 后缀描述该 PostgreSQL 服务端点的唯一标识符。

记下你要更新的 PostgreSQL 服务端点标识符,以便下一步使用。

2) 更新 PostgreSQL 端点

使用 mc admin config set 命令设置 PostgreSQL 服务端点的新配置:

mc admin config set ALIAS/ notify_postgres:IDENTIFIER \
   connection_string="ENDPOINT" \
   table="<string>" \
   format="<string>" \
   max_open_connections="<string>" \
   queue_dir="<string>" \
   queue_limit="<string>" \
   comment="<string>"

以下配置设置是 PostgreSQL 服务端点的 最低 必需项:

其他所有配置设置均为 可选。 完整的 PostgreSQL 配置设置列表请参见 PostgreSQL 通知设置

3) 重启 MinIO 部署

你必须重启 MinIO 部署才能应用配置更改。 使用 mc admin service restart 命令重启该部署。

mc admin service restart ALIAS

ALIAS 替换为要重启的部署的 别名

minio server 进程在启动时会为每个已配置的 PostgreSQL 目标输出一行内容, 类似如下:

SQS ARNs: arn:minio:sqs::primary:postgresql

4) 验证变更

对某个使用已更新 PostgreSQL 服务端点进行事件配置的存储桶执行操作,并检查 PostgreSQL 服务中的通知数据。所需执行的操作取决于配置存储桶通知时指定了哪些 事件

例如,如果存储桶通知配置包含 s3:ObjectCreated:Put 事件,则可以使用 mc cp 命令在存储桶中新建对象并触发通知。

mc cp ~/data/new-object.txt ALIAS/BUCKET