如何分析Pulsar 的消息保留和过期策略「」

K-seo • 2023-11-16 22:24 • 技术教程 • 336 views

Apache Pulsar 是一个高性能、可扩展的分布式消息传递和流处理平台，Pulsar 提供了灵活的消息保留和过期策略，以满足不同场景下的需求，本文将详细介绍如何分析 Pulsar 的消息保留和过期策略。

我们来看一下 Pulsar 的消息保留策略，在 Pulsar 中，有两种消息保留策略：定时删除（Timed deletion）和过期时间（Expiration time）。

1. 定时删除

定时删除是一种简单的消息保留策略，它允许用户设置一个时间间隔，在这个时间间隔之后，消息将被自动删除，这种策略适用于不需要长期存储的消息，例如临时数据或者日志，要设置定时删除策略，可以使用以下命令：

bin/pulsar-admin topics --zookeeper <zookeeper_address>:<zookeeper_port> --topic <topic_name> --set-retention-time-ms <duration_in_milliseconds>

`` 是 ZooKeeper 的地址，`` 是 ZooKeeper 的端口号，`` 是要设置保留策略的主题名称，`` 是消息保留的时间间隔（以毫秒为单位）。

2. 过期时间

过期时间是一种更灵活的消息保留策略，它允许用户为每条消息设置一个过期时间，当消息的过期时间到达时，它将被自动删除，这种策略适用于需要长期存储并且有明确截止日期的消息，要设置过期时间策略，可以使用以下命令：

bin/pulsar-admin topics --zookeeper <zookeeper_address>:<zookeeper_port> --topic <topic_name> --enable-expire-storage-type=persistent --message-ttl <ttl>

`` 是 ZooKeeper 的地址，`` 是 ZooKeeper 的端口号，`` 是要设置过期时间策略的主题名称，`` 是消息的过期时间（以毫秒为单位）。

除了这两种基本的消息保留策略之外，Pulsar 还支持自定义的消息保留策略，要实现自定义的消息保留策略，需要创建一个继承自 `org.apache.pulsar.broker.service.TopicPolicies` 的类，并实现其中的 `getMessageRetentionTimeInMillis()` 方法，使用 `bin/pulsar-admin topics --zookeeper : --topic --set-message-retention-policy-class=` 命令来设置自定义的消息保留策略。