求问如何用 Python 读取 Kafka topic 最新一条数据的 timestamp

我想要读 Kafka topic 最新一条数据的时间戳,然后用这个时间戳在 vertica 里头做为 partition 的依据。不过现在的问题是,使用seek_to_end()之后,就陷入到死循环了,一条数据也没放出来,我觉得应该能放出最后一条消息的啊?请问我哪里弄错了?

这是我的代码:


topic: str = \'mytopic\'
broker: str = \'myserver\'

consumer = KafkaConsumer(
    bootstrap_servers=[broker],
    enable_auto_commit=True
)

tp = TopicPartition(topic, 0)
consumer.assign([tp])
consumer.poll()
consumer.seek_to_end()

for message in consumer:
    print(message.timestamp)
    print(message)

consumer.close()

相关文章

One thought on “求问如何用 Python 读取 Kafka topic 最新一条数据的 timestamp

  1. 我又试了下,可以看到 offset,诡异啊。。。照理说能看到 offset 不就应该能够看到消息吗?还是我理解错了。

  2. 我搞定了我,原来 seek_to_end()之后他给我的是最后一个 offset+1,那我的 Kafka 此时并没有接受新的消息,那肯定是不会显示任何东西了,我只需要把 offset-1 然后再 seek 即可。

发表评论

电子邮件地址不会被公开。 必填项已用*标注