Kafka消费者基于Offset消费过程.pptxVIP免费

Kafka消费者基于Offset消费过程目录ContentsKafka消费者组的设计消费者根据Offset消费过程消费者消费中遇到的问题手动提交CommitOffset目录Content一个消费者消费Topic，Topic有3个分区，消费者只能按照顺序串行消费，性能较差Kafka消费者组的设计如何不设计消费者组生产者ProducerKafka集群TopicA200万条part0200万条part1200万条part2消费者Consumer生产者生产600万条数据Part0-200万条Part1-200万条Part2-200万条消费者组ConsumerGroup一个消费者组消费一个Topic，Topic有3个分区，消费者组中有3个消费者，三个消费者并行消费分区，性能较高Kafka消费者组的设计构建消费者组，多个消费者并行消费生产者ProducerKafka集群TopicA200万条part0200万条part1200万条part2消费者1Consumer1生产者生产600万条数据消费者2Consumer2消费者3Consumer3目录ContentsKafka消费者组的设计消费者根据Offset消费过程消费者消费中遇到的问题手动提交CommitOffset目录Content生产者不断将数据生产写入Topic的分区中，每个分区写入数据并添加offset消费者根据Offset消费过程生产者第一次生产数据生产者ProducerKafka集群TopicApart0part1part2生产者源源不断的生产KV数据消费者组ConsumerGroup消费者1Consumer1消费者2Consumer2消费者3Consumer3K1V1K2V2K3V3K4V4K5V5……Offset:0-K1V1Offset:1-K4V4Offset:0-K2V2Offset:1-K5V5Offset:0-K3V3消费者消费对应分区的数据，并记录自己当前消费的offset，用于下一次消费请求消费者根据Offset消费过程消费者根据Offset消费数据生产者ProducerKafka集群TopicApart0part1part2生产者源源不断的生产KV数据消费者组ConsumerGroupConsumer1Consumer2Consumer3K1V1K2V2K3V3K4V4K5V5……Offset:0-K1V1Offset:1-K4V4Offset:0-K2V2Offset:1-K5V5Offset:0-K3V3第一次消费从offset为0开始消费Offset:0-K1V1Offset:1-K4V4Offset:0-K2V2Offset:1-K5V5Offset:0-K3V3记录当前消费Offset为：1记录当前消费Offset为：1记录当前消费Offset为：0消费者根据上一次记录的消费Offset+1，向Kafka继续请求消费每个分区下个批次的数据消费者根据Offset消费过程消费者根据Offset消费数据生产者ProducerKafka集群TopicApart0part1part2生产者源源不断的生产KV数据消费者组ConsumerGroupConsumer1Consumer2Consumer3K1V1K2V2K3V3K4V4K5V5……Offset:0-K1V1Offset:1-K4V4Offset:0-K2V2Offset:1-K5V5Offset:0-K3V3下一次消费从...