sudufly commented on issue #4735: URL: https://github.com/apache/incubator-seatunnel/issues/4735#issuecomment-1552410636
就是在流模式下工作得不像一个流，像sparkStream ，或者自己写的kafka consumer, 就算只有一个分区有数据也能立马消费到数据，但是seatunnel 的 kafka source 在这种情况下 因为这个默认超时时间的缘故，表现就是每10s消费一次数据，如果所有分区都有数据的话就不会出现这个现象 > > > Do you mean the partition just quits without data? This is a streaming job, right? > > > > > > pollNext 是在一个while 里面执行的，这个方法会等待所有分区poll完成，但是在某种情况下，整个while会被阻塞（POLL_TIMEOUT 10s） 当某个分区没有数据（测试情况，或者某个分区先被消费完但是新数据还没上来），下一个while循环都会等待一个timeout的时间 > > I think this wait is necessary,What do you recommend? 就是在流模式下工作得不像一个流，像sparkStream ，或者自己写的kafka consumer, 就算只有一个分区有数据也能立马消费到数据，但是seatunnel 的 kafka source 在这种情况下 因为这个默认超时时间的缘故，表现就是每10s才能消费一次数据，如果所有分区都有数据的话就不会出现这个现象 -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: [email protected] For queries about this service, please contact Infrastructure at: [email protected]
