sunxiaojian commented on issue #180: URL: https://github.com/apache/rocketmq-connect/issues/180#issuecomment-1171914194
> > > > @sunxiaojian 先来说一下引入这两个接口的背景，我需要自己维护offset，目前对于WorkerSourceTask发送异常的情况，是没有任何机制通知到SourceConnector的，如果要自己维护offset，是通过消费内部offset的消息来实现吗？ 对于exactly once的问题，是需要外部存储来记录，从而来保证刚好一次，如果需要实现刚好一次的逻辑，dismissFailedMsgs 和 customerFailedMsg同样可以访问这个外部存储实现； 对于顺序性保证的问题，现在的实现同样不能保证顺序，如果需要实现保序，当发送失败时需要阻塞住，dismissFailedMsgs 和 customerFailedMsg也不会造成干扰，主要看这两个方法在WorkerSourceTask是什么时候被调用的。 问题一：对于自己维护offset， 不需要消费offset消息，你可以自己通过new OffsetStorageWriter()实现,自定义的offset放进去; 问题二：exactly once问题尽量让系统来保证，尽量通过系统offset来保证，如果不满足可以对其进行改进 问题三：对于顺序性保证的问题，如果系统不能保证需要对系统内进行优化，首先要系统保证，如果系统保证了是不是就不需要了加方法了？ -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: [email protected] For queries about this service, please contact Infrastructure at: [email protected]
