lizhiboo commented on issue #180: URL: https://github.com/apache/rocketmq-connect/issues/180#issuecomment-1171965715
> > @odbozhou @sunxiaojian 另外还有一个问题可以讨论一下，现在的流程是poll , transform, converter, producer，但是这样性能不高，如果要提高性能，就需要并发的poll，这样就需要自己管理offset了，在WorkerSourceTask在成功或失败时，需要有个机制能通知到SourceConnector做相应的offset管理。 > > 这个流程只是一个task的流程，一个connector下可以包含多个task, 至于怎么组装task，在声明connector taskConfigs时做不同task config组装就可以了, 可以按照自己的需求去进行不同的task config, 来做任务的拆分 这是一个方案，但是从性能角度触发，一个task负责一个队列的情况，一定是poll、transform、converter、producer分别属于不同的线程才能达到最好的效果。 -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: [email protected] For queries about this service, please contact Infrastructure at: [email protected]
