nzw921rx commented on issue #10993: URL: https://github.com/apache/seatunnel/issues/10993#issuecomment-4667321340
> > [@HuangZL-github](https://github.com/HuangZL-github) Hello, does this question seem to have nothing to do with the issue in question? > > 上面kafka的问题已经找到了，现象是这样的：如果使用seatunnel的kafka sink组件，semantics设置为EXACTLY_ONCE，将数据sink到topic A中；那另一个任务使用KAFKA的source组件读取topic A中数据就会想上述描述一样读取不到，这边将semantics设置为AT_LEAST_ONCE，那另一个任务使用KAFKA的source组件读取topic A中数据就能正常执行完。这个问题我不知道是不是bug，现在我这边是将semantics都设为了AT_LEAST_ONCE； > > 下面这段话我只是想确认一下是不是这样的： 【针对生产环境，worker服务器的slot正常一般都设置为CPU核数的2倍，若离线任务确实越来越多的情况下，要么增加现有worker服务器的cpu核数，要么新增worker节点，瓶颈是不是在worker上，而不是master节点上，现在情况是任务越来越多，能执行完，但是执行完的时间越来越长，比如任务少的时候一个任务10s执行完，现在任务多了，相同任务执行完要好几分钟，主要卡在任务已经提交完后面那个阶段。】 @HuangZL-github Thank you for your reply. Can it be set as a dynamic slot? Continue to observe -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: [email protected] For queries about this service, please contact Infrastructure at: [email protected]
