Cache设置大小为2w,超时时间为2h 实际上整个表大小为3w左右,考虑到整个表实际只有十几兆。我会尝试cache size设置为4w,保证整个表都能装进cache里。看会不会好一点
但是我查到现在怀疑跟savepoint有关: - 如果我设置kafka offset=earliest,不带savepoint重启,flink job启动消费时,lag有5000w左右,但是1分钟内就能达到约7k/s的消费速度。如下图,job在14:31启动,前面的速度特别大是因为offset重置,但是在14:33已经达到7.5k的消费速度 <http://apache-flink.147419.n8.nabble.com/file/t1249/fast.png> - 但是如果带savepoint启动,需要花35min才能达到这个消费速度。如下图 <http://apache-flink.147419.n8.nabble.com/file/t1249/slow.png> -- Sent from: http://apache-flink.147419.n8.nabble.com/
