zhuqi-lucas commented on PR #17105: URL: https://github.com/apache/datafusion/pull/17105#issuecomment-3174569793
> ๐ค the new kernel seems to slow down. I wonder if the overhead of precisely sized output batches is causing the issue Good point @alamb , i agree this is the only difference. I can add a test PR to make upstream do not generate precisely sized output batches, but when we ensure capacity, it seems we need to make the size change since we do not keep the same target size for this change. The latest benchmark seems a little better. > ๐ค: Benchmark completed > > Details > > ``` > Comparing HEAD and revive_to_use_upstream_arrow_coalesce > -------------------- > Benchmark tpch_mem_sf1.json > -------------------- > โโโโโโโโโโโโโโโโณโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโ > โ Query โ HEAD โ revive_to_use_upstream_arrow_coalesce โ Change โ > โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ > โ QQuery 1 โ 95.61 ms โ 92.56 ms โ no change โ > โ QQuery 2 โ 20.85 ms โ 22.44 ms โ 1.08x slower โ > โ QQuery 3 โ 31.93 ms โ 36.28 ms โ 1.14x slower โ > โ QQuery 4 โ 18.15 ms โ 19.48 ms โ 1.07x slower โ > โ QQuery 5 โ 48.85 ms โ 53.88 ms โ 1.10x slower โ > โ QQuery 6 โ 12.03 ms โ 11.62 ms โ no change โ > โ QQuery 7 โ 88.27 ms โ 93.17 ms โ 1.06x slower โ > โ QQuery 8 โ 24.33 ms โ 24.10 ms โ no change โ > โ QQuery 9 โ 53.84 ms โ 55.02 ms โ no change โ > โ QQuery 10 โ 40.33 ms โ 41.29 ms โ no change โ > โ QQuery 11 โ 11.20 ms โ 11.65 ms โ no change โ > โ QQuery 12 โ 29.78 ms โ 29.46 ms โ no change โ > โ QQuery 13 โ 25.89 ms โ 26.05 ms โ no change โ > โ QQuery 14 โ 9.66 ms โ 10.02 ms โ no change โ > โ QQuery 15 โ 19.14 ms โ 18.82 ms โ no change โ > โ QQuery 16 โ 17.42 ms โ 17.74 ms โ no change โ > โ QQuery 17 โ 96.53 ms โ 95.86 ms โ no change โ > โ QQuery 18 โ 179.04 ms โ 179.63 ms โ no change โ > โ QQuery 19 โ 24.01 ms โ 26.11 ms โ 1.09x slower โ > โ QQuery 20 โ 31.57 ms โ 33.97 ms โ 1.08x slower โ > โ QQuery 21 โ 139.56 ms โ 151.41 ms โ 1.08x slower โ > โ QQuery 22 โ 13.78 ms โ 14.77 ms โ 1.07x slower โ > โโโโโโโโโโโโโโโโดโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโ > โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโ > โ Benchmark Summary โ โ > โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ > โ Total Time (HEAD) โ 1031.76ms โ > โ Total Time (revive_to_use_upstream_arrow_coalesce) โ 1065.32ms โ > โ Average Time (HEAD) โ 46.90ms โ > โ Average Time (revive_to_use_upstream_arrow_coalesce) โ 48.42ms โ > โ Queries Faster โ 0 โ > โ Queries Slower โ 9 โ > โ Queries with No Change โ 13 โ > โ Queries with Failure โ 0 โ > โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโ > ``` -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: github-unsubscr...@datafusion.apache.org For queries about this service, please contact Infrastructure at: us...@infra.apache.org --------------------------------------------------------------------- To unsubscribe, e-mail: github-unsubscr...@datafusion.apache.org For additional commands, e-mail: github-h...@datafusion.apache.org
