ahmed-mez commented on PR #19562: URL: https://github.com/apache/datafusion/pull/19562#issuecomment-3716242926
This is the comparison output and it's not great ๐ At first glance mainly topk queries are impacted by the perf regression ``` Comparing main and ahmed_long-poll-take-2 -------------------- Benchmark clickbench_partitioned.json -------------------- โโโโโโโโโโโโโโโโณโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโโโโ โ Query โ main โ ahmed_long-poll-take-2 โ Change โ โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ โ QQuery 0 โ 0.87 ms โ 0.82 ms โ +1.06x faster โ โ QQuery 1 โ 8.58 ms โ 8.22 ms โ no change โ โ QQuery 2 โ 29.57 ms โ 28.78 ms โ no change โ โ QQuery 3 โ 27.93 ms โ 24.25 ms โ +1.15x faster โ โ QQuery 4 โ 185.18 ms โ 289.26 ms โ 1.56x slower โ โ QQuery 5 โ 253.48 ms โ 2514.65 ms โ 9.92x slower โ โ QQuery 6 โ 0.90 ms โ 0.85 ms โ +1.06x faster โ โ QQuery 7 โ 8.87 ms โ 9.46 ms โ 1.07x slower โ โ QQuery 8 โ 215.91 ms โ 535.34 ms โ 2.48x slower โ โ QQuery 9 โ 352.77 ms โ 351.77 ms โ no change โ โ QQuery 10 โ 59.07 ms โ 66.03 ms โ 1.12x slower โ โ QQuery 11 โ 70.65 ms โ 74.87 ms โ 1.06x slower โ โ QQuery 12 โ 246.81 ms โ 2539.77 ms โ 10.29x slower โ โ QQuery 13 โ 335.89 ms โ 955.45 ms โ 2.84x slower โ โ QQuery 14 โ 221.80 ms โ 332.14 ms โ 1.50x slower โ โ QQuery 15 โ 207.82 ms โ 454.78 ms โ 2.19x slower โ โ QQuery 16 โ 455.08 ms โ 2316.21 ms โ 5.09x slower โ โ QQuery 17 โ 441.56 ms โ 1630.44 ms โ 3.69x slower โ โ QQuery 18 โ 898.82 ms โ 9670.17 ms โ 10.76x slower โ โ QQuery 19 โ 20.34 ms โ 21.70 ms โ 1.07x slower โ โ QQuery 20 โ 470.21 ms โ 480.47 ms โ no change โ โ QQuery 21 โ 507.89 ms โ 523.32 ms โ no change โ โ QQuery 22 โ 827.85 ms โ 813.45 ms โ no change โ โ QQuery 23 โ 2344.75 ms โ 2317.04 ms โ no change โ โ QQuery 24 โ 52.42 ms โ 52.83 ms โ no change โ โ QQuery 25 โ 113.44 ms โ 109.39 ms โ no change โ โ QQuery 26 โ 53.71 ms โ 53.89 ms โ no change โ โ QQuery 27 โ 581.05 ms โ 572.82 ms โ no change โ โ QQuery 28 โ 5174.20 ms โ 5402.70 ms โ no change โ โ QQuery 29 โ 221.13 ms โ 221.62 ms โ no change โ โ QQuery 30 โ 216.52 ms โ 293.76 ms โ 1.36x slower โ โ QQuery 31 โ 228.53 ms โ 386.75 ms โ 1.69x slower โ โ QQuery 32 โ 1214.74 ms โ 11660.79 ms โ 9.60x slower โ โ QQuery 33 โ 1108.52 ms โ FAIL โ incomparable โ โ QQuery 34 โ 1164.78 ms โ 29807.41 ms โ 25.59x slower โ โ QQuery 35 โ 294.71 ms โ 837.63 ms โ 2.84x slower โ โ QQuery 36 โ 31.74 ms โ 41.91 ms โ 1.32x slower โ โ QQuery 37 โ 21.16 ms โ 24.12 ms โ 1.14x slower โ โ QQuery 38 โ 32.40 ms โ 33.90 ms โ no change โ โ QQuery 39 โ 52.27 ms โ 51.59 ms โ no change โ โ QQuery 40 โ 9.27 ms โ 8.25 ms โ +1.12x faster โ โ QQuery 41 โ 8.02 ms โ 7.70 ms โ no change โ โ QQuery 42 โ 6.86 ms โ 6.72 ms โ no change โ โโโโโโโโโโโโโโโโดโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโโโโ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโณโโโโโโโโโโโโโ โ Benchmark Summary โ โ โกโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฉ โ Total Time (main) โ 17669.59ms โ โ Total Time (ahmed_long-poll-take-2) โ 75533.04ms โ โ Average Time (main) โ 420.70ms โ โ Average Time (ahmed_long-poll-take-2) โ 1798.41ms โ โ Queries Faster โ 4 โ โ Queries Slower โ 21 โ โ Queries with No Change โ 17 โ โ Queries with Failure โ 1 โ โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโดโโโโโโโโโโโโโ ``` -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: [email protected] For queries about this service, please contact Infrastructure at: [email protected] --------------------------------------------------------------------- To unsubscribe, e-mail: [email protected] For additional commands, e-mail: [email protected]
