coderfender commented on PR #2932:
URL:
https://github.com/apache/datafusion-comet/pull/2932#issuecomment-3667777471
CometCastBenchmarks (primilinary results) :
```
================================================================================================
Running benchmark BOOLEAN)
================================================================================================
OpenJDK 64-Bit Server VM 17.0.16+8-LTS on Mac OS X 16.0
Apple M2 Max
Cast function to : BOOLEAN , ansi mode enabled : true:
Best Time(ms) Avg Time(ms) Stdev(ms) Rate(M/s) Per Row(ns) Relative
---------------------------------------------------------------------------------------------------------------------------------------------------------
SQL Parquet - Spark Cast function to : BOOLEAN , ansi mode enabled : true
230 235 5 45.6 21.9 1.0X
SQL Parquet - Comet Cast function to : BOOLEAN , ansi mode enabled : true
230 233 3 45.6 21.9 1.0X
================================================================================================
Running benchmark BOOLEAN)
================================================================================================
OpenJDK 64-Bit Server VM 17.0.16+8-LTS on Mac OS X 16.0
Apple M2 Max
Cast function to : BOOLEAN , ansi mode enabled : false:
Best Time(ms) Avg Time(ms) Stdev(ms) Rate(M/s) Per Row(ns) Relative
----------------------------------------------------------------------------------------------------------------------------------------------------------
SQL Parquet - Spark Cast function to : BOOLEAN , ansi mode enabled : false
226 229 2 46.4 21.5 1.0X
SQL Parquet - Comet Cast function to : BOOLEAN , ansi mode enabled : false
227 231 7 46.3 21.6 1.0X
================================================================================================
Running benchmark TINYINT)
================================================================================================
OpenJDK 64-Bit Server VM 17.0.16+8-LTS on Mac OS X 16.0
Apple M2 Max
Cast function to : TINYINT , ansi mode enabled : true:
Best Time(ms) Avg Time(ms) Stdev(ms) Rate(M/s) Per Row(ns) Relative
---------------------------------------------------------------------------------------------------------------------------------------------------------
SQL Parquet - Spark Cast function to : TINYINT , ansi mode enabled : true
5 7 1 1998.0 0.5 1.0X
SQL Parquet - Comet Cast function to : TINYINT , ansi mode enabled : true
5 6 1 2147.0 0.5 1.1X
================================================================================================
Running benchmark TINYINT)
================================================================================================
OpenJDK 64-Bit Server VM 17.0.16+8-LTS on Mac OS X 16.0
Apple M2 Max
Cast function to : TINYINT , ansi mode enabled : false:
Best Time(ms) Avg Time(ms) Stdev(ms) Rate(M/s) Per Row(ns) Relative
----------------------------------------------------------------------------------------------------------------------------------------------------------
SQL Parquet - Spark Cast function to : TINYINT , ansi mode enabled : false
220 223 4 47.7 21.0 1.0X
SQL Parquet - Comet Cast function to : TINYINT , ansi mode enabled : false
223 225 1 47.0 21.3 1.0X
================================================================================================
Running benchmark SMALLINT)
================================================================================================
OpenJDK 64-Bit Server VM 17.0.16+8-LTS on Mac OS X 16.0
Apple M2 Max
Cast function to : SMALLINT , ansi mode enabled : true:
Best Time(ms) Avg Time(ms) Stdev(ms) Rate(M/s) Per Row(ns) Relative
----------------------------------------------------------------------------------------------------------------------------------------------------------
SQL Parquet - Spark Cast function to : SMALLINT , ansi mode enabled : true
4 5 1 2501.2 0.4 1.0X
SQL Parquet - Comet Cast function to : SMALLINT , ansi mode enabled : true
4 5 1 2754.8 0.4 1.1X
================================================================================================
Running benchmark SMALLINT)
================================================================================================
OpenJDK 64-Bit Server VM 17.0.16+8-LTS on Mac OS X 16.0
Apple M2 Max
Cast function to : SMALLINT , ansi mode enabled : false:
Best Time(ms) Avg Time(ms) Stdev(ms) Rate(M/s) Per Row(ns) Relative
-----------------------------------------------------------------------------------------------------------------------------------------------------------
SQL Parquet - Spark Cast function to : SMALLINT , ansi mode enabled : false
221 224 2 47.5 21.0 1.0X
SQL Parquet - Comet Cast function to : SMALLINT , ansi mode enabled : false
220 222 3 47.8 20.9 1.0X
================================================================================================
Running benchmark INT)
================================================================================================
OpenJDK 64-Bit Server VM 17.0.16+8-LTS on Mac OS X 16.0
Apple M2 Max
Cast function to : INT , ansi mode enabled : true: Best
Time(ms) Avg Time(ms) Stdev(ms) Rate(M/s) Per Row(ns) Relative
-----------------------------------------------------------------------------------------------------------------------------------------------------
SQL Parquet - Spark Cast function to : INT , ansi mode enabled : true
4 5 2 2815.8 0.4 1.0X
SQL Parquet - Comet Cast function to : INT , ansi mode enabled : true
4 5 1 2854.1 0.4 1.0X
================================================================================================
Running benchmark INT)
================================================================================================
OpenJDK 64-Bit Server VM 17.0.16+8-LTS on Mac OS X 16.0
Apple M2 Max
Cast function to : INT , ansi mode enabled : false: Best
Time(ms) Avg Time(ms) Stdev(ms) Rate(M/s) Per Row(ns) Relative
------------------------------------------------------------------------------------------------------------------------------------------------------
SQL Parquet - Spark Cast function to : INT , ansi mode enabled : false
219 222 2 47.9 20.9 1.0X
SQL Parquet - Comet Cast function to : INT , ansi mode enabled : false
218 228 14 48.1 20.8 1.0X
================================================================================================
Running benchmark BIGINT)
================================================================================================
OpenJDK 64-Bit Server VM 17.0.16+8-LTS on Mac OS X 16.0
Apple M2 Max
Cast function to : BIGINT , ansi mode enabled : true:
Best Time(ms) Avg Time(ms) Stdev(ms) Rate(M/s) Per Row(ns) Relative
--------------------------------------------------------------------------------------------------------------------------------------------------------
SQL Parquet - Spark Cast function to : BIGINT , ansi mode enabled : true
213 217 4 49.2 20.3 1.0X
SQL Parquet - Comet Cast function to : BIGINT , ansi mode enabled : true
209 214 2 50.2 19.9 1.0X
================================================================================================
Running benchmark BIGINT)
================================================================================================
OpenJDK 64-Bit Server VM 17.0.16+8-LTS on Mac OS X 16.0
Apple M2 Max
Cast function to : BIGINT , ansi mode enabled : false:
Best Time(ms) Avg Time(ms) Stdev(ms) Rate(M/s) Per Row(ns) Relative
---------------------------------------------------------------------------------------------------------------------------------------------------------
SQL Parquet - Spark Cast function to : BIGINT , ansi mode enabled : false
215 218 2 48.7 20.6 1.0X
SQL Parquet - Comet Cast function to : BIGINT , ansi mode enabled : false
210 213 2 50.0 20.0 1.0X
================================================================================================
Running benchmark FLOAT)
================================================================================================
OpenJDK 64-Bit Server VM 17.0.16+8-LTS on Mac OS X 16.0
Apple M2 Max
Cast function to : FLOAT , ansi mode enabled : true:
Best Time(ms) Avg Time(ms) Stdev(ms) Rate(M/s) Per Row(ns) Relative
-------------------------------------------------------------------------------------------------------------------------------------------------------
SQL Parquet - Spark Cast function to : FLOAT , ansi mode enabled : true
216 219 2 48.6 20.6 1.0X
SQL Parquet - Comet Cast function to : FLOAT , ansi mode enabled : true
218 222 3 48.0 20.8 1.0X
================================================================================================
Running benchmark FLOAT)
================================================================================================
OpenJDK 64-Bit Server VM 17.0.16+8-LTS on Mac OS X 16.0
Apple M2 Max
Cast function to : FLOAT , ansi mode enabled : false:
Best Time(ms) Avg Time(ms) Stdev(ms) Rate(M/s) Per Row(ns) Relative
--------------------------------------------------------------------------------------------------------------------------------------------------------
SQL Parquet - Spark Cast function to : FLOAT , ansi mode enabled : false
213 220 3 49.2 20.3 1.0X
SQL Parquet - Comet Cast function to : FLOAT , ansi mode enabled : false
218 220 2 48.2 20.8 1.0X
================================================================================================
Running benchmark DOUBLE)
================================================================================================
OpenJDK 64-Bit Server VM 17.0.16+8-LTS on Mac OS X 16.0
Apple M2 Max
Cast function to : DOUBLE , ansi mode enabled : true:
Best Time(ms) Avg Time(ms) Stdev(ms) Rate(M/s) Per Row(ns) Relative
--------------------------------------------------------------------------------------------------------------------------------------------------------
SQL Parquet - Spark Cast function to : DOUBLE , ansi mode enabled : true
217 219 1 48.3 20.7 1.0X
SQL Parquet - Comet Cast function to : DOUBLE , ansi mode enabled : true
214 223 14 48.9 20.5 1.0X
================================================================================================
Running benchmark DOUBLE)
================================================================================================
OpenJDK 64-Bit Server VM 17.0.16+8-LTS on Mac OS X 16.0
Apple M2 Max
Cast function to : DOUBLE , ansi mode enabled : false:
Best Time(ms) Avg Time(ms) Stdev(ms) Rate(M/s) Per Row(ns) Relative
---------------------------------------------------------------------------------------------------------------------------------------------------------
SQL Parquet - Spark Cast function to : DOUBLE , ansi mode enabled : false
216 221 2 48.6 20.6 1.0X
SQL Parquet - Comet Cast function to : DOUBLE , ansi mode enabled : false
218 220 2 48.1 20.8 1.0X
================================================================================================
Running benchmark DECIMAL(10,2))
================================================================================================
OpenJDK 64-Bit Server VM 17.0.16+8-LTS on Mac OS X 16.0
Apple M2 Max
Cast function to : DECIMAL(10,2) , ansi mode enabled : true:
Best Time(ms) Avg Time(ms) Stdev(ms) Rate(M/s) Per Row(ns)
Relative
---------------------------------------------------------------------------------------------------------------------------------------------------------------
SQL Parquet - Spark Cast function to : DECIMAL(10,2) , ansi mode enabled :
true 3 4 1 3014.4 0.3
1.0X
SQL Parquet - Comet Cast function to : DECIMAL(10,2) , ansi mode enabled :
true 3 4 1 3032.8 0.3
1.0X
================================================================================================
Running benchmark DECIMAL(10,2))
================================================================================================
OpenJDK 64-Bit Server VM 17.0.16+8-LTS on Mac OS X 16.0
Apple M2 Max
Cast function to : DECIMAL(10,2) , ansi mode enabled : false:
Best Time(ms) Avg Time(ms) Stdev(ms) Rate(M/s) Per Row(ns)
Relative
----------------------------------------------------------------------------------------------------------------------------------------------------------------
SQL Parquet - Spark Cast function to : DECIMAL(10,2) , ansi mode enabled :
false 565 582 30 18.6 53.9
1.0X
SQL Parquet - Comet Cast function to : DECIMAL(10,2) , ansi mode enabled :
false 561 564 4 18.7 53.5
1.0X
================================================================================================
Running benchmark STRING)
================================================================================================
OpenJDK 64-Bit Server VM 17.0.16+8-LTS on Mac OS X 16.0
Apple M2 Max
Cast function to : STRING , ansi mode enabled : true:
Best Time(ms) Avg Time(ms) Stdev(ms) Rate(M/s) Per Row(ns) Relative
--------------------------------------------------------------------------------------------------------------------------------------------------------
SQL Parquet - Spark Cast function to : STRING , ansi mode enabled : true
876 967 79 12.0 83.6 1.0X
SQL Parquet - Comet Cast function to : STRING , ansi mode enabled : true
936 952 15 11.2 89.3 0.9X
================================================================================================
Running benchmark STRING)
================================================================================================
OpenJDK 64-Bit Server VM 17.0.16+8-LTS on Mac OS X 16.0
Apple M2 Max
Cast function to : STRING , ansi mode enabled : false:
Best Time(ms) Avg Time(ms) Stdev(ms) Rate(M/s) Per Row(ns) Relative
---------------------------------------------------------------------------------------------------------------------------------------------------------
SQL Parquet - Spark Cast function to : STRING , ansi mode enabled : false
970 1008 54 10.8 92.5 1.0X
SQL Parquet - Comet Cast function to : STRING , ansi mode enabled : false
874 914 52 12.0 83.4 1.1X
```
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: [email protected]
For queries about this service, please contact Infrastructure at:
[email protected]
---------------------------------------------------------------------
To unsubscribe, e-mail: [email protected]
For additional commands, e-mail: [email protected]
