I decided to have a play with the dacapo-9.12-bach benchmark suite. I've appended some preliminary results below.
I attempted to run all the benchmarks 10 times on the linux/x86_64 milestone releases. For this run I used: java -Xms128M -Xmx1024M -showversion -jar $DACAPO_JAR $BENCHMARK That is, I used the default arguments to dacapo. The results only include those benchmarks which ran successfully. I include the number of runs in the table as some benchmark/milestone combinations were unstable. If a benchmark/milestone combination is not listed then that is because it did not complete successfully at all. The tomcat benchmark is missing because it hung on early milestones so I stopped running it completely in order to make progress. If any other benchmark has no table then it didn't run correctly on any milestone release. It is worth noting that M12a is missing from the eclipse benchmark results as it fails to run. This is a regression so we'd better fix that for M13. The recently added benchmarks are described at: http://www.dacapobench.org/RELEASE_NOTES.txt and the more mature benchmarks are listed at: http://www.dacapobench.org/benchmarks.html I'm doing an indentical run on linux/x86 to see if that is similar (and because we released more milestones on this platform). I'll probably also do a longer run with some warmup iterations to see how much that affects the results. I also plan to do some runs with the lock-free data structures as found in several open JIRA to see what affect they might have. Comments and suggestions welcome. Regards, Mark. Key --- JRE is the identifier for the JRE executing the benchmark. Runs is the number of test runs that passed (low numbers => instability?). The % field is a percentage slow down compared to the fastest result. That is: 100 * (average execution time for test jre) ------------------------------------- (average execution time for fastest jre) The result is a simple graph of average execution time normalized based on the slowest result. That is: '#' x 50 * (average execution time for test jre) ------------------------------------- (average execution time for slowest jre) avrora JRE | Runs | % | Result (normalized, smaller is better) 1 | 10 | 105.33 | ################################################# 4 | 10 | 100.00 | ############################################## 5 | 10 | 100.20 | ############################################## 6 | 10 | 106.09 | ################################################# 7 | 10 | 106.00 | ################################################# 8 | 10 | 106.38 | ################################################# 9 | 10 | 107.35 | ################################################# 10 | 10 | 107.43 | ################################################## 11 | 10 | 105.72 | ################################################# 12a | 10 | 104.74 | ################################################ eclipse JRE | Runs | % | Result (normalized, smaller is better) 4 | 8 | 100.00 | ######################################### 5 | 10 | 105.57 | ########################################### 6 | 10 | 121.82 | ################################################## 7 | 10 | 121.14 | ################################################# 8 | 9 | 114.81 | ############################################### 9 | 10 | 117.91 | ################################################ 10 | 10 | 120.62 | ################################################# 11 | 10 | 120.75 | ################################################# h2 JRE | Runs | % | Result (normalized, smaller is better) 1 | 10 | 465.09 | ################################### 4 | 10 | 452.09 | ################################## 5 | 10 | 542.44 | ######################################### 6 | 10 | 659.49 | ################################################# 7 | 10 | 660.54 | ################################################## 8 | 10 | 106.57 | ######## 9 | 9 | 104.79 | ####### 10 | 10 | 102.68 | ####### 11 | 10 | 104.59 | ####### 12a | 10 | 100.00 | ####### jython JRE | Runs | % | Result (normalized, smaller is better) 1 | 3 | 132.51 | ################################################## 4 | 10 | 106.80 | ######################################## 5 | 10 | 101.26 | ###################################### 6 | 10 | 114.75 | ########################################### 7 | 10 | 110.02 | ######################################### 8 | 10 | 111.64 | ########################################## 9 | 10 | 113.61 | ########################################## 10 | 10 | 105.72 | ####################################### 11 | 10 | 100.00 | ##################################### 12a | 10 | 101.84 | ###################################### luindex JRE | Runs | % | Result (normalized, smaller is better) 1 | 10 | 119.61 | #################################### 4 | 10 | 100.00 | ############################## 5 | 10 | 131.18 | ####################################### 6 | 10 | 163.73 | ################################################# 7 | 10 | 162.09 | ################################################# 8 | 10 | 161.77 | ################################################# 9 | 10 | 164.58 | ################################################## 10 | 10 | 149.63 | ############################################# 11 | 10 | 126.35 | ###################################### 12a | 10 | 121.90 | ##################################### lusearch JRE | Runs | % | Result (normalized, smaller is better) 1 | 10 | 104.11 | ############################################# 4 | 10 | 100.22 | ########################################### 5 | 10 | 100.00 | ########################################### 6 | 10 | 110.02 | ############################################### 7 | 10 | 111.72 | ################################################ 8 | 10 | 112.95 | ################################################# 9 | 10 | 110.91 | ################################################ 10 | 10 | 113.52 | ################################################# 11 | 10 | 112.63 | ################################################ 12a | 10 | 115.06 | ################################################## pmd JRE | Runs | % | Result (normalized, smaller is better) 1 | 10 | 128.18 | ################################################## 4 | 10 | 100.00 | ####################################### 5 | 10 | 100.53 | ####################################### 6 | 10 | 110.18 | ########################################## 7 | 10 | 109.56 | ########################################## 8 | 10 | 109.22 | ########################################## 9 | 10 | 111.14 | ########################################### 10 | 10 | 109.39 | ########################################## 11 | 10 | 110.12 | ########################################## 12a | 10 | 112.53 | ########################################### sunflow JRE | Runs | % | Result (normalized, smaller is better) 4 | 10 | 100.00 | ################################################ 5 | 10 | 103.23 | ################################################# 6 | 10 | 103.86 | ################################################# 8 | 10 | 102.61 | ################################################# 9 | 10 | 103.43 | ################################################# 10 | 10 | 103.86 | ################################################## 11 | 10 | 102.99 | ################################################# 12a | 10 | 102.38 | ################################################# xalan JRE | Runs | % | Result (normalized, smaller is better) 1 | 10 | 189.74 | ################################################## 4 | 10 | 100.00 | ########################## 5 | 10 | 101.77 | ########################## 6 | 10 | 114.44 | ############################## 7 | 10 | 119.99 | ############################### 8 | 10 | 113.32 | ############################# 9 | 10 | 114.40 | ############################## 10 | 10 | 114.26 | ############################## 11 | 10 | 115.82 | ############################## 12a | 10 | 118.19 | ###############################
