Mark, Thanks for a nice result. I wonder how others (e.g. Sun) perform in respect to M12a.
On Mon, Feb 1, 2010 at 6:30 PM, Mark Hindess <mark.hind...@googlemail.com> wrote: > > I decided to have a play with the dacapo-9.12-bach benchmark suite. > I've appended some preliminary results below. > > I attempted to run all the benchmarks 10 times on the linux/x86_64 > milestone releases. For this run I used: > > java -Xms128M -Xmx1024M -showversion -jar $DACAPO_JAR $BENCHMARK > > That is, I used the default arguments to dacapo. > > The results only include those benchmarks which ran successfully. I > include the number of runs in the table as some benchmark/milestone > combinations were unstable. If a benchmark/milestone combination is not > listed then that is because it did not complete successfully at all. > The tomcat benchmark is missing because it hung on early milestones so I > stopped running it completely in order to make progress. If any other > benchmark has no table then it didn't run correctly on any milestone > release. > > It is worth noting that M12a is missing from the eclipse benchmark > results as it fails to run. This is a regression so we'd better fix > that for M13. > > The recently added benchmarks are described at: > > http://www.dacapobench.org/RELEASE_NOTES.txt > > and the more mature benchmarks are listed at: > > http://www.dacapobench.org/benchmarks.html > > I'm doing an indentical run on linux/x86 to see if that is similar (and > because we released more milestones on this platform). I'll probably > also do a longer run with some warmup iterations to see how much that > affects the results. > > I also plan to do some runs with the lock-free data structures as found > in several open JIRA to see what affect they might have. > > Comments and suggestions welcome. > > Regards, > Mark. > > > Key > --- > > JRE is the identifier for the JRE executing the benchmark. > > Runs is the number of test runs that passed (low numbers => instability?). > > The % field is a percentage slow down compared to the fastest result. That > is: > > 100 * (average execution time for test jre) > ------------------------------------- > (average execution time for fastest jre) > > The result is a simple graph of average execution time normalized based > on the slowest result. That is: > > '#' x 50 * (average execution time for test jre) > ------------------------------------- > (average execution time for slowest jre) > > > > avrora > > JRE | Runs | % | Result (normalized, smaller is better) > 1 | 10 | 105.33 | ################################################# > 4 | 10 | 100.00 | ############################################## > 5 | 10 | 100.20 | ############################################## > 6 | 10 | 106.09 | ################################################# > 7 | 10 | 106.00 | ################################################# > 8 | 10 | 106.38 | ################################################# > 9 | 10 | 107.35 | ################################################# > 10 | 10 | 107.43 | ################################################## > 11 | 10 | 105.72 | ################################################# > 12a | 10 | 104.74 | ################################################ > > > eclipse > > JRE | Runs | % | Result (normalized, smaller is better) > 4 | 8 | 100.00 | ######################################### > 5 | 10 | 105.57 | ########################################### > 6 | 10 | 121.82 | ################################################## > 7 | 10 | 121.14 | ################################################# > 8 | 9 | 114.81 | ############################################### > 9 | 10 | 117.91 | ################################################ > 10 | 10 | 120.62 | ################################################# > 11 | 10 | 120.75 | ################################################# > > > h2 > > JRE | Runs | % | Result (normalized, smaller is better) > 1 | 10 | 465.09 | ################################### > 4 | 10 | 452.09 | ################################## > 5 | 10 | 542.44 | ######################################### > 6 | 10 | 659.49 | ################################################# > 7 | 10 | 660.54 | ################################################## > 8 | 10 | 106.57 | ######## > 9 | 9 | 104.79 | ####### > 10 | 10 | 102.68 | ####### > 11 | 10 | 104.59 | ####### > 12a | 10 | 100.00 | ####### > > > jython > > JRE | Runs | % | Result (normalized, smaller is better) > 1 | 3 | 132.51 | ################################################## > 4 | 10 | 106.80 | ######################################## > 5 | 10 | 101.26 | ###################################### > 6 | 10 | 114.75 | ########################################### > 7 | 10 | 110.02 | ######################################### > 8 | 10 | 111.64 | ########################################## > 9 | 10 | 113.61 | ########################################## > 10 | 10 | 105.72 | ####################################### > 11 | 10 | 100.00 | ##################################### > 12a | 10 | 101.84 | ###################################### > > > luindex > > JRE | Runs | % | Result (normalized, smaller is better) > 1 | 10 | 119.61 | #################################### > 4 | 10 | 100.00 | ############################## > 5 | 10 | 131.18 | ####################################### > 6 | 10 | 163.73 | ################################################# > 7 | 10 | 162.09 | ################################################# > 8 | 10 | 161.77 | ################################################# > 9 | 10 | 164.58 | ################################################## > 10 | 10 | 149.63 | ############################################# > 11 | 10 | 126.35 | ###################################### > 12a | 10 | 121.90 | ##################################### > > > lusearch > > JRE | Runs | % | Result (normalized, smaller is better) > 1 | 10 | 104.11 | ############################################# > 4 | 10 | 100.22 | ########################################### > 5 | 10 | 100.00 | ########################################### > 6 | 10 | 110.02 | ############################################### > 7 | 10 | 111.72 | ################################################ > 8 | 10 | 112.95 | ################################################# > 9 | 10 | 110.91 | ################################################ > 10 | 10 | 113.52 | ################################################# > 11 | 10 | 112.63 | ################################################ > 12a | 10 | 115.06 | ################################################## > > > pmd > > JRE | Runs | % | Result (normalized, smaller is better) > 1 | 10 | 128.18 | ################################################## > 4 | 10 | 100.00 | ####################################### > 5 | 10 | 100.53 | ####################################### > 6 | 10 | 110.18 | ########################################## > 7 | 10 | 109.56 | ########################################## > 8 | 10 | 109.22 | ########################################## > 9 | 10 | 111.14 | ########################################### > 10 | 10 | 109.39 | ########################################## > 11 | 10 | 110.12 | ########################################## > 12a | 10 | 112.53 | ########################################### > > > sunflow > > JRE | Runs | % | Result (normalized, smaller is better) > 4 | 10 | 100.00 | ################################################ > 5 | 10 | 103.23 | ################################################# > 6 | 10 | 103.86 | ################################################# > 8 | 10 | 102.61 | ################################################# > 9 | 10 | 103.43 | ################################################# > 10 | 10 | 103.86 | ################################################## > 11 | 10 | 102.99 | ################################################# > 12a | 10 | 102.38 | ################################################# > > > xalan > > JRE | Runs | % | Result (normalized, smaller is better) > 1 | 10 | 189.74 | ################################################## > 4 | 10 | 100.00 | ########################## > 5 | 10 | 101.77 | ########################## > 6 | 10 | 114.44 | ############################## > 7 | 10 | 119.99 | ############################### > 8 | 10 | 113.32 | ############################# > 9 | 10 | 114.40 | ############################## > 10 | 10 | 114.26 | ############################## > 11 | 10 | 115.82 | ############################## > 12a | 10 | 118.19 | ############################### > > > -- With best regards / с наилучшими пожеланиями, Alexei Fedotov / Алексей Федотов, http://www.telecom-express.ru/ http://harmony.apache.org/ http://www.expressaas.com/ http://openmeetings.googlecode.com/
