Thanks When will hadoop 2.x be supported? (Assuming that that is going to happen)
-----Original Message----- From: Sean Owen [mailto:[email protected]] Sent: woensdag 2 januari 2013 14:32 To: Mahout User List Subject: Re: Mahout startup errors I think you've done the right thing. The project doesn't support Hadoop 2.x, and CDH = Hadoop 2.x. On Wed, Jan 2, 2013 at 1:11 PM, Sloot, Hans-Peter <[email protected]> wrote: > Hello all, > > I have installed Clouder cdh4 and added the mahout rpm afterwards. > > When starting mahout I see the following output. > > MAHOUT_LOCAL is not set; adding HADOOP_CONF_DIR to classpath. > Running on hadoop, using /usr/lib/hadoop-0.20-mapreduce/bin/hadoop and > HADOOP_CONF_DIR=/etc/hadoop/conf > MAHOUT-JOB: /usr/lib/mahout/mahout-examples-0.6-cdh4.0.1-job.jar > Exception in thread "main" java.lang.NoClassDefFoundError: > org/apache/hadoop/util/PlatformName > Caused by: java.lang.ClassNotFoundException: > org.apache.hadoop.util.PlatformName > at java.net.URLClassLoader$1.run(URLClassLoader.java:202) > at java.security.AccessController.doPrivileged(Native Method) > at java.net.URLClassLoader.findClass(URLClassLoader.java:190) > at java.lang.ClassLoader.loadClass(ClassLoader.java:306) > at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301) > at java.lang.ClassLoader.loadClass(ClassLoader.java:247) > Could not find the main class: org.apache.hadoop.util.PlatformName. Program > will exit. > Exception in thread "main" java.lang.NoClassDefFoundError: > org/apache/hadoop/util/RunJar Caused by: java.lang.ClassNotFoundException: > org.apache.hadoop.util.RunJar > at java.net.URLClassLoader$1.run(URLClassLoader.java:202) > at java.security.AccessController.doPrivileged(Native Method) > at java.net.URLClassLoader.findClass(URLClassLoader.java:190) > at java.lang.ClassLoader.loadClass(ClassLoader.java:306) > at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301) > at java.lang.ClassLoader.loadClass(ClassLoader.java:247) > Could not find the main class: org.apache.hadoop.util.RunJar. Program will > exit. > > Apparently the main issue is that mahout cannot find the classes > PlatformName and RunJar > > I looked around and found that these classes are in > /usr/lib/hadoop/hadoop-common-2.0.0-cdh4.0.1.jar > > Since /usr/bin/mahout is a shell script I added the jar to the > HADOOP_CLASSPATH variable in it. > export > HADOOP_CLASSPATH="/usr/lib/mahout/mahout-examples-*-job.jar":/usr/lib/ > hadoop/hadoop-common-2.0.0-cdh4.0.1.jar:$HADOOP_CLASSPATH > > Is there a ‘official’ way to get the configuration right? > > When starting it without any parameters it now shows: > [nl19856@nlvora150 ~]$ mahout > MAHOUT_LOCAL is not set; adding HADOOP_CONF_DIR to classpath. > Running on hadoop, using /usr/lib/hadoop-0.20-mapreduce/bin/hadoop and > HADOOP_CONF_DIR=/etc/hadoop/conf > MAHOUT-JOB: /usr/lib/mahout/mahout-examples-0.6-cdh4.0.1-job.jar > SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". > SLF4J: Defaulting to no-operation (NOP) logger implementation > SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further > details. > An example program must be given as the first argument. > Valid program names are: > arff.vector: : Generate Vectors from an ARFF file or directory > baumwelch: : Baum-Welch algorithm for unsupervised HMM training > canopy: : Canopy clustering > cat: : Print a file or resource as the logistic regression models > would see it .. etc.. > vectordump: : Dump vectors from a sequence file to text > viterbi: : Viterbi decoding of hidden states from given output states > sequence > wikipediaDataSetCreator: : Splits data set of wikipedia wrt feature like > country > wikipediaXMLSplitter: : Reads wikipedia data and creates ch > Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 0 > at org.apache.mahout.driver.MahoutDriver.main(MahoutDriver.java:119) > at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) > at > sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) > at > sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) > at java.lang.reflect.Method.invoke(Method.java:597) > at org.apache.hadoop.util.RunJar.main(RunJar.java:208) > > Do I need to change the configuration for this too? > > Regards Hans-Peter > > > > > > > > Dit bericht is vertrouwelijk en kan geheime informatie bevatten enkel bestemd > voor de geadresseerde. Indien dit bericht niet voor u is bestemd, verzoeken > wij u dit onmiddellijk aan ons te melden en het bericht te vernietigen. > Aangezien de integriteit van het bericht niet veilig gesteld is middels > verzending via internet, kan Atos Nederland B.V. niet aansprakelijk worden > gehouden voor de inhoud daarvan. Hoewel wij ons inspannen een virusvrij > netwerk te hanteren, geven wij geen enkele garantie dat dit bericht virusvrij > is, noch aanvaarden wij enige aansprakelijkheid voor de mogelijke > aanwezigheid van een virus in dit bericht. Op al onze rechtsverhoudingen, > aanbiedingen en overeenkomsten waaronder Atos Nederland B.V. goederen en/of > diensten levert zijn met uitsluiting van alle andere voorwaarden de > Leveringsvoorwaarden van Atos Nederland B.V. van toepassing. Deze worden u op > aanvraag direct kosteloos toegezonden. > > This e-mail and the documents attached are confidential and intended solely > for the addressee; it may also be privileged. If you receive this e-mail in > error, please notify the sender immediately and destroy it. As its integrity > cannot be secured on the Internet, the Atos Nederland B.V. group liability > cannot be triggered for the message content. Although the sender endeavours > to maintain a computer virus-free network, the sender does not warrant that > this transmission is virus-free and will not be liable for any damages > resulting from any virus transmitted. On all offers and agreements under > which Atos Nederland B.V. supplies goods and/or services of whatever nature, > the Terms of Delivery from Atos Nederland B.V. exclusively apply. The Terms > of Delivery shall be promptly submitted to you on your request. > > Atos Nederland B.V. / Utrecht > KvK Utrecht 30132762 Dit bericht is vertrouwelijk en kan geheime informatie bevatten enkel bestemd voor de geadresseerde. Indien dit bericht niet voor u is bestemd, verzoeken wij u dit onmiddellijk aan ons te melden en het bericht te vernietigen. Aangezien de integriteit van het bericht niet veilig gesteld is middels verzending via internet, kan Atos Nederland B.V. niet aansprakelijk worden gehouden voor de inhoud daarvan. Hoewel wij ons inspannen een virusvrij netwerk te hanteren, geven wij geen enkele garantie dat dit bericht virusvrij is, noch aanvaarden wij enige aansprakelijkheid voor de mogelijke aanwezigheid van een virus in dit bericht. Op al onze rechtsverhoudingen, aanbiedingen en overeenkomsten waaronder Atos Nederland B.V. goederen en/of diensten levert zijn met uitsluiting van alle andere voorwaarden de Leveringsvoorwaarden van Atos Nederland B.V. van toepassing. Deze worden u op aanvraag direct kosteloos toegezonden. This e-mail and the documents attached are confidential and intended solely for the addressee; it may also be privileged. If you receive this e-mail in error, please notify the sender immediately and destroy it. As its integrity cannot be secured on the Internet, the Atos Nederland B.V. group liability cannot be triggered for the message content. Although the sender endeavours to maintain a computer virus-free network, the sender does not warrant that this transmission is virus-free and will not be liable for any damages resulting from any virus transmitted. On all offers and agreements under which Atos Nederland B.V. supplies goods and/or services of whatever nature, the Terms of Delivery from Atos Nederland B.V. exclusively apply. The Terms of Delivery shall be promptly submitted to you on your request. Atos Nederland B.V. / Utrecht KvK Utrecht 30132762
