Hey Bryan, yes this definitely sounds like the issue I have :-)
Thx a lot and best regards Felix Felix Massem | IT-Consultant | Karlsruhe mobil: +49 (0) 172.2919848 <> www.codecentric.de <http://www.codecentric.de/> | blog.codecentric.de <http://blog.codecentric.de/> | www.meettheexperts.de <http://www.meettheexperts.de/> | www.more4fi.de <http://www.more4fi.de/> Sitz der Gesellschaft: Düsseldorf | HRB 63043 | Amtsgericht Düsseldorf Vorstand: Michael Hochgürtel . Mirko Novakovic . Rainer Vehns Aufsichtsrat: Patric Fedlmeier (Vorsitzender) . Klaus Jäger . Jürgen Schütz Diese E-Mail einschließlich evtl. beigefügter Dateien enthält vertrauliche und/oder rechtlich geschützte Informationen. Wenn Sie nicht der richtige Adressat sind oder diese E-Mail irrtümlich erhalten haben, informieren Sie bitte sofort den Absender und löschen Sie diese E-Mail und evtl. beigefügter Dateien umgehend. Das unerlaubte Kopieren, Nutzen oder Öffnen evtl. beigefügter Dateien sowie die unbefugte Weitergabe dieser E-Mail ist nicht gestattet. > Am 29.06.2016 um 20:12 schrieb Bryan Cutler <cutl...@gmail.com>: > > Hi Felix, > > I think the problem you are describing has been fixed in later versions, > check out this JIRA https://issues.apache.org/jira/browse/SPARK-13803 > <https://issues.apache.org/jira/browse/SPARK-13803> > > > On Wed, Jun 29, 2016 at 9:27 AM, Mich Talebzadeh <mich.talebza...@gmail.com > <mailto:mich.talebza...@gmail.com>> wrote: > Fine. in standalone mode spark uses its own scheduling as opposed to Yarn or > anything else. > > As a matter of interest can you start spark-submit from any node in the > cluster? Are these all have the same or similar CPU and RAM? > > > HTH > > Dr Mich Talebzadeh > > LinkedIn > https://www.linkedin.com/profile/view?id=AAEAAAAWh2gBxianrbJd6zP6AcPCCdOABUrV8Pw > > <https://www.linkedin.com/profile/view?id=AAEAAAAWh2gBxianrbJd6zP6AcPCCdOABUrV8Pw> > > http://talebzadehmich.wordpress.com <http://talebzadehmich.wordpress.com/> > > Disclaimer: Use it at your own risk. Any and all responsibility for any loss, > damage or destruction of data or any other property which may arise from > relying on this email's technical content is explicitly disclaimed. The > author will in no case be liable for any monetary damages arising from such > loss, damage or destruction. > > > On 29 June 2016 at 10:54, Felix Massem <felix.mas...@codecentric.de > <mailto:felix.mas...@codecentric.de>> wrote: > In addition we are not using Yarn we are using the standalone mode and the > driver will be started with the deploy-mode cluster > > Thx Felix > Felix Massem | IT-Consultant | Karlsruhe > mobil: +49 (0) 172.2919848 <> > > www.codecentric.de <http://www.codecentric.de/> | blog.codecentric.de > <http://blog.codecentric.de/> | www.meettheexperts.de > <http://www.meettheexperts.de/> | www.more4fi.de <http://www.more4fi.de/> > > Sitz der Gesellschaft: Düsseldorf | HRB 63043 | Amtsgericht Düsseldorf > Vorstand: Michael Hochgürtel . Mirko Novakovic . Rainer Vehns > Aufsichtsrat: Patric Fedlmeier (Vorsitzender) . Klaus Jäger . Jürgen Schütz > > Diese E-Mail einschließlich evtl. beigefügter Dateien enthält vertrauliche > und/oder rechtlich geschützte Informationen. Wenn Sie nicht der richtige > Adressat sind oder diese E-Mail irrtümlich erhalten haben, informieren Sie > bitte sofort den Absender und löschen Sie diese E-Mail und evtl. beigefügter > Dateien umgehend. Das unerlaubte Kopieren, Nutzen oder Öffnen evtl. > beigefügter Dateien sowie die unbefugte Weitergabe dieser E-Mail ist nicht > gestattet. > >> Am 29.06.2016 um 11:13 schrieb Felix Massem <felix.mas...@codecentric.de >> <mailto:felix.mas...@codecentric.de>>: >> >> Hey Mich, >> >> the distribution is like not given. Just right now I have 15 applications >> and all 15 drivers are running on one node. This is just after giving all >> machines a little more memory. >> Before I had like 15 applications and about 13 driver where running on one >> machine. While trying to submit a new job I got OOM exceptions which took >> down my cassandra service only to start the driver on the same node where >> all the other 13 drivers where running. >> >> Thx and best regards >> Felix >> >> >> Felix Massem | IT-Consultant | Karlsruhe >> mobil: +49 (0) 172.2919848 <> >> >> www.codecentric.de <http://www.codecentric.de/> | blog.codecentric.de >> <http://blog.codecentric.de/> | www.meettheexperts.de >> <http://www.meettheexperts.de/> | www.more4fi.de <http://www.more4fi.de/> >> >> Sitz der Gesellschaft: Düsseldorf | HRB 63043 | Amtsgericht Düsseldorf >> Vorstand: Michael Hochgürtel . Mirko Novakovic . Rainer Vehns >> Aufsichtsrat: Patric Fedlmeier (Vorsitzender) . Klaus Jäger . Jürgen Schütz >> >> Diese E-Mail einschließlich evtl. beigefügter Dateien enthält vertrauliche >> und/oder rechtlich geschützte Informationen. Wenn Sie nicht der richtige >> Adressat sind oder diese E-Mail irrtümlich erhalten haben, informieren Sie >> bitte sofort den Absender und löschen Sie diese E-Mail und evtl. beigefügter >> Dateien umgehend. Das unerlaubte Kopieren, Nutzen oder Öffnen evtl. >> beigefügter Dateien sowie die unbefugte Weitergabe dieser E-Mail ist nicht >> gestattet. >> >>> Am 28.06.2016 um 17:55 schrieb Mich Talebzadeh <mich.talebza...@gmail.com >>> <mailto:mich.talebza...@gmail.com>>: >>> >>> Hi Felix, >>> >>> In Yarn-cluster mode the resource manager Yarn is expected to take care of >>> that. >>> >>> Are you getting some skewed distribution with drivers created through >>> spark-submit on different nodes? >>> >>> HTH >>> >>> Dr Mich Talebzadeh >>> >>> LinkedIn >>> https://www.linkedin.com/profile/view?id=AAEAAAAWh2gBxianrbJd6zP6AcPCCdOABUrV8Pw >>> >>> <https://www.linkedin.com/profile/view?id=AAEAAAAWh2gBxianrbJd6zP6AcPCCdOABUrV8Pw> >>> >>> http://talebzadehmich.wordpress.com <http://talebzadehmich.wordpress.com/> >>> >>> Disclaimer: Use it at your own risk. Any and all responsibility for any >>> loss, damage or destruction of data or any other property which may arise >>> from relying on this email's technical content is explicitly disclaimed. >>> The author will in no case be liable for any monetary damages arising from >>> such loss, damage or destruction. >>> >>> >>> On 28 June 2016 at 16:06, Felix Massem <felix.mas...@codecentric.de >>> <mailto:felix.mas...@codecentric.de>> wrote: >>> Hey Mich, >>> >>> thx for the fast reply. >>> >>> We are using it in cluster mode and spark version 1.5.2 >>> >>> Greets Felix >>> >>> >>> Felix Massem | IT-Consultant | Karlsruhe >>> mobil: +49 (0) 172.2919848 <> >>> >>> www.codecentric.de <http://www.codecentric.de/> | blog.codecentric.de >>> <http://blog.codecentric.de/> | www.meettheexperts.de >>> <http://www.meettheexperts.de/> | www.more4fi.de <http://www.more4fi.de/> >>> >>> Sitz der Gesellschaft: Düsseldorf | HRB 63043 | Amtsgericht Düsseldorf >>> Vorstand: Michael Hochgürtel . Mirko Novakovic . Rainer Vehns >>> Aufsichtsrat: Patric Fedlmeier (Vorsitzender) . Klaus Jäger . Jürgen Schütz >>> >>> Diese E-Mail einschließlich evtl. beigefügter Dateien enthält vertrauliche >>> und/oder rechtlich geschützte Informationen. Wenn Sie nicht der richtige >>> Adressat sind oder diese E-Mail irrtümlich erhalten haben, informieren Sie >>> bitte sofort den Absender und löschen Sie diese E-Mail und evtl. >>> beigefügter Dateien umgehend. Das unerlaubte Kopieren, Nutzen oder Öffnen >>> evtl. beigefügter Dateien sowie die unbefugte Weitergabe dieser E-Mail ist >>> nicht gestattet. >>> >>>> Am 28.06.2016 um 17:04 schrieb Mich Talebzadeh <mich.talebza...@gmail.com >>>> <mailto:mich.talebza...@gmail.com>>: >>>> >>>> Hi Felix, >>>> >>>> what version of Spark? >>>> >>>> Are you using yarn client mode or cluster mode? >>>> >>>> HTH >>>> >>>> >>>> Dr Mich Talebzadeh >>>> >>>> LinkedIn >>>> https://www.linkedin.com/profile/view?id=AAEAAAAWh2gBxianrbJd6zP6AcPCCdOABUrV8Pw >>>> >>>> <https://www.linkedin.com/profile/view?id=AAEAAAAWh2gBxianrbJd6zP6AcPCCdOABUrV8Pw> >>>> >>>> http://talebzadehmich.wordpress.com <http://talebzadehmich.wordpress.com/> >>>> >>>> Disclaimer: Use it at your own risk. Any and all responsibility for any >>>> loss, damage or destruction of data or any other property which may arise >>>> from relying on this email's technical content is explicitly disclaimed. >>>> The author will in no case be liable for any monetary damages arising from >>>> such loss, damage or destruction. >>>> >>>> >>>> On 28 June 2016 at 15:27, adaman79 <felix.mas...@codecentric.de >>>> <mailto:felix.mas...@codecentric.de>> wrote: >>>> Hey guys, >>>> >>>> I have a problem with memory because over 90% of my spark driver will be >>>> started on one of my nine spark nodes. >>>> So now I am looking for the possibility to define the node the spark driver >>>> will be started when using spark-submit or setting it somewhere in the >>>> code. >>>> >>>> Is this possible? Does anyone else have this kind of problem? >>>> >>>> thx and best regards >>>> Felix >>>> >>>> >>>> >>>> -- >>>> View this message in context: >>>> http://apache-spark-user-list.1001560.n3.nabble.com/Set-the-node-the-spark-driver-will-be-started-tp27244.html >>>> >>>> <http://apache-spark-user-list.1001560.n3.nabble.com/Set-the-node-the-spark-driver-will-be-started-tp27244.html> >>>> Sent from the Apache Spark User List mailing list archive at Nabble.com >>>> <http://nabble.com/>. >>>> >>>> --------------------------------------------------------------------- >>>> To unsubscribe, e-mail: user-unsubscr...@spark.apache.org >>>> <mailto:user-unsubscr...@spark.apache.org> >>>> For additional commands, e-mail: user-h...@spark.apache.org >>>> <mailto:user-h...@spark.apache.org> >>>> >>>> >>> >>> >> > > >
signature.asc
Description: Message signed with OpenPGP using GPGMail
