Re: [Python] Python e cluster di raspberry

[enrico franchi]

2015-12-06 12:17 GMT+00:00 Fundor333 :

> Il 06/12/2015 12:43, Valerio Maggio ha scritto:
>
>
> Tutto qui: non si tratta di instabilità. La API rilasciate sono
> *naturalmente* stabili.
> Un esempio di confronto tra Python e Scala.
>
> Come ci era stato presentato le API python sono soggette a grossi
> cambiamenti in quanto ci stanno ancora lavorando sopra
>

Guardatevi un po' di changelog per capire cosa aspettarvi.


>
> Quindi, se capisco bene, vuoi mettere su un cluster di raspberry pi su cui
> far girare Spark?
> Ripeto: deve sempre essere possibile eseguire la JVM, eh?! Non
> dimenticarlo.
> Torno a dire: Spark è implementato in Scala. Tutto diventa Scala, alla
> fine della fiera.
>
> Questo lo sappiamo bene. Infatti noi, avendo del codice python volevamo
> partire da quello sopratutto perchè abbiamo già confidenza con le librerie
> necessarie
>
> Scusa... ma le "librerie necessarie" sono quelle di spark. Quindi?



> Su C#, niente da dire (nel senso che non reputo *fondamentale* conoscere
> il C#)
> Ma intendi dire che sei uno studente di Informatica all'università e non
> conosci almeno uno tra C o C++?! O_o
> Su questo, qualcosina da dire ce l'avrei, btw.
>
> No non è che non lo so. E' che per un progetto che viene fatto a tempo
> perso con poca esperienza in C e praticamente nessuna in C++ ha poco
> senso farlo quando invece siamo molto più pratici con Python e Java.
>
> Ma scusa... parliamo di un coso Scala su JVM... chiaramente Java e Scala
sono scelte sensate. Python? Se capite che quello che vi interessa e'
supportato, buona. Ovviamente tutte le volte che si e' un po' fuori dal
seminato bisogna cavarsela un po' da soli. Dipende se avete voglia, come
confrontate il fatto che Python sia probabilmente un po' piu' svelto da
scrivere e lo conoscete meglio con il fatto che trovate meno supporto. Ma
solo voi sapete quanto usare Python per voi sia un vantaggio e quanto
abbiate tempo e voglia di dovere gestire un caso meno popolare.


> Infatti dopo progrmmazione nessuno ti fa scrivere più in c programmi se non 
> qualche funzione su qualche corso.
>
>
Si, ma non vi aspettate che tutto e solo quello che si fa in universita'
sia sufficiente per andare la fuori. Non ti fanno abbastanza C? Fattelo da
solo. Non ti interessa conoscere C? Boh, di questi tempi magari te la cavi.
Chissa'. Con una buona scelta su cosa vuoi fare davvero magari funziona
anche come scelta.


> Invece stiamo lavorando per tirocinio in python per cui siamo più pratici e 
> abituati a usarlo
>
> Ok.


-- 
.
..: -enrico-
___
Python mailing list
Python@lists.python.it
http://lists.python.it/mailman/listinfo/python

[Python] Python e cluster di raspberry

[Fundor333]

Nella mia università (università Ca' Foscari di Venezia), nel corso di 
laurea di informatica è stata fatta una conferenza con Apostolos N. 
Papadopoulos (Aristotle University of Thessaloniki) che ha presentato 
Apache Spark. E' stato mostrato come creare programmi per sistemi 
distribuiti in cui si dividono il carico di lavoro su un db comune.


Il tutto è stato mostrato in scala ma la libreria è disponibile anche in 
python ma ha detto che è ancora "instabile" rispetto a quella 
java/scala. Vista la fiera dell'elettronica a Venezia il 19 e 20 
dicembre, io e un altro mio compagno volevamo sperimentare delle cose 
sui sistemi distribuiti utilizzando raspberry (pensavamo quelli da 5 
dollari) però in python.


Quindi, qualcuno ha avuto esperienze con questo Apache Spark? E' davvero 
instabile? Che alternative abbiamo in python? Vale la pena fare questo 
lavoro in Python o meglio un altro linguaggio?


Grazie F333

PS:Vorremmo evitare C, C# e C++ perchè li troviamo "scomodi" per un 
progetto a "tempo perso" in quanto richiederebbero per noi tanto tempo 
per imparare come dio comanda il linguaggio
___
Python mailing list
Python@lists.python.it
http://lists.python.it/mailman/listinfo/python

Re: [Python] Python e cluster di raspberry

[astrolite .]

Il 06/Dic/2015 11:12 "Fundor333"  ha scritto:

>
> Il tutto è stato mostrato in scala ma la libreria è disponibile anche in
python ma ha detto che è ancora "instabile" rispetto a quella java/scala.
Vista la fiera dell'elettronica a Venezia il 19 e 20 dicembre, io e un
altro mio compagno volevamo sperimentare delle cose sui sistemi distribuiti
utilizzando raspberry (pensavamo quelli da 5 dollari) però in python.
>
Ciao anche io sono un ex studente  della facoltà  di informatica a Venezia
(mestre).
Sperimentare delle "cose" non è  molto espressivo in termini linguistici su
"cosa" vuoi fare.

> Quindi, qualcuno ha avuto esperienze con questo Apache Spark? E' davvero
instabile? Che alternative abbiamo in python? Vale la pena fare questo
lavoro in Python o meglio un altro linguaggio?

Io direttamente non ho esperienza con spark, tutto dipende da che obiettivo
da raggiungere avete in mente..
Sai anche te che  che lavorare ad alto livello va ad astrarre concetti che
potrebbero essere irrilevanti nel contesto o viceversa. .
Io ho usato openMP  ma sono librerie c.
Eventualmente chiedete qualche dritta al Prof. Orlando se insegna  ancora :)
>
> Grazie F333
>
> PS:Vorremmo evitare C, C# e C++ perchè li troviamo "scomodi" per un
progetto a "tempo perso" in quanto richiederebbero per noi tanto tempo per
imparare come dio comanda il linguaggio.
___
Python mailing list
Python@lists.python.it
http://lists.python.it/mailman/listinfo/python

Re: [Python] Python e cluster di raspberry

[Fundor333]

Ciao anche io sono un ex studente  della facoltà  di informatica a 
Venezia (mestre).
Sperimentare delle "cose" non è  molto espressivo in termini 
linguistici su "cosa" vuoi fare.


L'idea in dettaglio è di strutturare un sistema di previsione dei gusti. 
Viene creato un db di elementi in cui c'è una descrizione per ogni 
singolo elemento (nel nostro caso o un insieme di manga o libri) e si 
creano delle matrici con la "distanza" tra i vari elementi. Più questi 
sono simili più è facile che agli utenti piaccia.


La parte distribuita dovrebbe, date le preferenze dell'utente in base a 
quello che ha segnato come piaciuto (nessun punteggio, solo un 
piaciuto/non piaciuto) creare un elemento utente e calcolare la distanza 
rispetto a tutti gli altri utenti suggerendo gli elementi letti/piaciuti 
da utenti simili.


Questo è nato intorno al corso di Web Intelligence del prof Silvestri  
(che ponendogli la domanda ha detto che non aveva idea) ma non sapevo 
che anche il prof Orlando fosse pratico/interessato/informato. Grazie 
del suggerimento


F333
___
Python mailing list
Python@lists.python.it
http://lists.python.it/mailman/listinfo/python

Re: [Python] Python e cluster di raspberry

[Fundor333]

Il 06/12/2015 12:43, Valerio Maggio ha scritto:



Fundor333 wrote:

Nella mia università (università Ca' Foscari di Venezia), nel corso 
di laurea di informatica è stata fatta una conferenza con Apostolos 
N. Papadopoulos (Aristotle University of Thessaloniki) che ha 
presentato Apache Spark. E' stato mostrato come creare programmi per 
sistemi distribuiti in cui si dividono il carico di lavoro su un db 
comune.


Il tutto è stato mostrato in scala ma la libreria è disponibile anche 
in python ma ha detto che è ancora "instabile" rispetto a quella 
java/scala.



Tutto qui: non si tratta di instabilità. La API rilasciate sono 
*naturalmente* stabili.

Un esempio di confronto tra Python e Scala.
Come ci era stato presentato le API python sono soggette a grossi 
cambiamenti in quanto ci stanno ancora lavorando sopra


Quindi, se capisco bene, vuoi mettere su un cluster di raspberry pi su 
cui far girare Spark?
Ripeto: deve sempre essere possibile eseguire la JVM, eh?! Non 
dimenticarlo.
Torno a dire: Spark è implementato in Scala. Tutto diventa Scala, alla 
fine della fiera.
Questo lo sappiamo bene. Infatti noi, avendo del codice python volevamo 
partire da quello sopratutto perchè abbiamo già confidenza con le 
librerie necessarie



Quale lavoro?! XD
In effetti su questo non sei stato molto chiaro. Come ha già detto 
qualcuno, meglio che decidi bene prima *cosa* fare e poi *come farlo*.


Questo me ne sono reso conto dopo aver mandato la mail e ho anche 
risposto a ciclon...@gmail.com per cui non ripeterei qui la cosa


Su C#, niente da dire (nel senso che non reputo *fondamentale* 
conoscere il C#)
Ma intendi dire che sei uno studente di Informatica all'università e 
non conosci almeno uno tra C o C++?! O_o

Su questo, qualcosina da dire ce l'avrei, btw.


No non è che non lo so. E' che per un progetto che viene fatto a tempo 
perso con poca esperienza in C e praticamente nessuna in C++ ha poco 
senso farlo quando invece siamo molto più pratici con Python e Java. 
Infatti dopo progrmmazione nessuno ti fa scrivere più in c programmi se 
non qualche funzione su qualche corso. Invece stiamo lavorando per 
tirocinio in python per cui siamo più pratici e abituati a usarlo -- 
Fundor333


___
Python mailing list
Python@lists.python.it
http://lists.python.it/mailman/listinfo/python

Re: [Python] Python e cluster di raspberry

[Valerio Maggio]

> Fundor333 wrote:
> 
> Nella mia università (università Ca' Foscari di Venezia), nel corso di laurea 
> di informatica è stata fatta una conferenza con Apostolos N. Papadopoulos 
> (Aristotle University of Thessaloniki) che ha presentato Apache Spark. E' 
> stato mostrato come creare programmi per sistemi distribuiti in cui si 
> dividono il carico di lavoro su un db comune. 
> 
> Il tutto è stato mostrato in scala ma la libreria è disponibile anche in 
> python ma ha detto che è ancora "instabile" rispetto a quella java/scala.

Dunque, facciamo un po' di chiarezza: che cosa delle API di Python sarebbe 
"instabile"?
Non credo che il termine "instabile" sia il termine giusto, o per lo meno, non 
credo sia quello che intendi tu: non si tratta di instabilità, quanto più di 
non allineamento di feature a parità di API.
Al meglio della mia conoscenza, il maggiore investimento sulle API di Spark è 
stato fatto per Scala (del resto Spark è scritto in Scala e le API sono tutti 
dei wrapper per Scala, in fin dei conti).
Nella lista seguono, nell'ordine Java, Python, R.
In altre parole, il supporto per le cutting-edge features di Spark le troverai 
*sempre* in Scala e poi negli altri linguaggi in ordine più o meno 
"costantemente arbitrario" :)

Tutto qui: non si tratta di instabilità. La API rilasciate sono *naturalmente* 
stabili.
Un esempio di confronto tra Python e Scala.

Spark Streaming è stato introdotto in Python in una delle ultime release delle 
API (1.4.1, se non erro). Spark GraphX non è al momento supportato in Python 
(solo Scala e Java).

That's it.

Poi, se vogliamo parlare delle API di Machine Learning (MLib) e delle 
potenzialità in termini di "Estimators e Learning Methods", allora è un'altra 
storia… ma non mi pare che tu ne abbia fatto cenno.

> Vista la fiera dell'elettronica a Venezia il 19 e 20 dicembre, io e un altro 
> mio compagno volevamo sperimentare delle cose sui sistemi distribuiti 
> utilizzando raspberry (pensavamo quelli da 5 dollari) però in python.

Quindi, se capisco bene, vuoi mettere su un cluster di raspberry pi su cui far 
girare Spark?
Ripeto: deve sempre essere possibile eseguire la JVM, eh?! Non dimenticarlo.
Torno a dire: Spark è implementato in Scala. Tutto diventa Scala, alla fine 
della fiera.

> 
> Quindi, qualcuno ha avuto esperienze con questo Apache Spark? E' davvero 
> instabile? Che alternative abbiamo in python?

Scala, ma non so se sia **davvero** un'alternativa.

> Vale la pena fare questo lavoro in Python o meglio un altro linguaggio?

Quale lavoro?! XD
In effetti su questo non sei stato molto chiaro. Come ha già detto qualcuno, 
meglio che decidi bene prima *cosa* fare e poi *come farlo*.

> 
> Grazie F333

HTH

> 
> PS:Vorremmo evitare C, C# e C++ perchè li troviamo "scomodi" per un progetto 
> a "tempo perso" in quanto richiederebbero per noi tanto tempo per imparare 
> come dio comanda il linguaggio

Su C#, niente da dire (nel senso che non reputo *fondamentale* conoscere il C#)
Ma intendi dire che sei uno studente di Informatica all'università e non 
conosci almeno uno tra C o C++?! O_o
Su questo, qualcosina da dire ce l'avrei, btw.

---
Valerio

___
Python mailing list
Python@lists.python.it
http://lists.python.it/mailman/listinfo/python

Re: [Python] Python e cluster di raspberry

[Valerio Maggio]

enrico franchi wrote:

>
>
> Fundor333 wrote:
>
>
>> Infatti dopo progrmmazione nessuno ti fa scrivere più in c programmi se non 
>> qualche funzione su qualche corso.
>>
>>
> Si, ma non vi aspettate che tutto e solo quello che si fa in universita'
> sia sufficiente per andare la fuori. Non ti fanno abbastanza C? Fattelo da
> solo. Non ti interessa conoscere C? Boh, di questi tempi magari te la cavi.
> Chissa'. Con una buona scelta su cosa vuoi fare davvero magari funziona
> anche come scelta.
>

+1



-- 
valerio
___
Python mailing list
Python@lists.python.it
http://lists.python.it/mailman/listinfo/python