[Python] Test statistici
Ciao a tutti, sono da poco (e per poco intendo veramente poco) nel mondo python. Sono alle prime armi e non me ne volete se non sono molto preparata. Al momento ho la necessità di eseguire dei test statistici (Kolmogorov-Smirnov test, Two Sample Tests, fit ai minimi quadrati) che erano inclusi in ASURV(analysis survival). Ho visto che python include questo pacchetto statistico. Il mio problema non sono tanto le routine in se per se (che mi sembrano facili) ma l'inserimento dati. I miei dati includono i famosi censored data (upper e lower limits) ed errori sulle misure. Io vorrei includere anche questi valori quando faccio correre questi test. Per essere più chiara mi scrivo un esempio (con dati a caso): Ho due vettori di dati: x=1, 2, 3, 4, 5, 6, 7 y=5, 4, 7, 8, 9, 11, 12 Ciò che voglio vedere è se c'è una correlazione lineare tra questi due set di dati. Ciò che faccio è una cosa di questo genere: from scipy import stats import numpy as np x=1, 2, 3, 4, 5, 6, 7 y=5, 4, 7, 8, 9, 11, 12 slope, intercept, r_value, p_value, std_err = stats.linregress(x,y) Questa routine mi calcola il fit dandomi tutti i parametri che mi servono. Nei miei set di dati ci sono upper limit, cioè non detection (i famosi censored data), che voglio tenere in considerazione nel fit. In aggiunta ho un altro set di dati che riguardano gli errori sulle y. Io voglio includere anche questi parametri ma non so come fare. Io usavo ASURV per fare cose di questo genere tenendo in considerazione gli upper oppure i lower limits e in questo caso indicavo le detection (i valori effettivamente calcolati) con 0 e con 1 le nondetection (upper limit). Cioè generavo un file con tre colonne dove la prima colonna indicava il tipo di valore. Con python ho visto che questo è possibile perchè include molti metodi statistici di ASURV ma non riesco a capire come inserire questi valori. Spero di essere stata chiara. Se qualcuno di voi ha competenze di questo genere e sa come far girare queste routine in python includendo censored data e errori sulle misure può aiutarmi? Grazie mille Chicca___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
Re: [Python] Test statistici
francesca senatore wrote: Ciao a tutti, sono da poco (e per poco intendo veramente poco) nel mondo python. Sono alle prime armi e non me ne volete se non sono molto preparata. Ciao Francesca, benvenuta! :) Al momento ho la necessità di eseguire dei test statistici (Kolmogorov-Smirnov test, Two Sample Tests, fit ai minimi quadrati) che erano inclusi in ASURV(analysis survival). Ho visto che python include questo pacchetto statistico. Che intendi? ASURV? Che roba è? Io ho trovato questo: http://python-asurv.sourceforge.net È lui? In ogni caso guardando mi pare di capire che si tratta di un software per dati astronimici/astro fisici[1]. Corretto? Nel caso il tuo dominio fosse quello, ti segnalo questi due progetti: **AstroPy**: http://www.astropy.org **AstroML**: http://www.astroml.org Sono ben documentati e molto supportati dalla comunità… certamente meglio di quel porting indicato poco prima.. anyway.. —— [1]: http://www.astrostatistics.psu.edu/statcodes/ Il mio problema non sono tanto le routine in se per se (che mi sembrano facili) ma l'inserimento dati. I miei dati includono i famosi censored data (upper e lower limits) ed errori sulle misure. Io vorrei includere anche questi valori ok, il tuo problema è chiaro (a parte che non capisco perché vuoi includere i censored data nel calcolo del fitting.. ma tant'è…. del resto, non hai specificato il dominio.. :P) quando faccio correre questi test. effettiva run, in inglese, significa correre… :D (kiddin') from scipy import stats import numpy as np x=1, 2, 3, 4, 5, 6, 7 y=5, 4, 7, 8, 9, 11, 12 vabeh, diciamo che questo non è esattamente codice Python.. :P slope, intercept, r_value, p_value, std_err = stats.linregress(x,y) Questa routine mi calcola il fit dandomi tutti i parametri che mi servono. Nei miei set di dati ci sono upper limit, cioè non detection (i famosi censored data), che voglio tenere in considerazione nel fit. In aggiunta ho un altro set di dati che riguardano gli errori sulle y. Io voglio includere anche questi parametri ma non so come fare. Io usavo ASURV per fare cose di questo genere tenendo in considerazione gli upper oppure i lower limits e in questo caso indicavo le detection (i valori effettivamente calcolati) con 0 e con 1 le nondetection (upper limit). Cioè generavo un file con tre colonne dove la prima colonna indicava il tipo di valore. Con python ho visto che questo è possibile perchè include molti metodi statistici di ASURV ma non riesco a capire come inserire questi valori. Io però a questo punto non ho capito quale sia **veramente** il tuo problema.. In ogni caso, penso che questo possa esserti utile: https://www.wakari.io/nb/pybokeh/Weibull_Analysis#part2 Credo sia proprio un esempio di analisi che si avvicina a ciò che intendi fare… In generale, poi, ti segnalo anche `statsmodel`: https://github.com/statsmodels/statsmodels Oltre ad estendere le funzionalità di `scipy.stats`, dovrebbe già contenere dei metodi per l'analisi con *suspended* data... HTH Valerio ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
Re: [Python] Test statistici
Ciao Valerio, grazie per la tua risposta. Che intendi? ASURV? Che roba è? Io ho trovato questo: http://python-asurv.sourceforge.netÈ lui? In ogni caso guardando mi pare di capire che si tratta di un software per dati astronimici/astro fisici[1]. Corretto? Nel caso il tuo dominio fosse quello, ti segnalo questi due progetti: **AstroPy**: http://www.astropy.org**AstroML**: http://www.astroml.org Sono ben documentati e molto supportati dalla comunità… certamente meglio di quel porting indicato poco prima.. anyway.. Si è lui. effettiva run, in inglese, significa correre… :D (kiddin') So come si dice in inglese! La prossima volta sarò più precisa! :D from scipy import stats import numpy as np x=1, 2, 3, 4, 5, 6, 7 y=5, 4, 7, 8, 9, 11, 12 vabeh, diciamo che questo non è esattamente codice Python.. :P Ho specificato all'inizio della mail che sono alle prime armi. Ho iniziato da poco il dottorato in Astrofisica Cosmologia e non conosco tutti i linguaggi di programmazione. Durante la tesi di laurea non impari proprio tanto. In ogni caso, penso che questo possa esserti utile: https://www.wakari.io/nb/pybokeh/Weibull_Analysis#part2Credo sia proprio un esempio di analisi che si avvicina a ciò che intendi fare… In generale, poi, ti segnalo anche `statsmodel`: https://github.com/statsmodels/statsmodels Oltre ad estendere le funzionalità di `scipy.stats`, dovrebbe già contenere dei metodi per l'analisi con *suspended* data... Grazie mille. Spero che possano aiutarmi Ciao Chicca From: valerio.mag...@gmail.com Date: Fri, 10 Oct 2014 20:07:22 +0200 To: python@lists.python.it Subject: Re: [Python] Test statistici francesca senatore wrote:Ciao a tutti, sono da poco (e per poco intendo veramente poco) nel mondo python. Sono alle prime armi e non me ne volete se non sono molto preparata. Ciao Francesca, benvenuta! :) Al momento ho la necessità di eseguire dei test statistici (Kolmogorov-Smirnov test, Two Sample Tests, fit ai minimi quadrati) che erano inclusi in ASURV(analysis survival). Ho visto che python include questo pacchetto statistico. Che intendi? ASURV? Che roba è? Io ho trovato questo: http://python-asurv.sourceforge.netÈ lui? In ogni caso guardando mi pare di capire che si tratta di un software per dati astronimici/astro fisici[1]. Corretto? Nel caso il tuo dominio fosse quello, ti segnalo questi due progetti: **AstroPy**: http://www.astropy.org**AstroML**: http://www.astroml.org Sono ben documentati e molto supportati dalla comunità… certamente meglio di quel porting indicato poco prima.. anyway.. ——[1]: http://www.astrostatistics.psu.edu/statcodes/ Il mio problema non sono tanto le routine in se per se (che mi sembrano facili) ma l'inserimento dati. I miei dati includono i famosi censored data (upper e lower limits) ed errori sulle misure. Io vorrei includere anche questi valori ok, il tuo problema è chiaro (a parte che non capisco perché vuoi includere i censored data nel calcolo del fitting.. ma tant'è…. del resto, non hai specificato il dominio.. :P) quando faccio correre questi test. effettiva run, in inglese, significa correre… :D (kiddin') from scipy import stats import numpy as np x=1, 2, 3, 4, 5, 6, 7 y=5, 4, 7, 8, 9, 11, 12 vabeh, diciamo che questo non è esattamente codice Python.. :P slope, intercept, r_value, p_value, std_err = stats.linregress(x,y) Questa routine mi calcola il fit dandomi tutti i parametri che mi servono. Nei miei set di dati ci sono upper limit, cioè non detection (i famosi censored data), che voglio tenere in considerazione nel fit. In aggiunta ho un altro set di dati che riguardano gli errori sulle y. Io voglio includere anche questi parametri ma non so come fare. Io usavo ASURV per fare cose di questo genere tenendo in considerazione gli upper oppure i lower limits e in questo caso indicavo le detection (i valori effettivamente calcolati) con 0 e con 1 le nondetection (upper limit). Cioè generavo un file con tre colonne dove la prima colonna indicava il tipo di valore. Con python ho visto che questo è possibile perchè include molti metodi statistici di ASURV ma non riesco a capire come inserire questi valori. Io però a questo punto non ho capito quale sia **veramente** il tuo problema.. In ogni caso, penso che questo possa esserti utile: https://www.wakari.io/nb/pybokeh/Weibull_Analysis#part2Credo sia proprio un esempio di analisi che si avvicina a ciò che intendi fare… In generale, poi, ti segnalo anche `statsmodel`: https://github.com/statsmodels/statsmodels Oltre ad estendere le funzionalità di `scipy.stats`, dovrebbe già contenere dei metodi per l'analisi con *suspended* data... HTHValerio ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
Re: [Python] Pieter is fun (era: Re: Sane networking (era: Re: UDP+OOB e Conferenza Red Hat il 6 nov Roma))
Il giorno 09 ottobre 2014 13:18, Marco Beri marcob...@gmail.com ha scritto: 2014-10-09 10:25 GMT+02:00 Marco Buttu marco.bu...@gmail.com: On 09/10/2014 07:28, Nicola Larosa wrote: E poi, come si fa a non amare uno così?:-) The Life FAQhttp://hintjens.com/blog:77 Grazie :) Sto per morire dalle risate! :D Fantastico! :-) Grazie Nicola. grande! mi ha rallegrato il sabato buon 42 a tutti, Marco ... ammappate oh, noto ora la stratificazione dei Marco nelle risposte ___ Python mailing list Python@lists.python.it http://lists.python.it/mailman/listinfo/python
