Re: [Gfoss] inividuare record doppioni
On Sun, 3 Nov 2013 23:06:11 -0800 (PST), Novarese wrote: Geo DrinX wrote/ SpatiaLite rimuove i duplicati come attributi alfanumerici / Ho capito, ma casualmente o sulla base di un qualche criterio? Ciao Novarese, l'idea di sviluppare tutta una nuova generazione di tools sw interamente basati su criteri stocastici e' decisamente molto interessante ... purtroppo per ora SpatiaLite ha un orizzonte di riferimento molto piu' angusto di tipo tradizionale, e quindi le versioni attuali supportano esclusivamente algoritmi rigidamente deterministici :-D Gentilmente provalo col seguente mini-shapefile, e facci sapere, grazie: http://novarese.t15.org/gfoss/isole.zip il tuo SHP contiene due features geometriche (sicilia e sardegna), con un unico attributo informativo associato di tipo alfanumerico che assume in entrambi i casi il medesimo valore = isola. dato che l'algoritmo ammazza-doppioni di splite confronta *tutti* i valori-colonna (eccetto quelli che appartengono ad una eventuale Primary Key), ne consegue che le due righe sono sicuramente diverse tra di loro, e quindi il verdetto e' che non esiste nessuna feature duplicata all'interno del dataset isole. short recall: SpatiaLite e' semplicemente un'implementazione conforme degli standard internazionali OFC/SFS ed ISO SQL/MM che dettano le linee guida di implementazione per gli Spatial DBMS e per lo Spatial SQL. cioe' sostanzialmente e' uno strumento che supporta esattamente le medesime capacita' di Spatial Processing offerte da PostGIS e/o altri blasonati (e ben costosi) Spatial DBMS proprietari; con l'unica differenza che SpatiaLite e' di una semplicita' assolutamente elementare, e' sorprendentemente compatto e non richiede nessun tipo di installazione e configurazione. ed offre il bonus aggiuntivo che consente di importare ed esportare in modo assai semplice anche i vetustissimi ed obsoleti Shapefiles. SQL e' notoriamente un linguaggio standard progettato apposta per elaborare in modo efficiente datasets anche di enormi dimensioni (svariate decine di milioni di features, e pure oltre). ergo, ragionando in termini di puro SQL il problema di identificare tutti i duplicati presenti all'interno di un dataset diventa una banale query SQL estremamente compatta basata sui criteri di aggregazione (N.B. il bello di Spatial SQL e' che anche le geometrie diventano finalmente dati normali, piu' o meno proprio come gli altri): SELECT Count(*) AS dupl_cnt, colonna1, colonna2, , colonnaN FROM tavola GROUP BY colonna1, colonna2, ..., colonnaN HAVING dupl_cnt 1; e questo e' esattamente cio' che fa il tool ammazza-doppioni di SpatiaLite; una volta identificati i doppioni puo' opzionalmente procedere eliminando tutte le occorrenze ridondanti eccetto la prima. il valore aggiunto consiste banalmente nel fatto che e' direttamente il tool che si auto-scrive la query caso per caso previa ispezione delle meta-tavole di sistema del DB per generare l'elenco di tutte le colonne (comprese le eventuali geometrie) che appartengono alla tavola bersaglio. stop: nulla di piu' e nulla di meno. come vedi, non c'e' proprio nulla di casuale, e' tutto rigorosamente deterministico e facilmente riproducibile dall'A alla Z. ;-) nel caso speciale che ho visto citare in alcuni dei post precedenti (valutare i doppioni solo in base ai valori degli attributi ignorando le geometrie, o viceversa valutare solo le geometrie ignorando gli attributi, oppure valutare solo i valori di alcuni attributi ignorandone altri) il percorso diventa un pelino piu' complesso ma niente affatto proibitivo: - prima occorre derivare una tavola intermedia che contenga solo i valori che si vogliono prendere in considerazione - poi si usera' l'ammazza-doppioni su questa tavola - ed infine si potra' ricostruire il dataset complessivo finale eseguendo una banale JOIN tra le due tavole. - ovviamente in questo caso occorrera' sempre prestare la massima attenzione a preservare fedelmente tutti i valori delle Primary Keys durante le varie fasi del processo. ciao Sandro ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Il giorno 04 novembre 2013 08:06, Novarese sier...@gmail.com ha scritto: Geo DrinX wrote/ SpatiaLite rimuove i duplicati come attributi alfanumerici / Ho capito, ma casualmente o sulla base di un qualche criterio? Gentilmente provalo col seguente mini-shapefile, e facci sapere, grazie: http://novarese.t15.org/gfoss/isole.zip Divertente ;) Diciamo che un DB con un campo solo è utilissimo. Magari, se ci fosse anche un campo nome, forse ne uscirebbe qualcosa di più del gioco chi butti giù dalla torre... Ciao Roberto ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
x Novarese... MMQgis è un ottimo plugin !! Cmq il mio problema più che la sovrapposizione di geometria è relativa a doppioni di attributi di tabelle dbf da gestire a prescindere dalla geometria e rimanendo nello stesso ambiente di lavoro (i.e. sessione di QGIS). Il tool di GVSig segnalato da Antonio sembrerebbe perfetto. Magari qualche smanettone pythonato riesce a replicarlo per QIS ... Grazie a tutti per tutti i suggerimenti. - A.Ummarino -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584665.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Il giorno 01 novembre 2013 08:51, Novarese sier...@gmail.com ha scritto: Signori, mi pare di capire che il remove duplicate row di spatiaLite effettui una purga sui duplicati geometrici (ossia perfettamente sovrapposti) mentre l'OP Ummarino credo che alludesse agli oggetti con attributi duplicati (anche geometricamente distanti fra loro). SpatiaLite rimuove sia i duplicati grafici, sia i duplicati come attributi alfanumerici, nella combinazione che si vuole. Dipende come si struttura la query. Provare per credere. Roberto ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Geo DrinX wrote/ SpatiaLite rimuove i duplicati come attributi alfanumerici / Ho capito, ma casualmente o sulla base di un qualche criterio? Gentilmente provalo col seguente mini-shapefile, e facci sapere, grazie: http://novarese.t15.org/gfoss/isole.zip - -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584640.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Matteo Asioli wrote/ ancora non conosco SpatialLite / A titolo di cronaca, per eliminare i duplicati geometricamente sovrapposti, non c'e' bisogno di scomodare SpatiaLite, ma e' sufficiente il meraviglioso plugin MMQGIS... - -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584607.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Signori, mi pare di capire che il remove duplicate row di spatiaLite effettui una purga sui duplicati geometrici (ossia perfettamente sovrapposti) mentre l'OP Ummarino credo che alludesse agli oggetti con attributi duplicati (anche geometricamente distanti fra loro). A mio modesto avviso, la rimozione di oggetti sovrapposti puo' essere tranquillamente delegata ad un automatismo software, ma se gli oggetti sono distanti, allora e' l'utente che deve scegliere di quali privarsi... - -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584588.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Il 01/11/2013 08:51, Novarese ha scritto: Signori, mi pare di capire che il remove duplicate row di spatiaLite effettui una purga sui duplicati geometrici (ossia perfettamente sovrapposti) mentre l'OP Ummarino credo che alludesse agli oggetti con attributi duplicati (anche geometricamente distanti fra loro). A mio modesto avviso, la rimozione di oggetti sovrapposti puo' essere tranquillamente delegata ad un automatismo software, ma se gli oggetti sono distanti, allora e' l'utente che deve scegliere di quali privarsi... Infatti... Gestire gli attributi duplicati non e' automatizzabile, a meno che non sia definibile un criterio di priorita' sulle geometrie. Se puo' essere utile, gvSIG 1.12 ha un tool dedicato Tabella -- Seleziona duplicati che si attiva una volta selezionato un campo in tabella. Non e' presente di default, per cui va installato a parte mediante il Gestore delle estensioni -- Installazione da URL -- org.gvsig.selectduplicates. ciao Antonio -- Antonio Falciano http://www.linkedin.com/in/antoniofalciano ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Sicuramente è cosi' come dici te. Se sono oggetti identici , nel senso che hanno medesimi attributi e medesima geometria (unica deroga la chiave primaria che spesso è delegata a un campo auto-incrementale), se pero anche un solo camo (a parte la pk) diverge e qui ci metto anche la geometria , allora non si puo' piu' affidarsi a un automatismo, ma serve una selezione ragionata. La remove-duplicate di splite rimuove solo se sono tutti uguali geometria compresa (meno la pk). Andrea. Il giorno 01 novembre 2013 08:51, Novarese sier...@gmail.com ha scritto: Signori, mi pare di capire che il remove duplicate row di spatiaLite effettui una purga sui duplicati geometrici (ossia perfettamente sovrapposti) mentre l'OP Ummarino credo che alludesse agli oggetti con attributi duplicati (anche geometricamente distanti fra loro). A mio modesto avviso, la rimozione di oggetti sovrapposti puo' essere tranquillamente delegata ad un automatismo software, ma se gli oggetti sono distanti, allora e' l'utente che deve scegliere di quali privarsi... - -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584588.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 -- - Andrea Peri . . . . . . . . . qwerty àèìòù - ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Ciao..ma in QGIS riesci a selezionare i valori univoci ?? Che comando hai usato per individuarli ? - A.Ummarino -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584575.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Ciao..ma in QGIS riesci a selezionare i valori univoci ?? Che comando hai usato per individuarli ? Per individuare i valori univoci c'è un comando in vettore\strumenti di analisi\lista valori univoci. Ti permette di fare una lista ma non ho ancora capito come selezionarli direttamente da QGis. Come spiegavo sopra ho utilizzato la procedura di Novarese, adattandola in maniera artigianale.. Il giorno 31 ottobre 2013 09:05, Ummarino alessandro.ummar...@gmail.comha scritto: Ciao..ma in QGIS riesci a selezionare i valori univoci ?? Che comando hai usato per individuarli ? - A.Ummarino -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584575.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Matteo Asioli wrote/ In Quantum mi è bastato selezionare i valori doppioni e cancellarli / Ho paura che così perdi per strada N record, tanti quanti sono i valori multipli, e mi spiego con la seguente simulazione: http://novarese.t15.org/gfoss/if.gif http://novarese.t15.org/gfoss/if.gif http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/file/n7584573/if.gif Come vedi, il tuo metodo estrarrebbe solo il secondo e terzo record, perdendosi (giustamente) il quarto. Opterei per un altro approccio, precisamente usando il DBF come file temporaneo, senza usare ID fittizi. Una volta che sei arrivato al punto 9 del mio metodo, devi estrapolare SOLTANTO le singole occorrenze, e quindi non: CAIO CAIO SEMPRONIO SEMPRONIO SEMPRONIO TIZIO TIZIO TIZIO TIZIO bensì CAIO,SEMPRONIO,TIZIO una volta soltanto. Per fare questo, io uso l'editor gratuito NoteTab, che sorta una lista eliminando automaticamente i duplicati. Ora, quando hai: CAIO SEMPRONIO TIZIO li copi in Libreoffice, ed assembli la seguente clausola SQL mediante la funzione Concatenate del foglio elettronico: *NOME=CAIO or NOME=SEMPRONIO or NOME=TIZIO* e la dai in pasto a Qgis (menu LAYER = INTERROGAZIONE) In questo modo, hai la certezza matematica che verranno selezionati TUTTI i doppioni, senza perderne per strada alcuno. - -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584573.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Matteo Asioli wrote/ non ho ancora capito come selezionarli direttamente da QGis / Te l'ho scritto nel post di stamattina 31.10.2013 alle ore 8:43, quello con la schermata lampeggiante di Libreoffice... - -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584577.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Grazie Novarese...ma quale è il tuo nome? Si il tuo metodo è completo e me lo studio bene, perchè so che mi tornerà utile. Ti scoccerò in privato per approfondire se ho difficoltà. Nel mio caso ero sicuro che erano solo veri doppioni perchè lo shape era generato dalla fusione di due shape con particelle catastali, essendo due erano per forza due geometrie doppie. Ma il tuo considera anche se ci sono doppioni, triploni, e quadriploni...;) Matteo Il giorno 31 ottobre 2013 10:59, Novarese sier...@gmail.com ha scritto: Matteo Asioli wrote/ non ho ancora capito come selezionarli direttamente da QGis / Te l'ho scritto nel post di stamattina 31.10.2013 alle ore 8:43, quello con la schermata lampeggiante di Libreoffice... - -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584577.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Scusate, ma ho seguito questa discussione molto distrattamente, e quindi è molto probabile che lo abbiate già detto. Ma cosa vi impedisce di usare la funzione Maintenance - Remove duplicate rows di SpatiaLite ? Semplice, immediata e pulita. Ciao Roberto ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Ciao Matteo, mi faresti capire se i doppioni presenti nel tuo shapefile sono doppi a livello di dati o anche a livello di geometria duplicata, quindi medesime coordinate? Grazie Luca 2013/10/31 Geo DrinX geodr...@gmail.com Scusate, ma ho seguito questa discussione molto distrattamente, e quindi è molto probabile che lo abbiate già detto. Ma cosa vi impedisce di usare la funzione Maintenance - Remove duplicate rows di SpatiaLite ? Semplice, immediata e pulita. Ciao Roberto ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
si erano doppi sia in senso di geometria che di dati... scusate ma ancora non conosco SpatialLite Il giorno 31 ottobre 2013 18:24, Luca Mandolesi mandol...@gmail.com ha scritto: Ciao Matteo, mi faresti capire se i doppioni presenti nel tuo shapefile sono doppi a livello di dati o anche a livello di geometria duplicata, quindi medesime coordinate? Grazie Luca 2013/10/31 Geo DrinX geodr...@gmail.com Scusate, ma ho seguito questa discussione molto distrattamente, e quindi è molto probabile che lo abbiate già detto. Ma cosa vi impedisce di usare la funzione Maintenance - Remove duplicate rows di SpatiaLite ? Semplice, immediata e pulita. Ciao Roberto ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Matteo Asioli wrote/ in Qgis riesco ad individuare i record univoci / La tecnica che ho suggerito scova i doppioni all'interno di un foglio elettronico, dopodichè costruisce l'interrogazione SQL da incollare in Qgis. 1] lancia l'opensource Libreoffice, e setta la lingua come inglese 2] apri una copia PIPPO del file .DBF contenuto nello shapeset PLUTO 3] cancellare tutto tranne la colonna contenente i doppioni 4] sortare alfabeticamente la colonna A 5] supponendo che in A1 ci sia il nome del campo, inserisci in B2 la formula *=IF(A3=A2)* 6] propaga il contenuto di B1 a tutta la colonna B 7] dove vedi TRUE significa che c'è un doppione 8] DATA = FILTER = AUTOFILTER ed estrapoli solo i valori TRUE (che in Libreoffice sono marcati come 1) 9] copia la sotto-colonna A in un foglio vuoto, ottenendo i valori doppi come occorrenze univoche Rifatti vivo quando sei arrivato a questo punto, grazie. - -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584553.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
...ho intuito la procedura che fai. ma riesco anche con openoffice? Il giorno 30 ottobre 2013 08:15, Novarese sier...@gmail.com ha scritto: Matteo Asioli wrote/ in Qgis riesco ad individuare i record univoci / La tecnica che ho suggerito scova i doppioni all'interno di un foglio elettronico, dopodichè costruisce l'interrogazione SQL da incollare in Qgis. 1] lancia l'opensource Libreoffice, e setta la lingua come inglese 2] apri una copia PIPPO del file .DBF contenuto nello shapeset PLUTO 3] cancellare tutto tranne la colonna contenente i doppioni 4] sortare alfabeticamente la colonna A 5] supponendo che in A1 ci sia il nome del campo, inserisci in B2 la formula *=IF(A3=A2)* 6] propaga il contenuto di B1 a tutta la colonna B 7] dove vedi TRUE significa che c'è un doppione 8] DATA = FILTER = AUTOFILTER ed estrapoli solo i valori TRUE (che in Libreoffice sono marcati come 1) 9] copia la sotto-colonna A in un foglio vuoto, ottenendo i valori doppi come occorrenze univoche Rifatti vivo quando sei arrivato a questo punto, grazie. - -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584553.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
ok ci sono riuscito anche con openoffice ad individuare i doppioni...ora però se non mi sbaglio e vado a modificare il dpf togliendoli...non mi dovrebbe ritornare lo shape in quanto gli mancano dei record...o mi sbaglio? Il giorno 30 ottobre 2013 08:15, Novarese sier...@gmail.com ha scritto: Matteo Asioli wrote/ in Qgis riesco ad individuare i record univoci / La tecnica che ho suggerito scova i doppioni all'interno di un foglio elettronico, dopodichè costruisce l'interrogazione SQL da incollare in Qgis. 1] lancia l'opensource Libreoffice, e setta la lingua come inglese 2] apri una copia PIPPO del file .DBF contenuto nello shapeset PLUTO 3] cancellare tutto tranne la colonna contenente i doppioni 4] sortare alfabeticamente la colonna A 5] supponendo che in A1 ci sia il nome del campo, inserisci in B2 la formula *=IF(A3=A2)* 6] propaga il contenuto di B1 a tutta la colonna B 7] dove vedi TRUE significa che c'è un doppione 8] DATA = FILTER = AUTOFILTER ed estrapoli solo i valori TRUE (che in Libreoffice sono marcati come 1) 9] copia la sotto-colonna A in un foglio vuoto, ottenendo i valori doppi come occorrenze univoche Rifatti vivo quando sei arrivato a questo punto, grazie. - -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584553.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
ok Grazie Novarese alla fine ci sono riuscitograzie mille della tua procedura unita alla pazienza! Matteo Il giorno 30 ottobre 2013 08:15, Novarese sier...@gmail.com ha scritto: Matteo Asioli wrote/ in Qgis riesco ad individuare i record univoci / La tecnica che ho suggerito scova i doppioni all'interno di un foglio elettronico, dopodichè costruisce l'interrogazione SQL da incollare in Qgis. 1] lancia l'opensource Libreoffice, e setta la lingua come inglese 2] apri una copia PIPPO del file .DBF contenuto nello shapeset PLUTO 3] cancellare tutto tranne la colonna contenente i doppioni 4] sortare alfabeticamente la colonna A 5] supponendo che in A1 ci sia il nome del campo, inserisci in B2 la formula *=IF(A3=A2)* 6] propaga il contenuto di B1 a tutta la colonna B 7] dove vedi TRUE significa che c'è un doppione 8] DATA = FILTER = AUTOFILTER ed estrapoli solo i valori TRUE (che in Libreoffice sono marcati come 1) 9] copia la sotto-colonna A in un foglio vuoto, ottenendo i valori doppi come occorrenze univoche Rifatti vivo quando sei arrivato a questo punto, grazie. - -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584553.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Matteo Asioli wrote/ se vado a modificare il dpf togliendoli...non mi dovrebbe ritornare lo shape in quanto gli mancano dei record / ...e difatti ho scritto di usare una copia PIPPO dell'originale PLUTO, per evitare che per sbaglio ti scappasse il mouse sull'icona di salvataggio. Congratulazioni per il successo, e per curiosita': come hai assemblato l'istruzione di query per selezionare i doppioni in Qgis..? - -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584563.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
lista_di tutti_i_record = [lista_di tutti_i_record] lista_id_record_doppi = [] lista_dati_rec_corrente = [contiene i valori della prima riga] lista_di tutti_i_record.sort() n = 1 for singolo_record in range(len(lista_di tutti_i_record)): if n len(lista_di tutti_i_record): return 2013/10/30 Matteo Asioli matteoasiol...@gmail.com ok Grazie Novarese alla fine ci sono riuscitograzie mille della tua procedura unita alla pazienza! Matteo Il giorno 30 ottobre 2013 08:15, Novarese sier...@gmail.com ha scritto: Matteo Asioli wrote/ in Qgis riesco ad individuare i record univoci / La tecnica che ho suggerito scova i doppioni all'interno di un foglio elettronico, dopodichè costruisce l'interrogazione SQL da incollare in Qgis. 1] lancia l'opensource Libreoffice, e setta la lingua come inglese 2] apri una copia PIPPO del file .DBF contenuto nello shapeset PLUTO 3] cancellare tutto tranne la colonna contenente i doppioni 4] sortare alfabeticamente la colonna A 5] supponendo che in A1 ci sia il nome del campo, inserisci in B2 la formula *=IF(A3=A2)* 6] propaga il contenuto di B1 a tutta la colonna B 7] dove vedi TRUE significa che c'è un doppione 8] DATA = FILTER = AUTOFILTER ed estrapoli solo i valori TRUE (che in Libreoffice sono marcati come 1) 9] copia la sotto-colonna A in un foglio vuoto, ottenendo i valori doppi come occorrenze univoche Rifatti vivo quando sei arrivato a questo punto, grazie. - -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584553.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Scusate, mi è scappata la mail...stavo provando a mettere giù le linee guida di Novarese in codice pseudopython, magari ci facciamo un piccolo plugin...Scusate ancoracontinuo nel prossimo post... Ciao Luca 2013/10/30 Luca Mandolesi mandol...@gmail.com lista_di tutti_i_record = [lista_di tutti_i_record] lista_id_record_doppi = [] lista_dati_rec_corrente = [contiene i valori della prima riga] lista_di tutti_i_record.sort() n = 1 for singolo_record in range(len(lista_di tutti_i_record)): if n len(lista_di tutti_i_record): return 2013/10/30 Matteo Asioli matteoasiol...@gmail.com ok Grazie Novarese alla fine ci sono riuscitograzie mille della tua procedura unita alla pazienza! Matteo Il giorno 30 ottobre 2013 08:15, Novarese sier...@gmail.com ha scritto: Matteo Asioli wrote/ in Qgis riesco ad individuare i record univoci / La tecnica che ho suggerito scova i doppioni all'interno di un foglio elettronico, dopodichè costruisce l'interrogazione SQL da incollare in Qgis. 1] lancia l'opensource Libreoffice, e setta la lingua come inglese 2] apri una copia PIPPO del file .DBF contenuto nello shapeset PLUTO 3] cancellare tutto tranne la colonna contenente i doppioni 4] sortare alfabeticamente la colonna A 5] supponendo che in A1 ci sia il nome del campo, inserisci in B2 la formula *=IF(A3=A2)* 6] propaga il contenuto di B1 a tutta la colonna B 7] dove vedi TRUE significa che c'è un doppione 8] DATA = FILTER = AUTOFILTER ed estrapoli solo i valori TRUE (che in Libreoffice sono marcati come 1) 9] copia la sotto-colonna A in un foglio vuoto, ottenendo i valori doppi come occorrenze univoche Rifatti vivo quando sei arrivato a questo punto, grazie. - -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584553.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Salve, riprendo la mia prova. Provando a guardare la procedura indicata da novarese e aggiungendo le appropriate classi di pyqgis per accedere ai vettori credo che la procedura possa essere questa. # lista_di tutti_i_record = [lista_di tutti_i_record] lista_id_record_doppi = [] lista_dati_rec_corrente = [contiene i valori della prima riga] lista_di tutti_i_record.sort() n = 1 for singolo_record in range(len(lista_di tutti_i_record)): if n len(lista_di tutti_i_record): return lista_id_record_doppi else: if lista_dati_rec_corrente == lista_di tutti_i_record[n]: lista_id_record_doppi.append(id_record) n+=1 else: lista_dati_rec_corrente = lista_di tutti_i_record[n] n+=1 funzione_rimuovi_tutti_gli_id_doppi(lista_id_record_doppi ) Scritta al volo...diciamo che per un database avrei già pronte le varie funzioni...per uno shape devo solo guardare le classi di pyQgis per i vettoriali... Suggerimenti? Errori macroscopici? Ciao Luca 2013/10/30 Luca Mandolesi mandol...@gmail.com Scusate, mi è scappata la mail...stavo provando a mettere giù le linee guida di Novarese in codice pseudopython, magari ci facciamo un piccolo plugin...Scusate ancoracontinuo nel prossimo post... Ciao Luca 2013/10/30 Luca Mandolesi mandol...@gmail.com lista_di tutti_i_record = [lista_di tutti_i_record] lista_id_record_doppi = [] lista_dati_rec_corrente = [contiene i valori della prima riga] lista_di tutti_i_record.sort() n = 1 for singolo_record in range(len(lista_di tutti_i_record)): if n len(lista_di tutti_i_record): return 2013/10/30 Matteo Asioli matteoasiol...@gmail.com ok Grazie Novarese alla fine ci sono riuscitograzie mille della tua procedura unita alla pazienza! Matteo Il giorno 30 ottobre 2013 08:15, Novarese sier...@gmail.com ha scritto: Matteo Asioli wrote/ in Qgis riesco ad individuare i record univoci / La tecnica che ho suggerito scova i doppioni all'interno di un foglio elettronico, dopodichè costruisce l'interrogazione SQL da incollare in Qgis. 1] lancia l'opensource Libreoffice, e setta la lingua come inglese 2] apri una copia PIPPO del file .DBF contenuto nello shapeset PLUTO 3] cancellare tutto tranne la colonna contenente i doppioni 4] sortare alfabeticamente la colonna A 5] supponendo che in A1 ci sia il nome del campo, inserisci in B2 la formula *=IF(A3=A2)* 6] propaga il contenuto di B1 a tutta la colonna B 7] dove vedi TRUE significa che c'è un doppione 8] DATA = FILTER = AUTOFILTER ed estrapoli solo i valori TRUE (che in Libreoffice sono marcati come 1) 9] copia la sotto-colonna A in un foglio vuoto, ottenendo i valori doppi come occorrenze univoche Rifatti vivo quando sei arrivato a questo punto, grazie. - -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584553.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Il 30/10/2013 20:11, Luca Mandolesi ha scritto: Suggerimenti? Errori macroscopici? Non ho seguito la discussione per intero ma in Python un modo molto rapido ed efficiente di ottenere un insieme di valori non ripetuti da una lista è set(): In [1]: lista = [1, 2, 3, 4, 5, 1, 3, 5] In [2]: set(lista) Out[2]: set([1, 2, 3, 4, 5]) Credo che possa essere utile anche in questo caso, magari scrivendo la procedura in modo più pythonico :-) Ciao steko -- Stefano Costa http://steko.iosa.it/ ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Ciao Stefano, provo a ragionarci, ma qui si tratterebbe di ricavare i record duplicati che hanno uguali valori dentro le colonne Set funziona anche su una lista di liste? lista = [[1, 2, 3], [1, 2, 4], [1, 2, 3]] set(lista) out = set([1, 2, 3], [1, 2, 4]) 2013/10/30 Stefano Costa st...@iosa.it Il 30/10/2013 20:11, Luca Mandolesi ha scritto: Suggerimenti? Errori macroscopici? Non ho seguito la discussione per intero ma in Python un modo molto rapido ed efficiente di ottenere un insieme di valori non ripetuti da una lista è set(): In [1]: lista = [1, 2, 3, 4, 5, 1, 3, 5] In [2]: set(lista) Out[2]: set([1, 2, 3, 4, 5]) Credo che possa essere utile anche in questo caso, magari scrivendo la procedura in modo più pythonico :-) Ciao steko -- Stefano Costa http://steko.iosa.it/ ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
...be forse mi sono mosso in maniera più artigianale, ma ho fatto cosi. nella copia dello shape file ho lavorato sul DB come hai detto te, creandomi prima un campo numerico ID per poter poi riposizionare alla fine i record alla fine del processo. In un campo nuovo ho creato la tua formula *IF=(A2=A3; doppioni)* proprio come mi hai detto tu. Poi ho copiato tali valori doppioni in una nuova colonna solo come testo. Ho poi riposizionato i record come ID. In Quantum mi è bastato selezionare i valori doppioni e cancellarli. Senza il tuo suggerimento non ci sarei arrivatolo so forse un po artigianale, ma alla fine conta anche il risultato...o mi sbaglio? Grazie ancora! Il giorno 30 ottobre 2013 17:59, Novarese sier...@gmail.com ha scritto: Matteo Asioli wrote/ se vado a modificare il dpf togliendoli...non mi dovrebbe ritornare lo shape in quanto gli mancano dei record / ...e difatti ho scritto di usare una copia PIPPO dell'originale PLUTO, per evitare che per sbaglio ti scappasse il mouse sull'icona di salvataggio. Congratulazioni per il successo, e per curiosita': come hai assemblato l'istruzione di query per selezionare i doppioni in Qgis..? - -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584563.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Il 30/10/2013 20:36, Luca Mandolesi ha scritto: Set funziona anche su una lista di liste? Liste no (non sono hashable) ma tuple sì: In [7]: lista = [(1, 2, 3), (1, 2, 4), (1, 2, 3)] In [8]: set(lista) Out[8]: set([(1, 2, 4), (1, 2, 3)]) Comunque se metti insieme una versione funzionante della procedura proviamo a migliorarla seguendo questa pista. Penso che ne vada anche dell'efficienza nell'esecuzione. Ciao, steko -- Stefano Costa http://steko.iosa.it/ ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Ottimo! Grazie! Allora proviamo a mettere su una prima versione. Ciao ps: hai visto la mail con l'evoluzione del tuo script per il matrix con pygraphviz? 2013/10/30 Stefano Costa st...@iosa.it Il 30/10/2013 20:36, Luca Mandolesi ha scritto: Set funziona anche su una lista di liste? Liste no (non sono hashable) ma tuple sě: In [7]: lista = [(1, 2, 3), (1, 2, 4), (1, 2, 3)] In [8]: set(lista) Out[8]: set([(1, 2, 4), (1, 2, 3)]) Comunque se metti insieme una versione funzionante della procedura proviamo a migliorarla seguendo questa pista. Penso che ne vada anche dell'efficienza nell'esecuzione. Ciao, steko -- Stefano Costa http://steko.iosa.it/ ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Scusate se mi attacco alla discusione un po in ritardo e forse chiusa, ma avevo proprio l'identico problema sulla individuazione dei doppioni. Ho visto che in QGis c'è un comando sulla ricerca dei valori univoci...che poi non capisco come diceva Novarese che invertiva per selezionare i doppionipoi non ho ben capito come è stata risolta la questione sulla eliminazione di uno dei due doppioni individuati...chiedo in particolare a Novarese.. Grazie -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584549.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Matteo Asioli wrote/ chiedo in particolare a Novarese / Cosa in particolare non ti funziona, la fase nel foglio elettronico o quella in Qgis.._ - -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584550.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
in Qgis riesco ad individuare i record univoci, ma non capisco come selezionare poi i doppioni, e ad ogni modo una volta individuati, quale procedura usare per andare a escludere uno dei due valori doppi. In sostanza non ho ben capito la soluzione che si proponeva. Il giorno 29 ottobre 2013 18:22, Novarese sier...@gmail.com ha scritto: Matteo Asioli wrote/ chiedo in particolare a Novarese / Cosa in particolare non ti funziona, la fase nel foglio elettronico o quella in Qgis.._ - -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584550.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Direi che alla fine la soluzione più veloce è proprio come dici tu...foglio di calcolo e via - A.Ummarino -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7583990.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
E come fai a tenere allineate le geometrie del file .shp con gli attributi del file .dbf ? :)) Lo shapefile ha una relazione posizionale. Il foglio excel ti consente di rimuovere elementi da il dbf, ma non interviene nel file .shp. Per cui ti ritrovi alla fine con uno shapefile corretto, perche' avrai N record nel file shp e N-X record nel file dbf (dove X sono i doppioni rimossi). Stai attento a fare le cose per bene altrimenti ti ritrovi poi con un altro problema molto meno gestibile di questo. Io userei la spatialite-gui . Andrea. On 12/10/2013 14:32, Ummarino wrote: Direi che alla fine la soluzione più veloce è proprio come dici tu...foglio di calcolo e via - A.Ummarino -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7583990.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Andrea Peri wrote E come fai a tenere allineate le geometrie del file .shp con gli attributi del file .dbf ? L'importante è individuare i doppioni; una volta individuati li selezioni da dentro qgis. Se i doppioni sono pochi, filtrare il dbf mi pare la soluzione più veloce; se sono molti è meglio portare tutto su spatialite, come hai detto tu. Ciao, Marco -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7583992.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Novarese wrote Siccome Unmarino parlava di 8000 record, quindi un numero inferiore ai 2^16 gestiti da Excel 200x, la procedura che ho indicato sopra e' probabilmente la piu' agile. io preferisco la riga di comando, è molto più veloce (v. messaggio del 10 ottobre). -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584005.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Novarese wrote
Marco Curreli wrote
/
io preferisco la riga di comando, è molto più veloce
/
Cronometro alla mano, hai senz'altro ragione, ma permettimi un appunto da
ignorante totale dell'ambiente Grass
Nello specifico, mi riferivo all'indivuazione dei doppioni, partendo dal dbf
esportato come csv:
cat miofile.csv | gawk -F, '{print $3}' | uniq -dc
oppure in grass:
v.db.select map=mymap | gawk -F| '{print $4}' | uniq -dc
restituisce le righe duplicate, indicando il numero di duplicazioni
--
View this message in context:
http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7584007.html
Sent from the Gfoss -- Geographic Free and Open Source Software - Italian
mailing list mailing list archive at Nabble.com.
___
Gfoss@lists.gfoss.it
http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss
Questa e' una lista di discussione pubblica aperta a tutti.
I messaggi di questa lista non hanno relazione diretta con le posizioni
dell'Associazione GFOSS.it.
666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Ho capito bene, una cosa tipo questa ti servirebbe: http://stackoverflow.com/questions/2594829/finding-duplicate-values-in-a-sql-table Ciao Luca 2013/10/10 Ummarino alessandro.ummar...@gmail.com QGIS 2.0 Qualcuna mi sa indicare la procedura corretta per individuare (e selezionare) dei valori (di un campo) doppi in un tabella attributi con + di 8000 record da passare i rassegna ? - A.Ummarino -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Mi sembra di si...ma in QGIS come posso selzionare (o meglio fare una selezione) in una tabella attribuiti dei doppioni di un valore di un campo?? Pensavo di selezionare i valori unici e poi invertire la selezionema mi sono accorto che non sò come selezionare i valori unici (la tabella ha più di 8000 record) - A.Ummarino -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7583921.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
su spatialite-GUI e anche sulla CLI ci sono due procedure per localizzare doppioni e per rimuoverli. On 10/10/2013 15:20, Ummarino wrote: Mi sembra di si...ma in QGIS come posso selzionare (o meglio fare una selezione) in una tabella attribuiti dei doppioni di un valore di un campo?? Pensavo di selezionare i valori unici e poi invertire la selezionema mi sono accorto che non sò come selezionare i valori unici (la tabella ha più di 8000 record) - A.Ummarino -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7583921.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
aspetta, forse te ti riferivi a un capo solo. Le procedure di spatialite invece localizzano record doppioni. Ovvero doppioni su tutti i campi salvo la PK ovviamente. Andrea. On 10/10/2013 15:20, Ummarino wrote: Mi sembra di si...ma in QGIS come posso selzionare (o meglio fare una selezione) in una tabella attribuiti dei doppioni di un valore di un campo?? Pensavo di selezionare i valori unici e poi invertire la selezionema mi sono accorto che non sò come selezionare i valori unici (la tabella ha più di 8000 record) - A.Ummarino -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7583921.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
2013/10/10 Ummarino alessandro.ummar...@gmail.com Mi sembra di si...ma in QGIS come posso selzionare (o meglio fare una selezione) in una tabella attribuiti dei doppioni di un valore di un campo?? Pensavo di selezionare i valori unici e poi invertire la selezionema mi sono accorto che non sò come selezionare i valori unici (la tabella ha più di 8000 record) Allora, fatico ancora a capire, stai dicendo che in una tabella persone ID | nome | cognome 1 | Luca | Mandolesi Tabella attributi ID | ForegnKey | Indirizzo 1 | 1 | Via san Giorgio 12 2 | 1 | Via san Giorgio 12 é questo a cui ti riferisci? Vuoi individuare i record doppi sia per foreignKey che per campo che scegli tu? Ho capito bene? - A.Ummarino -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7583921.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013 ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Forse è un pò piu semplice: In QGIS il layer persone.shp ha una tabella attributi persone.dbf. Voglio selezionare i doppioni relativi a un campo attributi: Tabella persone ID | NOME | COGNOME|ALTRO 1 | paolo | rossi | rossi_brutto1 2 | andrea | bianchi| bianchi_bello1 3 | paolo| rossi | rossi_brutto1 4 | luca | verdi | verdi_bello1 5 | andrea | bianchi| bianchi_bello2 Devo eliminare il record ID 3.sulla base del doppione del campo ALTRO, quindi o lancio una selezione di tutti i recod univoci (sempre sulla base del campo ALTRO) e poi per eslusione elemino gli altri che a questo punto sono i miei doppioni...o individuo i doppionie li elimino Come si fa in QGIS ? - A.Ummarino -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7583925.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
mando wrote/ sul DBF non mi viene in mente nulla / Credo che il metodo piu' veloce sia caricare il DBF in Excel, estrapolare i doppioni con una condizione IF e, sempre in Excel, assemblare una clausola Sql per Qgis che nell'esempio suddetto sarebbe: ID = 1 OR ID = 3 - -- View this message in context: http://gfoss-geographic-free-and-open-source-software-italian-mailing.3056002.n2.nabble.com/inividuare-record-doppioni-tp7583918p7583932.html Sent from the Gfoss -- Geographic Free and Open Source Software - Italian mailing list mailing list archive at Nabble.com. ___ Gfoss@lists.gfoss.it http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss Questa e' una lista di discussione pubblica aperta a tutti. I messaggi di questa lista non hanno relazione diretta con le posizioni dell'Associazione GFOSS.it. 666 iscritti al 22.7.2013
Re: [Gfoss] inividuare record doppioni
Qualcuna mi sa indicare la procedura corretta per individuare (e
selezionare) dei valori (di un campo) doppi in un tabella attributi con + di
8000 record da passare i rassegna ?
parziale rettifica del messaggio precedente: è meglio ordinare con `sort` prima
di dare il comando `uniq`
v.db.select map=mymap | gawk -F| '{print $4}' | sort | uniq -dc
cat miofile.csv | gawk -F, '{print $3}' | sort | uniq -dc
Saluti,
Marco
___
Gfoss@lists.gfoss.it
http://lists.gfoss.it/cgi-bin/mailman/listinfo/gfoss
Questa e' una lista di discussione pubblica aperta a tutti.
I messaggi di questa lista non hanno relazione diretta con le posizioni
dell'Associazione GFOSS.it.
666 iscritti al 22.7.2013
