Re: [NUUG kart] NVDB import destroyed existing data

[Arne Johannessen]

NKA mapper wrote:
> 
> Nå har jeg forsøkt en revert av alt øst for fjorden, men det gikk ikke så
> bra (den tok med seg begge sider av fjorden selv om nordvestsiden var
> fjernet med Purge).

Akkurat. Problemet med JOSM er at når Reverter sletter entities, så er
det ikke lenger mulig å få til en selection på disse for så å bruke
Purge på dem.

Men det burde være mulig å purge de direkte fra JOSM-filen med en liten
skript. Utfordringen her er relations ... men regner med at jeg får det
til. Bare gi meg litt tid.

Tilfeldigvis ser jeg nettopp at din import slettet relation 3201742, som
beskriver Fv48. Skal jeg gjenopprette eller slette denne?


-- 
Arne Johannessen

___
kart mailing list
kart@nuug.no
https://lists.nuug.no/mailman/listinfo/kart

Re: [NUUG kart] NVDB import destroyed existing data

[NKA mapper]

Nå har jeg forsøkt en revert av alt øst for fjorden, men det gikk ikke så
bra (den tok med seg begge sider av fjorden selv om nordvestsiden var
fjernet med Purge). Så jeg har rullet tilbake igjen til stadiet etter din
revert.

Da tror jeg ikke jeg får til dette. Du kan evt. spørre DWG om assistanse
for å rulle tilbake din revert øst for fjorden. Tror Johan i Entur har fått
hjelp der en gang.

/NKA


lør. 21. mar. 2020 kl. 19:52 skrev Arne Johannessen :

>
> * * *
>
> Akkurat nå er jeg mest opptatt av spørsmålet:
> Hva kan *jeg* gjøre for å hjelpe i denne situasjonen?
>
> Ditt forslag om å splitte kommunen langs Kvinnheradsfjorden høres veldig
> fornuftig ut.
> Har du en enkel mulighet til å gjennomføre dette?
>
> Jeg kunne også gjøre dette hvis du skulle foretrekke det, men det blir i
> så fall første gang for meg med en geografisk begrenset revert på denne
> størrelsesorden.
>
> Jeg er dessuten bevisst at noen deler av din import her på nordsida av
> fjorden har bra kvalitet. Jeg ser det som mitt ansvar å flette inn dine
> endringer her etterpå. (Selvfølgelig er i utgangspunktet alle velkommen
> til å bidra, men noe slikt forventer jeg altså ikke.)
>
> Hva synes du / dere andre?
>
> Hilsen,
> cck
>
>
> --
> Arne Johannessen
> 
> ___
> kart mailing list
> kart@nuug.no
> https://lists.nuug.no/mailman/listinfo/kart
>
___
kart mailing list
kart@nuug.no
https://lists.nuug.no/mailman/listinfo/kart

Re: [NUUG kart] NVDB import destroyed existing data

[Arne Johannessen]

Hei NKA,

takk skal du ha for ditt detaljert svar.

Du har helt rett i at mitt lokalkunnskap er stort sett her på
"nordsida", altså nordvest for Kvinnheradsfjorden. På grunn av dette var
problemene *her* veldig lett å se for meg. Jeg "extrapolerte" dette til
hele kommunen, men må spakt innrømme at jeg ikke gjorde en grundig sjekk
der.

Det har jeg nå tatt igjen et par steder på sørsida, og ser nå at det er
faktisk vanskelig å påpeke åpenbare feil i importen der.

(Tvert i motsetning til nordsida. Muligens er kvaliteten i NVDB rett og
slett for dårlig her. Om ønskelig kan jeg komme med screenshots som
sammenligner noen eksempler fra før og etter importen for å utdype dette.)

Så vidt jeg kan bedømme per nå, var kvaliteten av importen altså i
realiteten stort sett bra sør av fjorden. Det er muligens ikke engang
nødvendig å ta en ekstra gjennomgang av alt.

Takket være din forklaring, forstår jeg nå også veldig godt at din
bearbeidelse var absolutt ikke blitt kjørt automatisert og stort sett
uten tilsyn, slik jeg først trodde.

Men uansett hvilke problemer det nå var med importen: Det å ikke spørre
deg først, var en grov feilvurdering og uhøflighet fra min side. Rett og
slett uproff av meg, og du må tro meg at jeg sitter her med svært dårlig
samvittighet.

* * *

Akkurat nå er jeg mest opptatt av spørsmålet:
Hva kan *jeg* gjøre for å hjelpe i denne situasjonen?

Ditt forslag om å splitte kommunen langs Kvinnheradsfjorden høres veldig
fornuftig ut.
Har du en enkel mulighet til å gjennomføre dette?

Jeg kunne også gjøre dette hvis du skulle foretrekke det, men det blir i
så fall første gang for meg med en geografisk begrenset revert på denne
størrelsesorden.

Jeg er dessuten bevisst at noen deler av din import her på nordsida av
fjorden har bra kvalitet. Jeg ser det som mitt ansvar å flette inn dine
endringer her etterpå. (Selvfølgelig er i utgangspunktet alle velkommen
til å bidra, men noe slikt forventer jeg altså ikke.)

Hva synes du / dere andre?

Hilsen,
cck


-- 
Arne Johannessen

___
kart mailing list
kart@nuug.no
https://lists.nuug.no/mailman/listinfo/kart

Re: [NUUG kart] NVDB import destroyed existing data

[NKA mapper]

Det er helt greit å ha synspunkter på importen, og jeg skal være den første
til å være enig i at det kan forekomme tabber under slike store importer.
Det jeg har reagert på er at saken ikke ble diskutert før revert ble gjort.
Jeg kunne enkelt ha rettet opp de forholdene som er nevnt, og jeg kunne ha
gjort selektiv revert på det lille hjørnet av kommunen i nordvest der du
har mappet (ca 500 veier av totalt ca 4000 veier i kommunen). I stedet er
nå tre dagers arbeid og flere tusen veier tapt.

Prosjektet her har vært å få ferdig Elveg/NVDB-importen i Norge fordi det
fremdeles mangler et kolossalt antall veier i OSM, og fordi det er mye
offset fra Bing-tiden:
https://wiki.openstreetmap.org/wiki/Import/Catalogue/Road_import_(Norway)/Progress.
Deretter er det mye enklere å forbedre og fornye i OSM.

I Kvinnherad var en del veier bra, særlig der du har jobbet i nordvest, men
det var også mye offset, en stor andel veldig kantede veier, feil
fartsgrenser, mye feil tagging osv. i kommunen. Hele 2600 veier i NVDB
manglet i OSM for Kvinnherad og ble importert, og importen la inn ny
topologi for 1600 veier. Importen gir i det store og hele et meget stort
løft for OSM i det meste av kommunen. Dette var ikke en "blind" import, men
medførte manuell fletting av 900 eksisterende veier/stier som fremdeles er
i OSM. Hver enkelt ble sjekket mot ortofoto. Et stor antall veier fra NVDB
ble manuelt forbedret før de ble importert. Samtidig har jeg ikke noe
problem med å se at det alltid er rom for forbedringer og at det sikkert
finnes noen tabber i importen.

NVDB-filen for Kvinnherad er her:
https://www.jottacloud.com/s/059f4e21889c60d4e4aaa64cc857322b134

Jeg foreslår at vi nå beholder hele "ditt" område nordøst for
Kvinnheradsfjorden, og at jeg tilbakefører importen for resten av kommunen.
Jeg skal i tillegg ta en ekstra gjennomgang av alt. Det er sikkert noe som
kan gjøres enda bedre. Jeg kommer ikke til å gjøre denne importen en gang
til helt fra grunnen ...
___
kart mailing list
kart@nuug.no
https://lists.nuug.no/mailman/listinfo/kart

[NUUG kart] NVDB import destroyed existing data

[Arne Johannessen]

Hi everybody,

I'm writing this in English in the interest of expediency, as Norwegian is not 
my first language and it takes a bit more time to craft good wording in it. 
Please do feel free to respond in Norwegian if you like.


I'm referring to the NVDB import policy of not destroying existing OSM data. 
[1] A recent import (Kvinnherad kommune) [2] has in fact destroyed a lot of 
existing data, so much so that clearly the only option was to revert.

Because this particular case was so clear cut, I went ahead with the revert. 
[3] While I did so with the OSM policy on bad edits and vandalism in mind, I 
have realised now that I perhaps acted too quickly. My quick action makes it 
harder to demonstrate the very real problems with these edits in Kvinnherad to 
an audience, including the person who performed the import edits.

In this light, my quick revert seems like a really bad idea in retrospect.

Please forgive my swiftness. It would appear I simply did not think this 
through. I should have discussed the problem before the revert.

That said, these particular edits ignore the NVDB import policy in many 
aspects, and as a local community member, I did in fact feel that these edits 
came close to vandalism. I do maintain that, regrettably, but objectively, a 
revert would have been the only option in this particular case.

The person who performed these edits has requested that the discussion be 
public, [3] therefore I'm taking this to the mailing list. Copied below is what 
I wrote earlier.

I intend to come back to this mailing list thread later today.

As I've already indicated below/earlier, my interest is to constructively find 
a solution for updating the OSM data in Kvinnherad using NVDB. I do support the 
import project as such (as described on the wiki). My issue is with the 
execution specifically in Kvinnherad. And I'm here to help.

Again, my apologies for acting on the moment.


[1] 
https://wiki.openstreetmap.org/wiki/Import/Catalogue/Road_import_(Norway)#Conflation.2Fconflicts_with_existing_OSM_data
[2] https://www.openstreetmap.org/changeset/81983119  (and others)
[3] https://www.openstreetmap.org/changeset/82451170  (and others)


cck wrote (via OSM message):
> 

> Hei NKA, takk for at du nylig prøvde å kjøre NVDB-import her i Kvinnherad.
> 
> Jeg var dessverre nødt til å 
> [reverte](https://www.openstreetmap.org/changeset/82451421) importen. Dette 
> fordi denne importen ødela mange verdifulle bidrag fra den lokale community 
> her. Den introduserte mange feil både i topologi, geometri, og metadata.
> 
> En viktig del av nettopp denne importen er å ta vare på eksisterende data. Se 
> også:
> 
> :
> 
>> **ALWAYS** keep the OSM data **UNLESS** you know that the OSM data are wrong 
>> […]
> 
> 
> Fordi importen ble ikke gjennomført i tråd med policy i det at så mye 
> forskjellig data ble slettet, var det dessverre ingen andre muligheter enn 
> revert.
> 
> - - -
> 
> Så vidt jeg kan se, er kvaliteten til NVDB i Kvinnherad stort sett ikke bedre 
> enn det vi allerede hadde i OSM fra før her.
> 
> Det betyr at **eksisterende data** i utgangspunktet **må ikke slettes** eller 
> erstattes med NVDB gjennom importen!
> 
> Det finnes derimot en god del lite brukte skogsveier osv. som mangler helt i 
> OSM, særlig på sørsiden av Kvinnheradsfjorden. Disse skulle kunne importeres 
> helt uten problemer.
> 
> Dessuten finnes det visstnok noen enkelttilfeller der NVDB er faktisk litt 
> bedre enn OSM. Jeg har mest lokalkunnskap på nordsiden av fjorden (i Ølve og 
> Hatlestrand) og skal sjekke og fikse dette her etter hvert. Men det kommer å 
> ta tid.
> 
> Hvis du har lyst til å arbeide med resten av kommunen, så foreslår jeg at du 
> deler jobben opp i flere enkeltområder, i tråd med 
> [policy](https://wiki.openstreetmap.org/wiki/Import/Catalogue/Road_import_(Norway)#Changeset_size_policy).
> 
> Det beste ville antagelig være å begynne helt sør i kommunen 
> (Åkra/Fjelbergøyane). Der er det så vidt jeg vet ingen aktiv OSM-community. 
> Det betyr at det kanskje kan være *litt* mindre viktig å ta vare på det som 
> allerede er inne i OSM.
> 
> Hilsen, cck


NKA then requested examples.


cck wrote (via OSM message):
> 
> Noen få eksempler (ikke vanskelig å finne mye mer):
> 
> * Topologi:
>   * Skogsvegen fra Ulvanes mot Selvågåsen er blitt slettet.
>   * Det eksisterende residential-nettverket er ikke lenger sammenhengende i 
> bl.a. Stussvik.
> * Geometrie:
>   * Svingene inne i Stussviktunnelen, som vi hadde nøyakig oppmålt under 
> fjellet, ble erstattet med rett linie.
>   * Vegen rett øst for Stussviktunnelen går i rett linje, mens NVDB 
> framstiller vegen kronglete med mange ekstra noder.
>   * NVDB har *svært* unøyaktig geometri mange steder her (f. eks. overalt 
> rundt Stussvik), mens mange veger her er nylig blitt oppmålt med Norge i 
> bilder.
> * Metadata:
>   * 

[NUUG kart] NVDB import destroyed existing data

[Arne Johannessen]

Hi everybody,

I'm writing this in English in the interest of expediency, as Norwegian is not 
my first language and it takes a bit more time to craft good wording in it. 
Please do feel free to respond in Norwegian if you like.


I'm referring to the NVDB import policy of not destroying existing OSM data. 
[1] A recent import (Kvinnherad kommune) [2] has in fact destroyed a lot of 
existing data, so much so that clearly the only option was to revert.

Because this particular case was so clear cut, I went ahead with the revert. 
[3] While I did so with the OSM policy on bad edits and vandalism in mind, I 
have realised now that I perhaps acted too quickly. My quick action makes it 
harder to demonstrate the very real problems with these edits in Kvinnherad to 
an audience, including the person who performed the import edits.

In this light, my quick revert seems like a really bad idea in retrospect.

Please forgive my swiftness. It would appear I simply did not think this 
through. I should have discussed the problem before the revert.

That said, these particular edits ignore the NVDB import policy in many 
aspects, and as a local community member, I did in fact feel that these edits 
came close to vandalism. I do maintain that, regrettably, but objectively, a 
revert would have been the only option in this particular case.

The person who performed these edits has requested that the discussion be 
public, [3] therefore I'm taking this to the mailing list. Copied below is what 
I wrote earlier.

I intend to come back to this mailing list thread later today.

As I've already indicated below/earlier, my interest is to constructively find 
a solution for updating the OSM data in Kvinnherad using NVDB. I do support the 
import project as such (as described on the wiki). My issue is with the 
execution specifically in Kvinnherad. And I'm here to help.

Again, my apologies for acting on the moment.


[1] 
https://wiki.openstreetmap.org/wiki/Import/Catalogue/Road_import_(Norway)#Conflation.2Fconflicts_with_existing_OSM_data
[2] https://www.openstreetmap.org/changeset/81983119  (and others)
[3] https://www.openstreetmap.org/changeset/82451170  (and others)


cck wrote (via OSM message):
> 

> Hei NKA, takk for at du nylig prøvde å kjøre NVDB-import her i Kvinnherad.
> 
> Jeg var dessverre nødt til å 
> [reverte](https://www.openstreetmap.org/changeset/82451421) importen. Dette 
> fordi denne importen ødela mange verdifulle bidrag fra den lokale community 
> her. Den introduserte mange feil både i topologi, geometri, og metadata.
> 
> En viktig del av nettopp denne importen er å ta vare på eksisterende data. Se 
> også:
> 
> :
> 
>> **ALWAYS** keep the OSM data **UNLESS** you know that the OSM data are wrong 
>> […]
> 
>
> Fordi importen ble ikke gjennomført i tråd med policy i det at så mye 
> forskjellig data ble slettet, var det dessverre ingen andre muligheter enn 
> revert.
> 
> - - -
> 
> Så vidt jeg kan se, er kvaliteten til NVDB i Kvinnherad stort sett ikke bedre 
> enn det vi allerede hadde i OSM fra før her.
> 
> Det betyr at **eksisterende data** i utgangspunktet **må ikke slettes** eller 
> erstattes med NVDB gjennom importen!
> 
> Det finnes derimot en god del lite brukte skogsveier osv. som mangler helt i 
> OSM, særlig på sørsiden av Kvinnheradsfjorden. Disse skulle kunne importeres 
> helt uten problemer.
> 
> Dessuten finnes det visstnok noen enkelttilfeller der NVDB er faktisk litt 
> bedre enn OSM. Jeg har mest lokalkunnskap på nordsiden av fjorden (i Ølve og 
> Hatlestrand) og skal sjekke og fikse dette her etter hvert. Men det kommer å 
> ta tid.
> 
> Hvis du har lyst til å arbeide med resten av kommunen, så foreslår jeg at du 
> deler jobben opp i flere enkeltområder, i tråd med 
> [policy](https://wiki.openstreetmap.org/wiki/Import/Catalogue/Road_import_(Norway)#Changeset_size_policy).
> 
> Det beste ville antagelig være å begynne helt sør i kommunen 
> (Åkra/Fjelbergøyane). Der er det så vidt jeg vet ingen aktiv OSM-community. 
> Det betyr at det kanskje kan være *litt* mindre viktig å ta vare på det som 
> allerede er inne i OSM.
> 
> Hilsen, cck


NKA then requested examples.


cck wrote (via OSM message):
> 
> Noen få eksempler (ikke vanskelig å finne mye mer):
> 
> * Topologi:
>* Skogsvegen fra Ulvanes mot Selvågåsen er blitt slettet.
>* Det eksisterende residential-nettverket er ikke lenger sammenhengende i 
> bl.a. Stussvik.
> * Geometrie:
>* Svingene inne i Stussviktunnelen, som vi hadde nøyakig oppmålt under 
> fjellet, ble erstattet med rett linie.
>* Vegen rett øst for Stussviktunnelen går i rett linje, mens NVDB 
> framstiller vegen kronglete med mange ekstra noder.
>* NVDB har *svært* unøyaktig geometri mange steder her (f. eks. overalt 
> rundt Stussvik), mens mange veger her er nylig blitt oppmålt med Norge i 
> bilder.
> * Metadata: