Re: [Talk-de] 1000-Augen-Prinzip

[Stefan Keller]

Markus,

Am 27. Januar 2016 um 22:33 schrieb Markus :
> In OSM werden Daten ja von tausenden Benutzern geprüft und ggf.
> verbessert. So entsteht iterativ eine hohe Genauigkeit und
> Detailliertheit unserer Daten.
>
> Gibt es zum "1000-Augen-Prnizip" als Methode der Qualitätsicherung in
> Opensource-Projekten schon Untersuchungen?

Ja; es gibt wissenschaftliche Papers (Haklay/Uni London) oder Zipf/Uni
Heidelberg?) über den Einfluss auf die Qualität in Bezug auf Anzahl
Changes und verglichen mit amtlichen Daten. Da wurde OSM eine gute
Qualität attestiert.

Aktuelle Forschungen von Zipf/Uni Heidelberg werten andererseits die
Tatsache, dass eine grosse Menge an "Aktiven Mapper" (d.h. die
Ungleichverteilung/"the long tail") auch als Qualitätsmerkmal.

Wie die Diskussion eben - und Fred's "I Like OSM" Idee - zeigt, gibt
können alternativ auch Leute wieder durch "Crowdsourcing" zu aktiven
Qualitätsaussagen angeregt werden.

Ich schätze aber, dass man breiter abgestützte Aussagen machen kann
nach dem Prinzip der "intrinsischen" Qualitätsuntersuchung verwendet.

Lukas (28. Januar 2016 um 13:26) verwies denn auch als weitere
Möglichkeit auf meinen Blog (mit Karte!) über die Visualisierung der
Anzahl Zugriffe auf die Startseite/Slippy Map von osm.org (siehe auch
dieses Poster [2]). Diese Untersuchung zielt darauf ab, was "Hot
Spots" sind. Die Analyse liesse sich natürlich auch umkehren, indem
man visualisiert, was NIE angeschaut wurde.

Mapbox hat schon früher versucht herauszufinden, wo potentiell
OSM-Daten fehlen und darüber berichtet ("Predicting data curation in
OpenStreetMap" [1]).

Noch früher waren wohl OSM Admins wie Grant, die eine "Tile disk
usage" berechnet haben [2]. Letztere Untersuchung besagt, dass im
Jahre 2011 auf zweitunterster Zoom-Stufe 18 nur 0.9%(!) der
Kacheln/Tiles verwendet wurden.

Mir scheint, dass man mit Statistiken von (nicht-)gebrauchten und
(nicht-)besuchten Kacheln vielversprechende Analysen machen könnte. Es
kommt aber drauf an, ob das genügt und auf das Ziel der Analysen sein
soll.

:Stefan

[1] https://www.mapbox.com/blog/osm-tracing-candidates/
[2] https://twitter.com/sfkeller/status/619954847031410688
[3] http://wiki.openstreetmap.org/wiki/Tile_disk_usage


Am 28. Januar 2016 um 14:26 schrieb Hartmut Holzgraefe
:
> On 27.01.2016 22:33, Markus wrote:
>
>> In OSM werden Daten ja von tausenden Benutzern geprüft und ggf.
>> verbessert. So entsteht iterativ eine hohe Genauigkeit und
>> Detailliertheit unserer Daten.
>
> Das wesentliche Zitat zu dem Thema war ja
>
>   "Given enough eyeballs all bugs are shallow"
>
> So viele "eyeballs" haben wir aber, verglichen mit der Datenmenge,
> garnicht. Dazu kommt noch dass, anders als bei Source Code, es deutlich
> schwieriger ist sich das entsprechende Domänenwissen zu beschaffen um
> konkrete Daten überhaupt bewerten zu können.
>
> Ich denke nicht dass die Daten hier in der Gegend von tausenden
> Benutzern geprüft werden, wirklich aktive OSM-Accounts gibt es
> nur paar handvoll, und auch die Anzahl der Notes hält sich
> in Grenzen (vermutlich stammt der Großteil der anonymen davon
> sogar nur von einem einzelnen ex-User)
>
> Und ein wirklich systematisches Review findet auch nicht wirklich
> statt ... auch wenn wir immerhin ca. 1 1/2 User haben die über
> alle in der Gegend auflaufenden Changesets drüberschauen (der 1/2
> bin ich ...)
>
>> Gibt es zum "1000-Augen-Prnizip" als Methode der Qualitätsicherung in
>> Opensource-Projekten schon Untersuchungen?
>
> Die generelle Aussage war nicht dass Open Source Software dadurch
> automatisch besser wird, nur dass sie gegenüber Closed Source den
> Vorteil hat dass sie unter anderem auch auf diesem Weg besser werden
> *kann*.
>
> Allein schon das Wissen das andere hinter die Kulissen der eigenen
> Arbeit schauen können führt (bei mir zumindest) dazu dass man sich
> gewisse "passt scho'" Schludereien nicht mehr leistet.
>
> Aber auch hier gibt es unterschiedlich gelebte Vorgehensweisen,
> siehe zB. den klassischen Text "The Cathedral and the Bazaar" von
> Eric S. Raimond. Nicht alle Open Source Projekte sind da gleich
> offen, auch wenn der Quellcode bei allen öffentlich sichtbar ist.
>
> Mein früherer und auch mein aktueller Arbeitgeber (MySQL AB, MariaDB Corp.)
> sind zB. deutlich eher auf der Cathedral-Seite zu verorten.
> Mein nicht-mehr-Arbeitgeber (MySQL-Abteilung innerhalb von Oracle)
> treibt den Cathedral-Ansatz sogar auf die Spitze.
>
> OpenStreetMap dagegen empfinde ich zZ. als ein extremes Beispiel
> des Bazaar-Modells.
>
> Aber zurück zum eigentlichen Thema:
>
> Ich weiß nur von Untersuchungen zum konkreten Thema Pair Programming
> bei dem das Vier-Augen-Prinzip auf die Spitze getrieben wird. Das ist
> dann aber eigentlich schon wieder kein Open Source Thema mehr. Eher
> sogar im Gegenteil da tatsächliches Pairing mit zwei Entwicklern,
> die physisch vor demeselben Bildschirm sitzen, bei Open Source
> Projekten eher die totale Ausnahme 

Re: [Talk-de] 1000-Augen-Prinzip

[Sven Geggus]

Markus  wrote:
> In OSM werden Daten ja von tausenden Benutzern geprüft und ggf.
> verbessert. So entsteht iterativ eine hohe Genauigkeit und
> Detailliertheit unserer Daten.

Ich halte das im wesentlichen für eine schöne Theorie.

Sven

-- 
"Das Einzige wovor wir Angst haben müssen ist die Angst selbst"
(Franklin D. Roosevelt)

/me is giggls@ircnet, http://sven.gegg.us/ on the Web

___
Talk-de mailing list
Talk-de@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] 1000-Augen-Prinzip

[Martin Koppenhoefer]

sent from a phone

> Am 28.01.2016 um 08:58 schrieb Frederik Ramm :
> 
> Aus verschiedenen Gründen hat sich das nicht durchgesetzt mit dem "I
> like OSM", aber die Grundidee, dass Leute auch durch das Unterlassen
> einer Fehler/Problemmeldung eine gewissen, wenn auch sehr schwache,
> Qualitätsaussage über das machen, was sie sehen, finde ich immer noch gut.


+1, sollte man aber auf hohe Zoomstufen begrenzen, zb z17-19 weil wenn jemand 
auf z12 sagt die Karte bringt es nicht, dann ist der Heuhaufen meist schon viel 
zu groß 

Gruß,
Martin 
___
Talk-de mailing list
Talk-de@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] 1000-Augen-Prinzip

[Johannes Hartmann]

Hallo zusammen,

so schön das Prinzip auch ist, ich denke auch, dass wir froh sein können wenn 
wir auf 2, 4 oder 6 Augen kommen. Sogar Softwareprojekte wie OpenSSL welche 
Sicherheitsrelevant sind haben in der Vergangenheit gezeigt, dass es OpenSource 
alleine nicht ist vgl. https://de.wikipedia.org/wiki/Heartbleed. Wo Geld, 
Personen und Testverfahren fehlen helfen auch die theoretischen 1000 Augen 
nichts :-(. Der Vorteil bei den Karten ist Fehler fallen im wirklichen Leben 
auf ;-).

Das bedeutet nun aber nicht, dass unsere Karten schlecht sind, aber eben auch 
nicht automatisch, dass diese gute sind. Ohne OpenSource wären die Karten aber 
bestimmt deutlich schlechter und weniger detailreich.

Beste Grüße Johannes

> Am 28.01.2016 um 08:58 schrieb Frederik Ramm :
> 
> Hallo,
> 
> On 01/28/2016 04:25 AM, Georg Feddern wrote:
>> Ob 4-Augen oder 1000-Augen - der Begriff bedeutet ja, dass alle die 
>> _selben_ Daten überprüfen.
>> Und da bezweifle ich bei aller Euphorie, dass OSM über einen relativ 
>> niedrigen zweistelligen Wert hinauskommt.
> 
> Wir hatten ja mal auf der openstreetmap.de-Karte dieses "I Like OSM" mit
> den Buttons "Daumen hoch" und "Daumen runter" drauf. Die Idee damals war
> die einer niederschwelligen Qualitätskontrolle - nicht Mapper, sondern
> Nutzer sollten hier durch Klick auf einen Daumen etwas zur Qualität
> sagen. Das war natürlich enorm unpräzise, weil niemand genau erklären
> musste, warum er jetzt auf den "Daumen runter" klickt, aber wenn sowas
> von genug Leuten benutzt würde, dann könnte man daraus schon
> Qualitätsaussagen ableiten:
> 
> "Diesen Kartenausschnitt, den Du gerade anschaust, den haben in der
> letzten Woche 1000 andere angeschaut, und kein einziger hat auf den
> Daumen runter geklickt" - das ist auch eine Art von 1000-Augen-Prinzip,
> nur eben haben die 1000 nicht wirklich im Detail alles überprüft.
> 
> Aus verschiedenen Gründen hat sich das nicht durchgesetzt mit dem "I
> like OSM", aber die Grundidee, dass Leute auch durch das Unterlassen
> einer Fehler/Problemmeldung eine gewissen, wenn auch sehr schwache,
> Qualitätsaussage über das machen, was sie sehen, finde ich immer noch gut.
> 
> Bye
> Frederik
> 
> -- 
> Frederik Ramm  ##  eMail frede...@remote.org  ##  N49°00'09" E008°23'33"
> 
> ___
> Talk-de mailing list
> Talk-de@openstreetmap.org
> https://lists.openstreetmap.org/listinfo/talk-de


___
Talk-de mailing list
Talk-de@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] 1000-Augen-Prinzip

[Toggenburger Lukas]

Hallo Christoph

> Was ich in Anlehnung an die Fred erwähnte Kartenausschnitts-Bewertung 
> gerne mal sehen würde ist der umgekehrte Ansatz - herauszuarbeiten wo 
> in OSM Daten sind, die in den Karten nicht oder so gut wie nicht 
> angeschaut werden.

Eine Statistik über Tile-Zugriffe ist verfügbar. Schau dir mal diesen Blogpost 
vom Geometa Lab der HSR an ( 
http://geometalab.tumblr.com/post/119834678622/analyzing-openstreetmap-standard-map-usage-early
 ) bzw. die Tile-Statistik direkt: http://planet.openstreetmap.org/tile_logs/

Gruss

Lukas
___
Talk-de mailing list
Talk-de@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] 1000-Augen-Prinzip

[Hartmut Holzgraefe]

On 27.01.2016 22:33, Markus wrote:

> In OSM werden Daten ja von tausenden Benutzern geprüft und ggf.
> verbessert. So entsteht iterativ eine hohe Genauigkeit und
> Detailliertheit unserer Daten.

Das wesentliche Zitat zu dem Thema war ja

  "Given enough eyeballs all bugs are shallow"

So viele "eyeballs" haben wir aber, verglichen mit der Datenmenge,
garnicht. Dazu kommt noch dass, anders als bei Source Code, es deutlich
schwieriger ist sich das entsprechende Domänenwissen zu beschaffen um
konkrete Daten überhaupt bewerten zu können.

Ich denke nicht dass die Daten hier in der Gegend von tausenden
Benutzern geprüft werden, wirklich aktive OSM-Accounts gibt es
nur paar handvoll, und auch die Anzahl der Notes hält sich
in Grenzen (vermutlich stammt der Großteil der anonymen davon
sogar nur von einem einzelnen ex-User)

Und ein wirklich systematisches Review findet auch nicht wirklich
statt ... auch wenn wir immerhin ca. 1 1/2 User haben die über
alle in der Gegend auflaufenden Changesets drüberschauen (der 1/2
bin ich ...)

> Gibt es zum "1000-Augen-Prnizip" als Methode der Qualitätsicherung in
> Opensource-Projekten schon Untersuchungen?

Die generelle Aussage war nicht dass Open Source Software dadurch
automatisch besser wird, nur dass sie gegenüber Closed Source den
Vorteil hat dass sie unter anderem auch auf diesem Weg besser werden
*kann*.

Allein schon das Wissen das andere hinter die Kulissen der eigenen
Arbeit schauen können führt (bei mir zumindest) dazu dass man sich
gewisse "passt scho'" Schludereien nicht mehr leistet.

Aber auch hier gibt es unterschiedlich gelebte Vorgehensweisen,
siehe zB. den klassischen Text "The Cathedral and the Bazaar" von
Eric S. Raimond. Nicht alle Open Source Projekte sind da gleich
offen, auch wenn der Quellcode bei allen öffentlich sichtbar ist.

Mein früherer und auch mein aktueller Arbeitgeber (MySQL AB, MariaDB 
Corp.) sind zB. deutlich eher auf der Cathedral-Seite zu verorten.

Mein nicht-mehr-Arbeitgeber (MySQL-Abteilung innerhalb von Oracle)
treibt den Cathedral-Ansatz sogar auf die Spitze.

OpenStreetMap dagegen empfinde ich zZ. als ein extremes Beispiel
des Bazaar-Modells.

Aber zurück zum eigentlichen Thema:

Ich weiß nur von Untersuchungen zum konkreten Thema Pair Programming
bei dem das Vier-Augen-Prinzip auf die Spitze getrieben wird. Das ist
dann aber eigentlich schon wieder kein Open Source Thema mehr. Eher
sogar im Gegenteil da tatsächliches Pairing mit zwei Entwicklern,
die physisch vor demeselben Bildschirm sitzen, bei Open Source
Projekten eher die totale Ausnahme sein werden solage keine
Firma hinter dem Projekt steht. Und selbst dann ...

Ansonsten gibt es Untersuchung zur generellen Fehlerhäufigkeit in
offenem und nicht-offenem Code. Die Flagschiff-Projete im Open
Source Bereich schneiden da relativ gut ab gegenüber der proprietären
Konkurenz, aber in wieweit das über das ganze Spektrum hinweg
aussagekräftig ist bleibt eine ganz andere Geschichte ...

___
Talk-de mailing list
Talk-de@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] 1000-Augen-Prinzip

[chris66]

Am 27.01.2016 um 22:33 schrieb Markus:
> In OSM werden Daten ja von tausenden Benutzern geprüft und ggf.
> verbessert. So entsteht iterativ eine hohe Genauigkeit und
> Detailliertheit unserer Daten.

Schön wär's.

Zähl mal die Anzahl von OSM-Notes, OSMI-Inspektor-Fehlern,
keepright-Fehlern.

Ganz zu schweigen von sachlichen Fehlern, die nicht so leicht
automatisch geprüft werden können.

Außerdem gibt es noch das Ungleichgewicht zwischen Stadt und Land
(wo es noch reichlich ungemappte Dörfer gibt).

Christian




___
Talk-de mailing list
Talk-de@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] 1000-Augen-Prinzip

[Christoph Hormann]

On Thursday 28 January 2016, Sven Geggus wrote:
> Markus  wrote:
> > In OSM werden Daten ja von tausenden Benutzern geprüft und ggf.
> > verbessert. So entsteht iterativ eine hohe Genauigkeit und
> > Detailliertheit unserer Daten.
>
> Ich halte das im wesentlichen für eine schöne Theorie.

Die sich in manchen Dingen auch schon recht klar widerlegt hat.  
Hauptgründe:

- die Erde ist deutlich größer als sich die meisten Leute vorstellen, es 
ist im Grunde recht einfach für einen Fehler, selbst einen recht 
großen, sich irgendwo zu verstecken.
- Das Beheben von Fehlern ist oft arbeitsintensiv und auch bei OSM ist 
Arbeitskraft knapp.  Deshalb sind viele Fehler zwar im Grunde bekannt 
aber trotzdem unbehoben.

Allein die Tatsache, dass wir eine ganze Reihe von 
Qualitätssicherungs-Werkzeugen haben, die automatisiert auf eventuelle 
Fehler hinweisen, ist ein klarer Hinweis dafür, dass das Konzept der 
kollektiven Qualitätssicherung durch viele Augen nur sehr begrenzt 
funktioniert.  

Was ich in Anlehnung an die Fred erwähnte Kartenausschnitts-Bewertung 
gerne mal sehen würde ist der umgekehrte Ansatz - herauszuarbeiten wo 
in OSM Daten sind, die in den Karten nicht oder so gut wie nicht 
angeschaut werden.  So etwas würde gewissermaßen von der anderen Seite 
die Diskrepanz zeigen zwischen den Prioritäten der Mapper und denen der 
Kartenbetrachter.

-- 
Christoph Hormann
http://www.imagico.de/

___
Talk-de mailing list
Talk-de@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] 1000-Augen-Prinzip

[Holger Jeromin]

Stefan Keller  Wrote in message:
> Markus,
> 
> Am 27. Januar 2016 um 22:33 schrieb Markus :
>> 
> Wie die Diskussion eben - und Fred's "I Like OSM" Idee - zeigt, gibt
> können alternativ auch Leute wieder durch "Crowdsourcing" zu aktiven
> Qualitätsaussagen angeregt werden.
> 
> Ich schätze aber, dass man breiter abgestützte Aussagen machen kann
> nach dem Prinzip der "intrinsischen" Qualitätsuntersuchung verwendet.
> 
> Lukas (28. Januar 2016 um 13:26) verwies denn auch als weitere
> Möglichkeit auf meinen Blog (mit Karte!) über die Visualisierung der
> Anzahl Zugriffe auf die Startseite/Slippy Map von osm.org (siehe auch
> dieses Poster [2]). Diese Untersuchung zielt darauf ab, was "Hot
> Spots" sind. Die Analyse liesse sich natürlich auch umkehren, indem
> man visualisiert, was NIE angeschaut wurde.
> 
> Mapbox hat schon früher versucht herauszufinden, wo potentiell
> OSM-Daten fehlen und darüber berichtet ("Predicting data curation in
> OpenStreetMap" [1]).
> 
> Noch früher waren wohl OSM Admins wie Grant, die eine "Tile disk
> usage" berechnet haben [2]. Letztere Untersuchung besagt, dass im
> Jahre 2011 auf zweitunterster Zoom-Stufe 18 nur 0.9%(!) der
> Kacheln/Tiles verwendet wurden.

Spannend wäre da eine Analyse der Landfläche von zentral Europa. 
Denn der Ozean ist unspannend und beispielsweise USA eigentlich
 auch (zu viel Fläche und bekannt üble Datenqualität).
 

Wobei die osm Hauptkarte ja auch nicht die einzige Verwendung der
 Daten ist. 

> Mir scheint, dass man mit Statistiken von (nicht-)gebrauchten und
> (nicht-)besuchten Kacheln vielversprechende Analysen machen könnte. Es
> kommt aber drauf an, ob das genügt und auf das Ziel der Analysen sein
> soll.


-- 
Holger


Android NewsGroup Reader
http://usenet.sinaapp.com/


___
Talk-de mailing list
Talk-de@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] 1000-Augen-Prinzip

[Alexander Lehner]

On Wed, 27 Jan 2016, Markus wrote:


In OSM werden Daten ja von tausenden Benutzern geprüft und ggf.
verbessert. So entsteht iterativ eine hohe Genauigkeit und
Detailliertheit unserer Daten.

Gibt es zum "1000-Augen-Prnizip" als Methode der Qualitätsicherung in
Opensource-Projekten schon Untersuchungen?


Dieses Thema interessiert mich auch.
Ich hab in diese Richtung schon mal einen Versuchsballon gestartet, Du 
kannst Dir mal meinen Eintrag im Wiki hier durchlesen:


http://wiki.openstreetmap.org/wiki/Landshut_Projekte#2015-12-08_POIs_aktuell_halten

Die dort beschriebene Idee mit check_date ist nicht ganz unumstritten, 
deshalb moechte ich erstmal den Ansatz zur Diskussion stellen, bevor alle 
lustig unfertige Webfrontends ausprobieren.


A.
___
Talk-de mailing list
Talk-de@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] 1000-Augen-Prinzip

[Georg Feddern]

Ob 4-Augen oder 1000-Augen - der Begriff bedeutet ja, dass alle die 
_selben_ Daten überprüfen.
Und da bezweifle ich bei aller Euphorie, dass OSM über einen relativ 
niedrigen zweistelligen Wert hinauskommt.


___
Talk-de mailing list
Talk-de@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-de

Re: [Talk-de] 1000-Augen-Prinzip

[Frederik Ramm]

Hallo,

On 01/28/2016 04:25 AM, Georg Feddern wrote:
> Ob 4-Augen oder 1000-Augen - der Begriff bedeutet ja, dass alle die 
> _selben_ Daten überprüfen.
> Und da bezweifle ich bei aller Euphorie, dass OSM über einen relativ 
> niedrigen zweistelligen Wert hinauskommt.

Wir hatten ja mal auf der openstreetmap.de-Karte dieses "I Like OSM" mit
den Buttons "Daumen hoch" und "Daumen runter" drauf. Die Idee damals war
die einer niederschwelligen Qualitätskontrolle - nicht Mapper, sondern
Nutzer sollten hier durch Klick auf einen Daumen etwas zur Qualität
sagen. Das war natürlich enorm unpräzise, weil niemand genau erklären
musste, warum er jetzt auf den "Daumen runter" klickt, aber wenn sowas
von genug Leuten benutzt würde, dann könnte man daraus schon
Qualitätsaussagen ableiten:

"Diesen Kartenausschnitt, den Du gerade anschaust, den haben in der
letzten Woche 1000 andere angeschaut, und kein einziger hat auf den
Daumen runter geklickt" - das ist auch eine Art von 1000-Augen-Prinzip,
nur eben haben die 1000 nicht wirklich im Detail alles überprüft.

Aus verschiedenen Gründen hat sich das nicht durchgesetzt mit dem "I
like OSM", aber die Grundidee, dass Leute auch durch das Unterlassen
einer Fehler/Problemmeldung eine gewissen, wenn auch sehr schwache,
Qualitätsaussage über das machen, was sie sehen, finde ich immer noch gut.

Bye
Frederik

-- 
Frederik Ramm  ##  eMail frede...@remote.org  ##  N49°00'09" E008°23'33"

___
Talk-de mailing list
Talk-de@openstreetmap.org
https://lists.openstreetmap.org/listinfo/talk-de