Re: [Neo] 10 000 Layouts - Auswertung

2010-10-14 Diskussionsfäden Matthias Wächter
Hallo Arne!

Tolle Arbeit, muss ich sagen, Gratulation an alle!

On 13.10.2010 23:49, Arne Babenhauserheide wrote:
 Wichtig: Eine händische Optimierung kann trotzdem besser zu tippen sein! Die 
 Bewertungsfunktion ist der Versuch, gutes Tippgefühl zu quantifizieren. Sie 
 hängt voll und ganz von der Art und Gewichtung der Parameter ab, und es wird 
 immer Charakteristiken geben, die nicht in der Bewertungsfunktion stehen. 

Ich betrachte die Gesamtbewertung als eine nur sehr grobe Richtschnur für den 
Optimierer, wichtiger sind da unter Umständen die einzelnen Paramater,
da deren Gewichtung in der Gesamtbewertung einerseits eine persönliche Sache 
ist und andererseits auch grundsätzlich willkürlich ist, solange wir kein
perfektes Modell der Handergonomie haben.

Ich habe mich beispielsweise vor ein paar Wochen für einen Selbstversuch mit 
der Belegung

xuc.ö vdsljq
fiaeo mtrnhk
,üzäy bgßwp

entschieden und muss sagen, dass sie sich auf deutsch ganz wunderbar tippt 
(auch wenn ich von der angestrebten Geläufigkeit noch weit entfernt bin).
Auf englisch ist es aber weit nicht so gut wie beispielsweise NortTast. Hier 
wäre es ganz schwierig und eigentlich auch für die Optimierung
kontraproduktiv, wenn man die Auswertung für englische Texte auch noch in die 
Gesamtbewertung übernehmen würde. Vielmehr sollte man hier getrennte
Auswertungen nach Sprachen und gegebenenfalls anderen Einsatzszenarien machen 
und dann diese Bewertungen neben einander angeben und manuell
vergleichen und ausprobieren, was einem persönlich wichtig ist und einem auch 
entsprechend liegt.

Salopp gesagt: Wenn man dann drei Layouts hat, die auf deutsch optimiert wurden 
und fast identische Werte haben, kann man dasjenige auswählen, das auf
englisch am besten abschneidet. Hätte man die Bewertung für englische Texte 
auch in die Gesamtbewertung übernommen, hätte man jene Layouts garnicht
erst gefunden, die auf deutsch vielleicht höher optimal sind.

– Mœsi



Re: [Neo] 10 000 Layouts - Auswertung

2010-10-14 Diskussionsfäden Arne Babenhauserheide
Hi Mœsi, 

On Thursday 14 October 2010 10:00:12 Matthias Wächter wrote:
 Salopp gesagt: Wenn man dann drei Layouts hat, die auf deutsch optimiert
 wurden und fast identische Werte haben, kann man dasjenige auswählen, das
 auf englisch am besten abschneidet. Hätte man die Bewertung für englische
 Texte auch in die Gesamtbewertung übernommen, hätte man jene Layouts
 garnicht erst gefunden, die auf deutsch vielleicht höher optimal sind.

Da ist es einfacher, den Korpus um englische Texte zu erweitern. Die 
Zielsetzung ist ja gerade, eine Gesamtwertung zu finden, mit der niedrige 
Kosten auch einem guten Tippgefühl entsprechen. 

Aktuell nur mit deutschem Korpus, weil wir einen deutschen Testtext haben, 
aber als Zielsetzung mit einem angepassten Korpus, der auch andere Sprachen 
teilweise integriert.

Liebe Grüße, 
Arne
-- 
Ein Mann wird auf der Straße mit einem Messer bedroht. 
Zwei Polizisten sind sofort da und halten ein Transparent davor. 

Illegale Szene. Niemand darf das sehen.

Der Mann wird ausgeraubt, erstochen und verblutet, 
denn die Polizisten haben beide Hände voll zu tun. 

Willkommen in Deutschland. Zensur ist schön. 
  ( http://draketo.de/stichwort/zensur )



signature.asc
Description: This is a digitally signed message part.


Re: [Neo] 10 000 Layouts - Auswertung

2010-10-14 Diskussionsfäden Matthias Wächter
Zum Gruße, Arne,

On 14.10.2010 10:47, Arne Babenhauserheide wrote:
 Da ist es einfacher, den Korpus um englische Texte zu erweitern. Die 
 Zielsetzung ist ja gerade, eine Gesamtwertung zu finden, mit der niedrige 
 Kosten auch einem guten Tippgefühl entsprechen. 

Ich bleibe dabei: Die Gesamtbewertung ist wunderbar dazu geeignet, die Spreu 
vom Weizen zu trennen, deutlich schlechter aber für die Auswahl aus
mehreren optimalen Layouts. Nicht umsonst präsentierst Du in Deinen 
Auswertungen nicht nur _das_ beste Layout nach Punkten, sondern gleich mehrere,
und zwischen denen liegen mitunter Welten, was einzelne Parameter betrifft.

Stell Dir eine Partnersuche streng nach Gesamtbewertung vor: Schönheit auf 
einer Skala von 1 bis 10 mit einem Gewichtungsfaktor von 5, Kochkünste
Gewichtung 3, finanzstarke Eltern Gewichtung 6. Und die beste nimmst du dann 
aber auch, ohne sie als Ganzes noch einmal subjektiv zu bewerten! Etwas
absurd, nicht? Bei einem Massenandrang der Kandidatinnen, wie er mir täglich 
(leider nicht) passiert, könnte eine derartige objektive Gesamtbewertung
als Vorauswahl jedoch hilfreich sein.

Was ich damit sagen will: Als Gradmesser für die automatische Suche nach 
optimalen Layouts ist die Gesamtbewertung ganz wichtig und auch gut, aber
unter den ersten 10 oder 100 Layouts sollte man dann noch einmal manuell 
auswählen und die Gewichtung relativieren. Die Tauglichkeit für die englische
Sprache ist kein grundsätzlich primäres Ziel und sollte daher erst in der 
Endauswahl eine Rolle spielen, dann allerdings kann die Auswertung
entsprechender automatisch erstellter Parameter hilfreich sein. Außerdem hat 
jeder hier andere Bedürfnisse, die nichts mit den derzeitigen
Hand-anatomisch begründeten Gewichtungsfaktoren der derzeitigen Auswertung zu 
tun haben und daher auch nicht da hinein gemischt werden sollten.

 Aktuell nur mit deutschem Korpus, weil wir einen deutschen Testtext haben, 
 aber als Zielsetzung mit einem angepassten Korpus, der auch andere Sprachen 
 teilweise integriert.

Abgesehen davon, dass die Leute wohl sehr unterschiedlich viel englisch 
schreiben und daher die Gewichtung schwer zu optimieren ist, wäre es wohl
primär interessant, das beste deutschsprachige Layout zu finden und dann erst 
zu schauen, wie weit davon ein auch für Englisch (oder andere Sprachen)
gutes Layout entfernt ist. Vielleicht ist der Abstand ja auch so groß, dass es 
sich lohnen würde, für Deutsch und Englisch getrennte Optimierungen zu
machen und in der Praxis auch zwei getrennte Layouts zu verwenden.

– Mœsi



Re: [Neo] 10 000 Layouts - Auswertung

2010-10-14 Diskussionsfäden Arne Babenhauserheide
Hi Mœsi, 

On Thursday 14 October 2010 11:33:06 Matthias Wächter wrote:
 Was ich damit sagen will: Als Gradmesser für die automatische Suche nach
 optimalen Layouts ist die Gesamtbewertung ganz wichtig und auch gut, aber
 unter den ersten 10 oder 100 Layouts sollte man dann noch einmal manuell
 auswählen und die Gewichtung relativieren. 

Da stimme ich dir zu. 

Noch praktischer könnte es sein, am Ende die besten Layouts in Grundformen 
aufzuteilen, die sich deutlich unterscheiden (z.B. in den Tasten, die auf der 
Grundlinie sind) und erstmal die zu testen. 

 Abgesehen davon, dass die Leute wohl sehr unterschiedlich viel englisch
 schreiben und daher die Gewichtung schwer zu optimieren ist, wäre es wohl
 primär interessant, das beste deutschsprachige Layout zu finden und dann
 erst zu schauen, wie weit davon ein auch für Englisch (oder andere
 Sprachen) gutes Layout entfernt ist. Vielleicht ist der Abstand ja auch so
 groß, dass es sich lohnen würde, für Deutsch und Englisch getrennte
 Optimierungen zu machen und in der Praxis auch zwei getrennte Layouts zu
 verwenden.

Das wäre dann auch ein sinnvolles Ergebnis, jupp :)

Ich würde für mich aber eher ein Layout suchen, das für die meisten Sprachen 
gut und für das Deutsche sehr gut ist. 

Natürlich können wir da aber auch die Sprachen einzeln rechnen und dann 
darüber das beste Layout wählen - z.B. aus der Schnittmenge guter Layouts. 

Liebe Grüße, 
Arne
--
Konstruktive Kritik: 

- http://draketo.de/licht/krude-ideen/konstruktive-kritik



signature.asc
Description: This is a digitally signed message part.


Re: [Neo] 10 000 Layouts - Auswertung

2010-10-13 Diskussionsfäden Michael Ostermeier
Hallo,

Florian Janßen schrieb:
 wirklich tolle Arbeit! Sind wirklich alle optimierten Tastaturen besser
 als Neo2 und Nordtast? Hätte ich jetzt nicht gedacht.

Naja, nicht Alle – Vier sind oberhalb der blauen Linie.

Außerdem glaube ich nicht, dass viele derer, die unterhalb liegen auch
besser als Nordtast sind. Die Bewertungsfunktion stimmt ja noch nicht
hundertprozentig. Die Fehler in der Bewertungsfunktion müssen über
Tipptests ausgemerzt werden. Und genau dafür wurden die Layouts
erstellt.

 Welchen Wert erreicht die normale Qwertz-Belegung?

Das ist hier verdeutlicht:
http://draketo.de/bilder/2010-10-07-total-cost-per-key-sorted-uniq-with-qwertz.png

Gruß

Miche



Re: [Neo] 10 000 Layouts - Auswertung

2010-10-13 Diskussionsfäden Arne Babenhauserheide
On Wednesday 13 October 2010 18:24:32 Michael Ostermeier wrote:
  wirklich tolle Arbeit! Sind wirklich alle optimierten Tastaturen besser
  als Neo2 und Nordtast? Hätte ich jetzt nicht gedacht.
 
 Naja, nicht Alle – Vier sind oberhalb der blauen Linie.
 
 Außerdem glaube ich nicht, dass viele derer, die unterhalb liegen auch
 besser als Nordtast sind. Die Bewertungsfunktion stimmt ja noch nicht
 hundertprozentig. Die Fehler in der Bewertungsfunktion müssen über
 Tipptests ausgemerzt werden. Und genau dafür wurden die Layouts
 erstellt.

Um es genauer zu sagen: Alle bis auf die vier sind nach unserer Bewertung 
besser als NordTast. Die Bewertungen sind aber nicht vergleichbar. Das fängt 
mit unterschiedlichen Kosten für die Einzeltasten an, geht mit Großschreibung 
in Bigrammen weiter (die NordTast ignoriert) und führt bis dahin, dass wir 
Parameter haben, die der Optimierer von NordTast nicht kennt. 

Ich vermute aber, dass auch mit den gleichen Maßstäben eine ganze Reihe 
Layouts besser gewesen wären als NordTast, weil bei NordTast die Optimierung 
zu früh abgebrochen wurde, so dass händische Optimierung noch Verbesserungen 
in der Wertung brachte (NordTast_xcv). 

Wir können dagegen recht sicher sein, dass händische Optimierungen nach dem 
Maßstab der Bewertungsfunktion nur Verschlechterungen bringen, weil wir immer 
mit zufälligen Layouts anfangen und bei den 10 000 Layouts inzwischen knapp 
25% Duplikate haben - von den Top 10 Layouts ist nur ein einziges nicht 
doppelt herausgekommen und das beste mindestens 5x. 

Dafür haben wir halt auch den Preis gezahlt, 4 Wochen lang auf 10 Rechnern zu 
optimieren (3 Tage dürften bei unserer Rate an Duplikaten allerdings reichen, 
um Top-Layouts zu finden). 

Wichtig: Eine händische Optimierung kann trotzdem besser zu tippen sein! Die 
Bewertungsfunktion ist der Versuch, gutes Tippgefühl zu quantifizieren. Sie 
hängt voll und ganz von der Art und Gewichtung der Parameter ab, und es wird 
immer Charakteristiken geben, die nicht in der Bewertungsfunktion stehen. 

Liebe Grüße, 
Arne
--
singing a part of the history of free software: 

- http://infinite-hands.draketo.de



signature.asc
Description: This is a digitally signed message part.


[Neo] 10 000 Layouts - Auswertung

2010-10-12 Diskussionsfäden Arne Babenhauserheide
Hi, 

Wir haben gestern die 10 000 Layouts geknackt! Einen riesigen Dank an Mike, 
beedaddy, cpuesser, effchen, fast2, frakturfreak, knittl, marco8, marenz, 
suprano, martineo, miche, nora, olytibar und roteiro! 

Infos: http://wiki.neo-layout.org/wiki/Neo3

Die Pfade, die ich hier nenne sind im Code-Repository: 
http://bitbucket.org/ArneBab/evolve-keyboard-layout/src

(Wenn ihr noch Layouts mit der config-2010-09-19.1 habt, schickt sie bitte 
noch)


Wenn ihr sehen wollt, was der Optimierer leistet, könnt ihr euch einfach mal 
die Grafik der Layoutwerte anschauen (ohne Duplikate, daher nur etwas über 
6000): 

http://draketo.de/bilder/2010-10-12-cost-per-key-uniq-w-neo2.png

Mit den 10 000 Layouts können wir jetzt die saubere Auswertung starten. 
Saubere Auswertung heißt: 

1. Die Werte der Layouts für einen Test-Text neuberechnen.¹
2. Layouts suchen, bei denen alle Parameter bis auf den einen festgehalten 
sind und der eine sich maximal ändert.²
3. Prüfen, wie der Unterschied in diesem einen Parameter (für den Test-Text) 
das Tippgefühl beeinflusst. 
4. Die Parameter auf Grundlage der Ergebnisse diskutieren. 

Der erste Schritt ist bereits erledigt (empirie/2010-09-19.1-*reference.txt). 

Der zweite braucht noch etwas (die grep cascade² braucht viel finetuning). 


Jetzt muss ich allerdings erstmal frühstücken und mich danach an die 
Diplomarbeit setzen…

Ich hoffe, die Ergebnisse sind bisher interessant für euch. Sollte nach dem 
Lesen von 

http://wiki.neo-layout.org/wiki/Neo3

noch etwas unklar sein, dann fragt bitte! 

Liebe Grüße, 
Arne

¹: ./recheck_all_result_layouts.py --namepart 2010-09-19.1- --file 
beispieltext-reference-sentence.txt --csv  empirie/2010-09-19.1-result-
layouts-reference.csv
   ./recheck_all_result_layouts.py --namepart 2010-09-19.1- --file 
beispieltext-reference-sentence.txt  empirie/2010-09-19.1-result-layouts-
reference.txt
   for i in `grep per empirie/2010-09-19.1-result-layouts-reference.txt | sort 
-r | uniq | cut -d   -f 2| xargs`; do grep -m 1 $i empirie/2010-09-19.1-
result-layouts-reference.txt -B 16 -A 11; done  empirie/2010-09-19.1-result-
layouts-reference-uniq.txt


²: Schaut einfach in grep_cascade.sh


PS: Wir konnten nicht gleich für den Test-Text optimieren, weil dann die 
Optimierung nicht realistisch gelaufen wäre, so dass die Parameter in einem 
größeren Korpus völlig andere Auswirkungen hätten haben können. Und es hätte 
sehr viel weniger Variation gegeben. 

--
Konstruktive Kritik: 

- http://draketo.de/licht/krude-ideen/konstruktive-kritik



signature.asc
Description: This is a digitally signed message part.


Re: [Neo] 10 000 Layouts - Auswertung

2010-10-12 Diskussionsfäden Florian Janßen
Hallo,

wirklich tolle Arbeit! Sind wirklich alle optimierten Tastaturen besser
als Neo2 und Nordtast? Hätte ich jetzt nicht gedacht.

Welchen Wert erreicht die normale Qwertz-Belegung?

Gruß Florian