Hallo zusammen
Nino Novak schrieb:
Hallo André u. *,
On Monday 01 June 2009 14:49, André Schnabel wrote:
Nino Novak schrieb:
Meine Idee zielt mehr in die Richtung, die Durchführung der
manuellen Tests (hoffe, den Begriff hier richtig einzusetzen) so zu
vereinfachen oder zu "automatisieren", dass die Schwelle zum
Mitmachen eben *erheblich* gesenkt wird. Die notwendige hohe
Motivation (resp. Altruisimus/ Knowhow/ Zeiteinsatz) (also Werte,
die die bisherigen Freiwillgen eigentlich auszeichnen) sind genau
die Werte, die in meinen Augen für eine breite Beteiligung
hinderlich sind. Ich schätze die Pionierleistungen einiger weniger
sehr, ohne die gäb's das alles gar nicht. Aber die Idee zielt mehr
sozusagen auf die Massenmobilisierung im Moment noch viel zu wenig
genutzter Community-Ressourcen.
Ich halte ehrlich gesagt wenig von der Idee der automatischen
Datensammlung, denn (so meine Erfahrung) ist die Datensammlung immer
unvollständig. Entweder,
- weil man vorher nicht dran gedacht hat, gerade die Daten zu
erfassen, die nachher fehlen,
- weil Einflussfaktoren aus dem Umfeld kommen, welches man nicht
vollständig erfassen kann
- Wir nicht alle Daten erfassen dürfen
Na ja, wenn man mal das Instrument hat, kann man das ja anpassen,
verbessern und erweitern. Ich würde "potentielle Unvollständigkeit"
auch ehrlich gesagt nicht wirklich als Argument gegen "Automatisierung
der Datenerfassung" gelten lassen, aber darum geht es hier auch nicht.
Der Engpass in der QA ist nicht das User Feedback, Der Engpass sind die
Leute die diese Feedbacks auswerten. Und diese Aufgabe ist nicht soo
einfach. Da braucht man technisch versierte Leute, die darüber hinaus
noch viel Zeit haben. So ein automatisiertes Feedback würde nur den
Haufen noch unübersichtlicher machen. Ich befürchte auch, dass dann viel
mehr "Schrott" auf uns einprasseln würde. Ein solches Tool würde nur die
Hemmschwelle einen "Fehler" zu melden herabsetzen. "Fehler" habe ich
absichtlich in Anführungszeichen gesetzt, denn lange nicht alles was der
Benutzer als Fehler empfindet ist auch ein Fehler. Vieles ist einfach
nur Fehlbedienung, z.B eine Option von OOo falsch, ein zu altes JRE, ein
halb kaputtes Betriebssystem, usw. Dazu kommt dass viele Fehler schon
gemeldet sind, und sehr viele Rückmeldungen wären auch Dublikate. Die
Leute können ne Mail auf die Liste schreiben, das reicht meiner Meinung.
Ansatzweise wird das ja durch die Userfeedback-Extension gemacht.
ja! Das scheint fast in die selbe Richtung zu zielen!
Aber dort zeigt sich schon, dass die erfassten Daten relativ grob
sind.
na irgendwie muss man doch anfangen...
Für eine statistische Auswertung mag das noch genügen - für ein
definiertes Testszenario eher wenig.
Und du meinst, man kann diese Extension nicht verbessern?
(Ich sehe schon ein, dass der Vorgang, einen Bug in einer bestimmten
Umgebung/Situation herauszuarbeiten, nur schwer automatisierbar ist.
Aber zumindest könnte ein Klick-Log doch hilfreich beim Reproduzieren
sein.)
Nein, Ein klick log würde uns nicht mehr helfen. Die beschreibung des
Users sind meist ziemlich genau, so dass wir exakt dasselbe tun können.
Die Fehler die auf diese Weise reproduziert werden können, sind auch
nicht ein Problem. Problematisch sind Bugs, die nur unter bestimmten
Umständen entstehen. Zum Beispiel in Zusammenhang eines bestimmten
Dokumentes, einer speziellen User einstellung in OOo, eines anderen
Programmes, oder sogar einer bestimmten Hardware Kombination. Da hilft
uns ein klick log nichts. Sprich ein klicklog hilft uns bei den schwer
zu bestätigenden Bugs eigentlich gar nichts. Da helfen uns nur Leute mit
fundiertem technischen Hintergrund und einem Sinn für Zusammenhänge in
der Software, sowie Mr. Zufall.
... Eine
automatisierte Datenerfassung verlagert dann die Fehleranalyse auf
die wenigen, die jetzt schon organisieren .. die haben dann also noch
mehr zu tun.
Aha, erwischt: das scheint mir dein Hauptargument zu sein ;-)
Ja klar, dasselbe befürchte ich auch, und das ist ein wichtiger Grund
wesshalb ich mich klar dagegen aussprechen. Wer können nicht Leute die
schon zuviel zu tun haben noch mehr belasten.
Vielleicht kann man einen Teil der Datenanalyse aber auch
automatisieren?
Da sag ich nur, sinnlos, denn du hättest mehr arbeit mit dem schreiben
dieser Software, als dass sie bugs finden würde. Entweder du machst ne
extrem Grobmaschige automatische Selektion, und dann würde immer noch
die helfte bei uns auf dem Tisch landet, oder du läufst Amok beim
programmieren des Tools.
Ich würde in dem Zusammenhang ein paar andere Sachen sinnvoller
finden - wie z.B. eine Weiterentwicklung des TCM-Portals (so dass man
es auch mal intuitiv bedienen könnte) oder zusammenstreichen der
automatischen Tests, so dass diese stabil laufen und auch auf
unterschiedlichen Umgebungen gleiche Ergebnisse produzieren.
Ich will ja nicht, dass jetzt alle ihre bisherige Arbeit aufgeben, im
Gegenteil. Ich hatte nur diesen einen Punkt, die "Verbesserung der
Nutzung der Community-Ressourcen im Hinblick auf die QA", im Fokus, mit
einer - vielleicht etwas laienhaften - Idee, die aber anscheinend durch
die genannte Extension schon in eine erste Realisierungsphase
eingetreten ist, wenn auch für einen abweichenden Zweck (nämlich
Verbesserung der Usability, wenn ich das richtig verstehe).
Insofern danke erst mal für die Info, vielleicht schaffe ich es, mich
ein wenig intensiver mit der Feedback-Extension zu befassen.
Und zu guter letzt, QA ist nicht nur Fehler Reproduzieren und melden, es
beinhaltet einiges mehr. Was wir brauchen ist Man Power, und die ist
meiner Meinung nach nicht unter den Endusern zu suchen. Wenn schon TCM
Tests zu kompliziert sind für die User, dann muss man mit IssueTracker,
VCLTestTool/QUASTe, Testcase Specifications usw. schon gar nicht kommen.
Gruss Raphael
--
# Raphael Bircher
# Community Member of OpenOffice.org
# Private Website: http://www.raphaelbircher.ch
---------------------------------------------------------------------
To unsubscribe, e-mail: [email protected]
For additional commands, e-mail: [email protected]
