Hola de nuevo, Estoy completamente de acuerdo en que los datos cuantitativos que obtengamos no tienen validez a nivel estadístico por lo reducido de la muestra.
Pero las métricas (y las métricas no hay más narices que expresarlas de forma cuantitativa) son la herramienta que tiene el evaluador (cuya tarea no consiste solo en identificar los problemas) para medir y justificar el nivel de éxito de las soluciones que plantee. Son una herramienta imprescindible también en la toma de decisiones a la hora de establecer prioridades. Y son, además, la única manera de establecer objetivos de usabilidad verificables y el modo de enlazarlos con los objetivos de negocio. Por lo tanto, el obtener valores de eficacia, eficiencia, satisfacción, tasas de error, etc... Aunque sea de una muestra reducida, es una de las más valiosas herramientas con las que puede contar un evaluador a la hora de tomar sus decisiones y, aún más, de justificarlas. Un saludo, Sergio de la Casa Usability Engineer [EMAIL PROTECTED] PANDA SECURITY. One step ahead. Buenos Aires, 12 48001. Bilbao. SPAIN Phone: +34 94 425 11 00 Fax: + 34 94 424 46 97 www.pandasecurity.com -----Mensaje original----- De: [EMAIL PROTECTED] [mailto:[EMAIL PROTECTED] En nombre de Javier Cañada Enviado el: jueves, 11 de septiembre de 2008 13:41 Para: Lista de Cadius Asunto: Re: [cadius]¿a partir de que minuto una tarea es fracaso? A ver, no nos despistemos... Un test de usuario es un método cualitativo y por lo tanto las mediciones no sirven más que para ponernos limites orientativos, pero de esos número se pueden sacar muy pocas conclusiones estadísticas porque nuestros 8 usuarios son, como muestra, una mierda. Para poder extraer conclusiones *estadísticas* válidas de un test de usabilidad, habría que tener muy delimitado el universo, hacer un muestreo bien hecho y disponer de una muestra *verdaderamente* representativa. Que levante la mano quien lo ha hecho alguna vez. No lo ha hecho NADIE. Y porqué? Pues por varias razones: - la muestra sería gigantesca - no tenemos tiempo ni dinero para conducir tantos tests de usuario - sería necesario que todas las preguntas fueran cerradas - sería necesario que todos los tests fueran idénticos El test de usuario es una técnica cualitativa. No te dice cuánto, sino por qué. Por eso lo que valen son las observaciones del especialista, las valoraciones, y no los números o las décimas. Javier Cañada Vostok - www.vostok.es On 9/11/08, Daniel Mordecki <[EMAIL PROTECTED]> wrote: > > No veo por qué descartar el método estadístico. Si es importante > trabajar sobre los tiempos (y muchas veces lo es) entonces es un > método razonable hacer una primera pasada para generar una linea base > y a partir de los tiempos de los usuarios en esta pasada determinar > el tiempo que consideraremos tope en la segunda. > > Puede aparecer como aparatoso, pero en la mayoría de los casos el > tiempo de tests es relativamente pequeño comparado con el de > preparación de scripts y ambiente de pruebas, así que en muchas > ocasiones establecer una linea base no es una locura. > > Una puntualización: si igual nos parece interesante lo que está > aportando el usuario, no es necesario decirle que se terminó el > tiempo, alcanza con registrar la tarea como no cumplida. > > > Saludos, > Daniel > > ¡¡¡Cometamos nuevos errores!!! > > http://www.concreta.com.uy > > > > > "Eva Janeiro" > <[EMAIL PROTECTED] > l.com> To > Sent by: "Lista de Cadius" > [EMAIL PROTECTED] <[email protected]> > ius.org cc > > Subject > 11/09/2008 07:50 Re: [cadius] ¿a partir de que > a.m. minuto una tarea es fracaso? > > > Please respond to > Lista de Cadius > <[email protected] > > > > > > > > > Hola Nacho, > > Al ser una técnica cualitativa, poco tienen que ver en este tema las > matemáticas, lo único de lo que hay que fiarse es en la intuición, la > profesionalidad y sobre todo la experiencia del moderador. > > Según mi experiencia en tests de usuario, cada usuario es diferente > al anterior, pero hay muchos que ya desde el primer momento, sabes > que no van a ser capaces de realizar la tarea, en ese momento, yo > aconsejo pasar a otra sin más miramientos y si el resultado resulta > ser descartar ese usuario, al menos habré perdido poco tiempo. > > Si yo considero que es un tiempo ligeramente excesivo, le preguntaría > si en una situación real seguiría intentándolo después de tanto > tiempo, si me dice que sí, dejaría que lo intentase una vez más, > pero le cortaría enseguida para la siguiente si veo que sigue en las > mismas. > > El tiempo es oro y en los tests pasa volando, debes ajustarte al > guión lo más posible para poder tener una buena referencia, válida para el > estudio. > De ahí que también sea fundamental el diseño del guión previo del test. > Cuenta también que una vez vaya conociendo la página, requerirá menos > tiempo para obtener el éxito (o así debería ser). > > Creo que es básico conocer la psicología del usuario para estimar los > tiempos, de ahí la utilidad de la micro entrevista previa mientras > preparas todo, en tono cordial y creando un entorno de confianza y > complicidad, eso te dará una idea de su manejo de Internet y la > estimación de cuánto, más o menos, deberían costarle las tareas. > > Es algo muy subjetivo y que no se puede medir en números inamovibles, > debe ser tu intuición y tu experiencia la que te vaya diciendo hasta > dónde llegar, es complicado, pero no conozco otra manera. > > En cuanto al caso concreto que planteas, creo que si una tarea que se > estima por un profesional en diez minutos máximo y es realizada por > un usuario "apto" en 20, es un fracaso, algo falla. > > Siguiendo esa metodología, muchas veces no conseguiríamos pasar de > una tarea por test y quizá sin ningún éxito. No creo que aumentar el > tiempo sea la solución, para mí un test es un identificador de > problemas o de éxitos, no de cosas que teóricamente funcionan aunque > requieran un tiempo prolongado, no sé si me explico... > > Sabemos que al usuario no le gusta perder el tiempo y que, > dependiendo de la paciencia de cada uno, no todos lo intentaríamos > hasta ese punto, por tanto, creo que es un error buscar el éxito a > toda costa. > > En conclusión, NO, no creo que haya ningún método cuantitativo > objetivo para estimar el tiempo de las tareas, sobre todo porque no > tardamos lo mismo en buscar un producto, en registrarnos, en > comprar...depende en parte de la tarea, en parte del usuario. > > Un saludo. > _______________________________________________ > altas, bajas y modificaciones: > http://www.cadius.org/lista/opciones.html > > > > > _______________________________________________ > altas, bajas y modificaciones: > http://www.cadius.org/lista/opciones.html > -- I'd rather use Planetaki than Google Reader www.planetaki.com/javiercanada _______________________________________________ altas, bajas y modificaciones: http://www.cadius.org/lista/opciones.html _______________________________________________ altas, bajas y modificaciones: http://www.cadius.org/lista/opciones.html
