Agradezco la intervención de Belén para destacar lo del número 7 de la revista UX. Quisiera profundizar un poco en este, tal y como se comentaba anteriormente, 'apasionante debate'.
En ese volumen encontraréis un artículo escrito por mi (*An Attainable Goal: Quantifying Usability and User Experience) *que comenta todo esto y explica un método de investigación alternativo y complementario a los ya sobradamente conocidos y utilizados tests en Laboratorio. Podéis leer el resumen de dicho artículo en http://www.upassoc.org/upa_publications/user_experience/past_issues/2008-3.html#nuez Y es que la industria lleva ya tiempo reconociendo las limitaciones de los distintos métodos de análisis e investigación de usabilidad. Ya son muchos y desde hace bastantes años los que, como dice Javier, comprendemos que un test en laboratorio es CUALITATIVO, con un enfoque total hacia identificar posibles oportunidades de mejora, pero no a CUANTIFICARLAS. En otras palabras, ¿nos atreveríamos a concluir que el 70% de los usuarios han fallado en la tarea 3 a partir de una muestra de 10 (o incluso 20) usuarios y por tanto tenemos que hacer algo al respecto? Hoy en día hay muchos directivos o responsables que, simplemente, no lo compran. Como comenta Belén, los números y las estadísticas son muy importantes de cara a mover temas, tomar decisiones, etc. Si no, resulta en algunas ocasiones extremadamente difícil y si no, al menos altamente arriesgado. Luego también está el debate sobre qué ofrecen las herramientas de web analytics (que ofrece datos estadísticos del uso de la página y el tráfico) frente a lo que ofrecen los estudios de usabilidad. Esta diferencia, aunque a todos nosotros nos parezca obvia, no lo es tanto y no ha sido hasta relativamente hace poco cuando el sector ha logrado diferenciarlas. Y luego merece la pena mencionar el tema de que el usuario esté en un contexto de uso no natural. En definitiva, lo que está clarísimo y creo que hay muy poca duda incluso entre la comunidad de profesionales de investigación de usabilidad, es que a día de hoy, es necesario innovar y buscar formas alternativas de investigar la usabilidad y la experiencia de usuario. Está claro que la manera más común y que todo el mundo utiliza (los 'Labs') se queda corto, que la interactividad y el HCI ha evolucionado mucho y, sin embargo, no tanto las herramientas de testeo. Sobre la UX Magazine y el Remote Usability Testing (RUT) ¿Por qué dedican un número al completo al RUT? En primer lugar, el tema del testeo en remoto se llevaba ya mucho tiempo comentando, observando, analizando. Era cuestión de tiempo hasta que se empezase a convertir en un método utilizado por mucha gente. Hoy aún no se puede considerar un estándar, pero va en camino. Los RUT pueden ser, básicamente, moderados y no moderados. Esto lo comento en nuestro blog ( http://happyuser.xperienceconsulting.com/noticias-xperience/remote-usability-testing-una-metodologia-alternativa-de-investigacion-asentada/), para aquellos que os interese conocer más sobre esto. ¿Por qué me piden a mi, fundador de una pequeña empresa de usabilidad en España, que escriba para la UX Magazine??? Como he comentado, el interés del sector por los RUT ha crecido enormement en los últimos 2 años o así. En Xperience nos hemos convertido en referencia en lo que son RUT no moderados ('unmoderated' o 'automated' remote usability testing). A través de la herramienta de investigación, USERZOOM, que comenzamos a desarrollar internamente hace ya más de 6 años y que ahora comercializamos en EEUU. El Sr. Aaron Marcus, a quien tengo el placer de conocer desde hace ya unos 3 años y con quien tenemos un acuerdo de colaboración en el mercado EEUU, me invitó la año pasado a trabajar en un artículo para la revista y, obviamente, acepté encantado. En el caso de los RUT no moderados y 'automatizados', tal y como explico en el artículo y como lo explican Tom Tullis, Susan Fowler y otros autores de la revista con sus respectivos artículos, una metodología específicamente diseñada y una sofisticada herramienta de software permite investigar de una manera que, sin ánimo en absoluto de sustituir a los queridos Labs, obtienen metadados o métricas de usabilidad, 'cuantificando' así la usabilidad, obteniendo el benchmark que tanto se necesita, etc, etc. Encima, el usuario participa desde su contexto real de uso, sin el moderador delante, sin los espejos unidireccionales, etc. Pero la ventaja más evidente es, precisamente, la del centro de este debate: las estadísticas que puedes sacar de un estudio de usabilidad. Con un RUT no moderado como el que ofrecemos nosotros con USERZOOM (hay ahí fuera más empresas dedicadas a esto también, por supuesto, aunque por ahora somos pocos), solemos testar a 200 usuarios como mínimo (superando esta cifra constantemente dependiendo de las características de la muestra, así como los objetivos de la investigación), a quienes pedimos que hagan las mismas tareas y respondan a las mismas preguntas. Se que suena a autopromo, pero os aseguro que el tipo de datos que se recopilan es absolutamente impresionante, relevante y sobre todo, 'accionable' y útil. Para los que lo dudaron hace años cuando lo lanzamos, hoy podemos decir bien alto que... funciona! Claro que la clave está en la CALIDAD DE LA TECNOLOGÍA, así como en el conocimiento que debe tener un consultor para llevar a cabo estudios de este estilo y realizar análisis cuantitativos (nada que ver con los cualis). Admito abiertamente que nosotros mismos teníamos nuestras dudas en su día. Tratamos este proyecto como nuestra iniciativa I+D. Pero hoy se ha convertido en centro de nuestro negocio y, como vemos en la revista, referencia en el sector. Más info, por cierto, en www.userzoom.com. Finalmente, hablando sobre RUT, justo ayer recibí la newsletter de otra empresa en San Francisco que se ha especializado en RUT, pero en este caso moderados. Mirad los comentarios que han recopilado sobre remote testing...No tiene desperdicio, algunos creo que algo exagerados, pero hay que tener en cuenta que están en el mercado USA... :) http://boltpeters.com/about/news/082.html "Lab testing is soooo last year..." - Brian Beaver, *Director, Creative Services / Sony Electronics<http://sonystyle.com/>, Inc.* "Lab testing is like pornography -- bad lighting, awkward, and much about it is fake. Remote testing is messy, real, and honest, just like getting it on." - Peter Merholtz, *President, Adaptive Path <http://adaptivepath.com/>* "Lab testing is cool if you like to waste money and eat M&Ms. Remote testing is cool if you actually want to know what your users think." - Maya Pacheco, *Senior Product Manager, Autodesk.com<http://autodesk.com/> * Saludos, Alfonso de la Nuez Xperience Consulting 2008/9/11 Belén Barros Pena <[EMAIL PROTECTED]> > Hola a todos. > > Estoy de acuerdo con todas la limitiaciones que apunta Javier. Pero > los números son una herramienta que aquellos que toman decisiones de > negocio no sólo entienden, sino que también necesitan a la hora de > justificar una inversión en usablidad o experiencia de usuario. > > Por eso creo que es importante intentar traducir los resultados de los > tests de usuarios a estadísticas, siempre y cuando éstas sean > significativas y se elaboren con calidad suficiente. Los tests remotos > son algo que parece tener potencial a la hora de superar las > limitaciones impuestas por el reducido número de usuarios en tests > presenciales. > > El volumen 7 número 3 de la revista User Experience Magazine de UPA es > un especial sobre test remotos y cómo pueden ayudar a obtener datos > cuantitativos de calidad. Algunos de los artículos son realmente > interesantes. > > > http://www.upassoc.org/upa_publications/user_experience/past_issues/2008-3.html > > Saludos, > > Belén > ================================== > Belén Barros > Analyst, iQ Content > Usability | Design | Content | Analytics > www.iqcontent.com > > Tel: +353 1 817 0768 > Fax: +353 1 817 0769 > Email: [EMAIL PROTECTED] > > Check out our blog: www.iqcontent.com/blog > ================================== > > On 11 Sep 2008, at 12:41, Javier Cañada wrote: > > > A ver, no nos despistemos... > > > > Un test de usuario es un método cualitativo y por lo tanto las > > mediciones no sirven más que para ponernos limites orientativos, pero > > de esos número se pueden sacar muy pocas conclusiones estadísticas > > porque nuestros 8 usuarios son, como muestra, una mierda. > > > > Para poder extraer conclusiones *estadísticas* válidas de un test de > > usabilidad, habría que tener muy delimitado el universo, hacer un > > muestreo bien hecho y disponer de una muestra *verdaderamente* > > representativa. Que levante la mano quien lo ha hecho alguna vez. > > > > No lo ha hecho NADIE. Y porqué? Pues por varias razones: > > > > - la muestra sería gigantesca > > - no tenemos tiempo ni dinero para conducir tantos tests de usuario > > - sería necesario que todas las preguntas fueran cerradas > > - sería necesario que todos los tests fueran idénticos > > > > El test de usuario es una técnica cualitativa. No te dice cuánto, sino > > por qué. Por eso lo que valen son las observaciones del especialista, > > las valoraciones, y no los números o las décimas. > > > > Javier Cañada > > Vostok - www.vostok.es > > > > > > > > On 9/11/08, Daniel Mordecki <[EMAIL PROTECTED]> wrote: > >> > >> No veo por qué descartar el método estadístico. Si es importante > >> trabajar > >> sobre los tiempos (y muchas veces lo es) entonces es un método > >> razonable > >> hacer una primera pasada para generar una linea base y a partir de > >> los > >> tiempos de los usuarios en esta pasada determinar el tiempo que > >> consideraremos tope en la segunda. > >> > >> Puede aparecer como aparatoso, pero en la mayoría de los casos el > >> tiempo de > >> tests es relativamente pequeño comparado con el de preparación de > >> scripts y > >> ambiente de pruebas, así que en muchas ocasiones establecer una > >> linea base > >> no es una locura. > >> > >> Una puntualización: si igual nos parece interesante lo que está > >> aportando > >> el usuario, no es necesario decirle que se terminó el tiempo, > >> alcanza con > >> registrar la tarea como no cumplida. > >> > >> > >> Saludos, > >> Daniel > >> > >> ¡¡¡Cometamos nuevos errores!!! > >> > >> http://www.concreta.com.uy > >> > >> > >> > >> > >> "Eva Janeiro" > >> <[EMAIL PROTECTED] > >> > >> l.com> To > >> Sent by: "Lista de Cadius" > >> [EMAIL PROTECTED] <[email protected]> > >> > >> ius.org cc > >> > >> > >> Subject > >> 11/09/2008 07:50 Re: [cadius] ¿a partir > >> de que > >> a.m. minuto una tarea es fracaso? > >> > >> > >> Please respond to > >> Lista de Cadius > >> <[email protected] > >>> > >> > >> > >> > >> > >> > >> > >> Hola Nacho, > >> > >> Al ser una técnica cualitativa, poco tienen que ver en este tema las > >> matemáticas, lo único de lo que hay que fiarse es en la intuición, la > >> profesionalidad y sobre todo la experiencia del moderador. > >> > >> Según mi experiencia en tests de usuario, cada usuario es diferente > >> al > >> anterior, pero hay muchos que ya desde el primer momento, sabes que > >> no van > >> a > >> ser capaces de realizar la tarea, en ese momento, yo aconsejo pasar > >> a otra > >> sin más miramientos y si el resultado resulta ser descartar ese > >> usuario, al > >> menos habré perdido poco tiempo. > >> > >> Si yo considero que es un tiempo ligeramente excesivo, le > >> preguntaría si en > >> una situación real seguiría intentándolo después de tanto tiempo, > >> si me > >> dice > >> que sí, dejaría que lo intentase una vez más, pero le cortaría > >> enseguida > >> para la siguiente si veo que sigue en las mismas. > >> > >> El tiempo es oro y en los tests pasa volando, debes ajustarte al > >> guión lo > >> más posible para poder tener una buena referencia, válida para el > >> estudio. > >> De ahí que también sea fundamental el diseño del guión previo del > >> test. > >> Cuenta también que una vez vaya conociendo la página, requerirá menos > >> tiempo > >> para obtener el éxito (o así debería ser). > >> > >> Creo que es básico conocer la psicología del usuario para estimar los > >> tiempos, de ahí la utilidad de la micro entrevista previa mientras > >> preparas > >> todo, en tono cordial y creando un entorno de confianza y > >> complicidad, eso > >> te dará una idea de su manejo de Internet y la estimación de > >> cuánto, más o > >> menos, deberían costarle las tareas. > >> > >> Es algo muy subjetivo y que no se puede medir en números > >> inamovibles, debe > >> ser tu intuición y tu experiencia la que te vaya diciendo hasta dónde > >> llegar, es complicado, pero no conozco otra manera. > >> > >> En cuanto al caso concreto que planteas, creo que si una tarea que se > >> estima > >> por un profesional en diez minutos máximo y es realizada por un > >> usuario > >> "apto" en 20, es un fracaso, algo falla. > >> > >> Siguiendo esa metodología, muchas veces no conseguiríamos pasar de > >> una > >> tarea > >> por test y quizá sin ningún éxito. No creo que aumentar el tiempo > >> sea la > >> solución, para mí un test es un identificador de problemas o de > >> éxitos, no > >> de cosas que teóricamente funcionan aunque requieran un tiempo > >> prolongado, > >> no sé si me explico... > >> > >> Sabemos que al usuario no le gusta perder el tiempo y que, > >> dependiendo de > >> la > >> paciencia de cada uno, no todos lo intentaríamos hasta ese punto, por > >> tanto, > >> creo que es un error buscar el éxito a toda costa. > >> > >> En conclusión, NO, no creo que haya ningún método cuantitativo > >> objetivo > >> para > >> estimar el tiempo de las tareas, sobre todo porque no tardamos lo > >> mismo en > >> buscar un producto, en registrarnos, en comprar...depende en parte > >> de la > >> tarea, en parte del usuario. > >> > >> Un saludo. > >> _______________________________________________ > >> altas, bajas y modificaciones: > >> http://www.cadius.org/lista/opciones.html > >> > >> > >> > >> > >> _______________________________________________ > >> altas, bajas y modificaciones: > >> http://www.cadius.org/lista/opciones.html > >> > > > > > > -- > > I'd rather use Planetaki than Google Reader > > www.planetaki.com/javiercanada > > > > _______________________________________________ > > altas, bajas y modificaciones: > > http://www.cadius.org/lista/opciones.html > > > _______________________________________________ > altas, bajas y modificaciones: > http://www.cadius.org/lista/opciones.html > _______________________________________________ altas, bajas y modificaciones: http://www.cadius.org/lista/opciones.html
