Personalización e interactividad en los rankings de universidades publicados en la Web Por Enrique Orduña-Malea
LOS RANKINGS DE UNIVERSIDADES han experimentado un crecimiento espectacular desde su nacimiento a finales del siglo XIX en los Estados Unidos hasta la actualidad, donde se detectan iniciativas y proyectos de este tipo en más de 40 paÃses alrededor de todo el mundo[1]. Pese a que la historia de los rankings puede agruparse, de forma un tanto aproximada, en distintas fases, es indudable que la publicación en 2003 del Academic Ranking of World Universities (ARWU), primer ranking completamente mundial de universidades de la historia, marca un antes y un después[2]. Sin embargo, las conocidas limitaciones técnicas y sesgos de los rankings (ampliamente recogidos en la literatura cientÃfica) han llevado a muchos profesionales a tratar de elaborar estructuras y metodologÃas novedosas que traten al menos de minimizar algunos de los errores más frecuentes. Este breve artÃculo trata de describir de forma sucinta algunas tendencias en el diseño de rankings de universidades, donde la forma en la que los usuarios consumen la información proporcionada por estos productos juega un papel fundamental. 1. DESAFÃOS EN EL DISEÃO DE RANKINGS Han sido muchos los autores que han tratado de identificar el camino que los rankings de universidades deberÃan seguir en el futuro. Entre éstos destaca Gero Federkeil (2007), quien indica que los rankings deberÃan alejarse de: - Analizar la universidad entera. - Usar un marcador final agregado. - Utilizar una única fuente de datos, y de - visualizar ordenadamente un ârankingâ de elementos. En cambio, deberÃan dirigirse hacia el diseño de: - Rankings de disciplinas o campos. - Rankings multidimensionales. - Rankings multiperspectiva, y de - rankings de grupos, bandas o clusters. Glänzel y Debackere (2009) sintetizan igualmente los principales problemas conceptuales que los rankings deben resolver en los próximos años: - Rankings selectivos versus integrados. - Rankings globales versus locales. - Rankings multidimensionales versus lineales, y - rankings escalares versus agrupados en clusters. Finalmente es Alex Usher (2009) quien, bajo la etiqueta de ârankings de universidad 2.0â, identifica las 7 caracterÃsticas de los rankings clásicos que se rompen definitivamente de cara al futuro: - Uso de indicadores que tratan de centrarse en la experiencia de grado (es decir, previa al máster o doctorado). - Rankings de cobertura nacional. - Análisis a nivel de la universidad entera. - Posicionamiento en una escala ordinal basada en indicadores agregados y ponderados. - Datos provenientes de gobiernos y encuestas reputacionales. - Visualización a través de un único conjunto de rankings ordinales. - Rankings gestionados por medios de comunicación de masas. De forma paralela al abandono de estas reglas clásicas, aparecen paulatinamente rankings que permiten la personalización (user-driven), y que sintetizan la mayorÃa de las propuestas de cambio. 2. PERSONALIZACIÃN DE LOS RANKINGS DE UNIVERSIDADES Las posibilidades que ofrece la publicación de rankings en la Web (forma de consumo ya mayoritaria hoy dÃa y, en algunos casos, exclusiva) propicia la ruptura de las estructuras rÃgidas y estáticas asociadas a los rankings clásicos. De esta forma, más allá de poder ordenar la tabla de resultados en función de un indicador u otro (lo que no constituye por sà mismo un ranking âpersonalizableâ), los usuarios son capaces de elegir los indicadores que desean utilizar, las ponderaciones que estiman oportunas, el área temática de interés o la zona geográfica, por ejemplo. El ranking pionero en ofrecer estas posibilidades a los usuarios fue el âRanking CHEâ, publicado por primera vez en 1998[3]. Los editores de este ranking transnacional desechan la idea de integrar los diferentes indicadores individuales en un sólo indicador global para cada institución, porque âno existe una mejor universidadâ en todas las áreas, y âpequeñas diferencias producidas por fluctuaciones aleatorias pueden ser malinterpretadas como diferencias realesâ en sistemas de rankings holÃsticos. Bajo esta idea, reconocen que la definición de calidad es âa propósitoâ y abierta a variaciones entre la definición del editor y la del consumidor, puesto que hay muchos tipos de editores y muchos tipos de usuarios. La filosofÃa de este ranking es la de guiar a los usuarios en el proceso de consulta del ranking, de forma que éstos sean capaces de expresar sus necesidades reales. No se ofrece âla mejor universidadâ, sino âla mejor universidad dadas las necesidades de cada usuarioâ. El âRanking CHEâ divide el proceso de consulta en tres pasos: 1) Materia en la que el usuario está interesado: quÃmica; informática; biologÃa; arquitectura, etc. 2) Tipo de curso que desea realizar. 3) Aspecto más importante para el usuario: buenas condiciones de estudio; buen equipamiento; orientación internacional; orientación al mercado; buenas opiniones; capacidad investigadora; condiciones de la ciudad. Cada uno de estos âaspectos seleccionablesâ lleva asociado un conjunto de indicadores. El usuario puede conformarse con ellos o eliminar aquel que no sea de su interés y elegir en su lugar otro indicador de otra categorÃa distinta, hasta completar un máximo de 10 indicadores. Una vez seleccionados los indicadores, un mapa situado en la parte izquierda de la pantalla muestra el conjunto de universidades resultantes, de forma que las instituciones situadas más cerca del cÃrculo central son las más adecuadas para la consulta efectuada. Finalmente, pulsando sobre cada institución, el sistema muestra la información correspondiente en función de los indicadores elegidos. Para cada indicador se muestra un color (verde, amarillo y rojo) que identifica el mejor o peor rendimiento de la universidad en este parámetro, a modo de report card; es decir, se usan clusters en lugar de ordinales. El gran problema de esta metodologÃa es que requiere de suficiente homogeneidad entre instituciones (y de sus programas y servicios) como para permitir las comparaciones âal estilo CHEâ en más variados entornos. Otra limitación es la relativa al uso de bandas o clusters, pues aunque evitan el uso de âganadoresâ y perdedoresâ, queda la duda de las consideraciones exactas que se han tenido en cuenta para clasificar a una universidad en un rango o en otro. Pese a esto, el âRanking CHEâ ofrece un interesante producto de información universitaria multidimensional, personalizado por los propios usuarios, sin la rigidez del uso de ordinales ni las posibles imprecisiones de los rankings que analizan la universidad en su completitud. Otra iniciativa de interés es la que ofrecen los editores del ranking británico âThe Complete University Guideâ (CUG)[4]. Además de la completa libertad del usuario para ordenar la tabla de resultados en función de los 9 indicadores usados (pudiendo igualmente eliminar los no deseados), CUG permite al usuario modificar la ponderación que se proporciona a cada indicador a través de unos simples menús desplegables, asà como la comparación directa entre universidades preseleccionadas. Siguiendo con este tipo de funcionalidades, se destaca muy especialmente el proyecto âCollege Navigatorâ[5], desarrollado en Taiwán y presentado en el congreso IREG-4 en 2009 (Yung-chi Hou, 2009). Este proyecto se distingue, como el âRanking CHEâ, por seguir los Principios de BerlÃn (que abogan por permitir a los usuarios la posibilidad de elegir indicadores y pesos) y por la utilización de clusters en un proceso de consulta guiado a través de 4 pasos: a) Selección de indicadores Se pueden seleccionar un mÃnimo de 3 y un máximo de 10 indicadores a elegir entre una amplia variedad: encuestas de reputación, producción cientÃfica por área, recursos financieros, libros por alumno en la biblioteca, tasas de graduación, etc. b) Ponderación Los usuarios pueden elegir la ponderación que desean otorgar a cada uno de los indicadores anteriormente seleccionados. c) Preferencias Los usuarios pueden en este punto filtrar la consulta a ciertos tipos de universidades. Por ejemplo, seleccionar universidades públicas o privadas, de una determinada región, buscar por áreas de conocimiento e incluso seleccionar por tamaño (número de matriculados). d) Resultados finales Se obtiene la tabla final de resultados con la peculiaridad de que, además de ofrecer un ranking escalar clásico, se muestra una flecha para cada indicador seleccionado cuyo color y sentido indica el rendimiento de la universidad. Otros rankings que permiten la mayor o menor personalización son âStudychoiceâ[6] (PaÃses Bajos), PUSH (guÃa independiente sobre universidades británicas asà como de todos los aspectos relacionados con la vida del estudiante universitario)[7], y PhDs.org[8], proyecto de un antiguo profesor del Dartmouth College que, a partir de datos de la National Science Foundation, el National Research Council y el National Center for Education Statistics, permite a los usuarios elegir un área temática y puntuar la importancia de diversos criterios. Los resultados finales se muestran en una tabla final, donde la posición de cada universidad se visualiza mediante un intervalo de valores, resultado de la media de 500 simulaciones realizadas a partir de las prioridades seleccionadas por los usuarios. 3. CUESTIONES A DISCUTIR La forma de proceder de todos estos sistemas guiados por los usuarios es lógica. Cada usuario necesita un tipo de información diferente, y sus necesidades deben explicitarse en el sistema de alguna forma. Pensemos en qué le puede aportar a un alumno, interesado en convertirse en arquitecto, que la Universidad Autónoma de Madrid sea una de las universidades españolas mejor posicionadas en la última edición del âRanking ARWUâ, si dicha universidad no oferta estos estudios. O qué le puede interesar a un cirujano la alta tasa de graduación de una universidad si lo que pretende es localizar un Hospital universitario con el que poder colaborar. Cada usuario precisa de un tipo de ranking, y los rankings âpersonalizablesâ son una vÃa de entrada para una gran mayorÃa de usuarios que el propio sistema es capaz de filtrar durante el proceso de consulta. Sin embargo, pese a las grandes posibilidades de los sistemas guiados y personalizados (mayor interactividad con los usuarios y, por tanto, mayor relevancia en los resultados obtenidos), existen algunas crÃticas y limitaciones en este tipo de productos. La crÃtica fundamental es que, en sentido estricto matemático, no son rankings. En algunos casos son âmultirankingsâ (sólo cuando se ofrece un ranking por cada indicador), pero en los servicios que se basan en rangos o clusters, como el âRanking CHEâ, no existe realmente ningún ranking, por lo que a estos sistemas se les deberÃa denominar de alguna forma diferente. Incluso cuando los propios usuarios pueden elegir los componentes y pesos, se tiene que tener presente que cualquier ránking es tan bueno como lo son los datos recopilados. Ãstos deben reflejar de forma directa y precisa la calidad de las prácticas académicas y resultados educativos. Es decir, la capacidad de personalización no garantiza per se la calidad en el producto final. En relación a la recopilación de los datos, queda por determinar la adopción de estas prácticas en los rankings mundiales (actualmente prácticamente ninguno de ellos ofrece, en su formato público, la consulta interactiva guiada). ¿Las grandes diferencias entre los sistemas universitarios de cada paÃs limitan o enriquecen las prestaciones de consulta interactiva? Por otra parte, estos sistemas dejan en manos de los usuarios la elaboración de los resultados, por lo que no queda clara la responsabilidad de los editores ante los resultados obtenidos. Es posible que estos servicios -en cierta medida- eludan la responsabilidad de comunicar cuáles son las mejores y peores universidades (una responsabilidad inherente a la elaboración de un ranking de este tipo), además de favorecer la existencia de más âganadoresâ y menos âperdedoresâ, incoherente con la confección de un ranking, aunque polÃticamente más correcto. Finalmente, queda por discutir que los usuarios entiendan cada uno de los indicadores que están a su disposición, sean capaces de ponderarlos con cierto sentido y de interpretar adecuadamente los resultados, de forma que éstos ayuden en el complejo proceso de elección de una universidad. Existen numerosos estudios que indican que los rankings de universidades son útiles principalmente para aquellos estudiantes con buenas notas, con firmes intenciones de realizar estudios de posgrado, con padres con estudios universitarios y con altos ingresos económicos (McDonough, 1998), y no tanto para el resto. ¿Es posible que estos ârankings personalizablesâ ayuden a agrandar esta brecha entre usuarios? Puesto que España es una potencia mundial en la elaboración de rankings de universidades (la mayorÃa de los cuales son además llevados a cabo por profesionales de la información), serÃa muy interesante conocer qué opinión tienen estos editores de los rankings âpersonalizablesâ. 4. NOTAS 1. Ranking System Clearinghouse. IHEP. http://www.ihep.org/Research/ránkingsystemsclearinghouse.cfm 2. Academic Ranking of World Universities (ARWU). http://www.arwu.org 3. CHE Ranking. http://www.che-ranking.de 4. The Complete University Guide (GUG). http://www.thecompleteuniversityguide.co.uk/single.htm?ipg=8726 5. College Navigator. http://cnt.heeact.edu.tw/ 6. Studychoice. http://www.studychoice.nl/ 7. PUSH. http://www.push.co.uk 8. PhDs.org http://www.phds.org/ 5. REFERENCIAS BIBLIOGRÃFICAS Federkeil, Gero. âRankings and quality assuranceâ. En: 3rd Meeting on the International Rankings Expert Group (IREG-3). Shanghai Jiao Tong University, October 28-31, 2007. Glänzel, Wolfgang; Debackere, Koenraad. "On the 'multi-dimensionalityâ of rankings: some methodological and mathematical questions to be solved in university assessmentâ. En: Ranking and differentiation in higher education, research and knowledge utilisation. International symposium on University Ranking, Leiden, 6-7 February, 2009. McDonough, P.; Antonio, A. L.; Walpole, M.; Pérez, L. X. âCollege Rankings: Democratized College Knowledge for Whom?â. Research in Higher Education, 1998, v. 39, n. 5, pp. 513-537. Usher, Alex. âUniversity rankings 2.0â. Australian universities review, 2009, v. 51, n. 2. ---------------------------------------------------- Los archivos de IWETEL pueden ser consultados en: http://listserv.rediris.es/archives/iwetel.html ----------------------------------------------------
