[apologies if you receive multiple copies of this call] [Spanish version below]
CALL FOR PARTICIPATION - IberLEF 2025 - PRESTA: Questions and Answers about Tables in Spanish We are pleased to announce the first IberLEF task on Question Answering on Tabular Data: PRESTA. The PRESTA shared-task consists of Question Answering over Tabular Data making use of the DataBenchSPA benchmark. DataBenchSPA is a benchmark composed of real-world table datasets from different domains and with large size of rows and columns, as well as a wide variety of data types that allow to assess distinct sort of questions related to each data type. We propose a task to encourage participants to develop a system that answers the questions of the kind present in DataBenchSPA over day-to-day datasets, where the answer is either a number, a categorical value, a boolean value or lists of several types. DataBenchSPA can be used as a training and validation set, while we will release another test set explicitly compiled for the task competition. The system developed by the participants will be provided by a series of (dataset, question) pairs and will need to provide an answer which would then be compared with a gold standard. The answer might be achieved through a variety of methods. In our paper [1] we illustrate two different approaches: In-Context Learning and Code Generation. You may use any of these or come up with your own approach. There will be two subtasks: Subtask I : DataBenchSPA QA Participants will be provided with a dataset (of any size) and a question over it. The question should be answered using the data from the dataset only. Subtask II: DataBenchSPA Lite QA The task is essentially the same as the previous subtask, but involves using the sampled version of each dataset with a maximum of 20 rows per dataset. The question should be answered using the data from the sampled dataset only. For the test set, we will similarly provide a reduced version of each dataset for this subtask. This task is especially relevant when testing for models with a smaller window size. Important Dates Release of training data: 18 March 2025 Release of test data - competition starts: 30 April 2025 Submission of the results - competition ends: 12 May 2025 Submission of the description paper: 30 May 2025 Task Organizers Jorge Osés Grijalba - Graphext L. Alfonso Ureña-López - University of Jaén Eugenio Martínez Cámara - University of Jaén Jose Camacho-Collados - Cardiff University Codabench: https://www.codabench.org/competitions/5538/ Google Group: CREAR POR JORGE [Spanish version] CONVOCATORIA DE PARTICIPACIÓN EN - IberLEF 2025 - PRESTA: PREGUNTAS Y RESPUESTAS SOBRE TABLAS EN ESPAÑOL Anunciamos por primera vez en IberLEF una tarea competitiva sobre recuperación de respuestas sobre sobre datos tabulares, en particular la tarea PRESTA: Preguntas y Respuestas sobre Tablas en Español. La tarea PRESTA consiste en responder preguntas sobre datos tabulares utilizando como fuente de información el conjunto de datos DataBenchSPA. DataBenchSPA está compuesto por conjuntos de datos de tablas del mundo real de diferentes dominios y con un gran tamaño de filas y columnas, así como una amplia variedad de tipos de datos que permiten evaluar distintos tipos de preguntas relacionadas con cada tipo de datos. Animamos a los participantes a desarrollar un sistema que responda preguntas del tipo presentes en DataBenchSPA sobre conjuntos de datos del día a día, donde la respuesta puede ser un número, un valor categórico, un valor booleano o listas de varios tipos. DataBenchSPA se puede utilizar como conjunto de entrenamiento y validación, mientras que lanzaremos otro conjunto de prueba compilado explícitamente para la competencia de tareas. El sistema desarrollado por los participantes estará compuesto por una serie de pares (conjunto de datos, preguntas) y deberá proporcionar una respuesta que luego se comparará con un respuesta de referencia. La respuesta podría lograrse mediante una variedad de métodos. En nuestro artículo [1] ilustramos dos enfoques diferentes: aprendizaje en contexto y generación de código. Puede utilizar cualquiera de estos o crear su propio enfoque. Subtareas: Subtarea I: DataBenchSPA completo Los participantes recibirán un conjunto de datos (de cualquier tamaño) y una pregunta sobre él. La pregunta debe responderse utilizando únicamente los datos del conjunto de datos. Subtarea II: DataBenchSPA Reducido La tarea es esencialmente la misma que la subtarea anterior, pero implica utilizar la versión muestreada de cada conjunto de datos con un máximo de 20 filas por conjunto de datos. La pregunta debe responderse utilizando únicamente los datos del conjunto de datos muestreado. Para el conjunto de prueba, proporcionaremos de manera similar una versión reducida de cada conjunto de datos para esta subtarea. Esta tarea es especialmente relevante cuando se prueban modelos con un tamaño de contexto más pequeño. Fechas Importantes Publicación de datos de entrenamiento: 18 de marzo de 2025 Publicación de datos de prueba - inicio de la competición: 30 de abril de 2025 Envío de resultados - finalización de la competición: 12 de mayo de 2025 Presentación del artículo de descripción del sistema: 30 de mayo de 2025 Organizadores de tareas Jorge Osés Grijalba - Graphext L. Alfonso Ureña-López - Universidad de Jaén Eugenio Martínez Cámara - University of Jaén Jose Camacho-Collados - Cardiff University CodaBench: https://www.codabench.org/competitions/5538/ Grupo de Google: CREAR POR JORGE -- Suelo trabajar a deshoras por lo que este correo puede haberte llegado fuera de tu horario laboral, y al cual puedes responder en el momento que mejor se ajuste a tus hábitos de trabajo. | I sometimes work at irregular times and this email might arrive out of working hours so please be assured that I respect your working pattern and look forward to your response when it suits you. [image: Universidad de Jaén] <https://www.ujaen.es/> Eugenio Martínez Cámara Vicepresidente de la SEPLN <http://www.sepln.org/> | Vice President of the SEPLN <http://www.sepln.org/en>. Profesor Titular de Universidad | Associate Professor. Investigador en Proc. del Lenguaje Natural | Postdoctoral Researcher in Natural Language Proc. Grupo de Investigación SINAI <http://sinai.ujaen.es/> | SINAI <http://sinai.ujaen.es/> Research Group. [email protected] Código ORCID:0000-0002-5279-8355 <http://orcid.org/0000-0002-5279-8355> Universidad de Jaén Dpto. de Informática | Computer Science Department. Edificio A3, despacho 145 | +34 953212883 <https://www.ujaen.es/servicios/sinformatica/sites/servicio_sinformatica/files/piefirmacorreo4/index.html> [image: Universidad de Jaén] <https://www.ujaen.es/> Este mensaje y los ficheros anexos son confidenciales dirigiéndose exclusivamente al destinatario mencionado en el encabezamiento. Los mismos contienen información reservada que no puede ser difundida. Si usted ha recibido este correo por error, tenga la amabilidad de eliminarlo de su sistema y avisar al remitente mediante reenvío a su dirección electrónica; no deberá copiar el mensaje ni divulgar su contenido a ninguna persona. Los datos personales facilitados por usted o por terceros serán tratados por UNIVERSIDAD DE JAÉN, con la finalidad de gestionar y mantener los contactos y relaciones que se produzcan como consecuencia de la relación que mantiene con UJA. Normalmente, la base jurídica que legitima este tratamiento, será su consentimiento, el interés legítimo o la necesidad para gestionar una relación contractual o similar. El plazo de conservación de sus datos vendrá determinado por la relación que mantiene con nosotros. Para más información al respecto, o para ejercer sus derechos de acceso, rectificación, cancelación/supresión, oposición, limitación o portabilidad, dirija una comunicación por escrito a UNIVERSIDAD DE JAÉN, Campus Las Lagunillas s/n. 23071 – Jaén, o a nuestro delegado de protección de datos [ [email protected]]. En caso de considerar vulnerado su derecho a la protección de datos personales, podrá interponer una reclamación ante el Consejo Andaluz de Transparencia y Protección de Datos (www.ctpdandalucia.es). Asimismo, es su responsabilidad comprobar que este mensaje o sus archivos adjuntos no contengan virus informáticos, y en caso que los tuvieran eliminarlos.
_______________________________________________ Corpora mailing list -- [email protected] https://list.elra.info/mailman3/postorius/lists/corpora.list.elra.info/ To unsubscribe send an email to [email protected]
