SECOND CALL FOR PARTICIPATION - IberLEF 2025 - PRESTA: Questions and Answers about Tables in Spanish
*Web*: https://www.codabench.org/competitions/5538/ We are pleased to announce the first IberLEF task on Question Answering on Tabular Data: PRESTA. The PRESTA shared-task consists of Question Answering over Tabular Data making use of the DataBenchSPA benchmark. DataBenchSPA is a benchmark composed of real-world table datasets from different domains and with large size of rows and columns, as well as a wide variety of data types that allow to assess distinct sort of questions related to each data type. We propose a task to encourage participants to develop a system that answers the questions of the kind present in DataBenchSPA over day-to-day datasets, where the answer is either a number, a categorical value, a boolean value or lists of several types. DataBenchSPA can be used as a training and validation set, while we will release another test set explicitly compiled for the task competition. The system developed by the participants will be provided by a series of (dataset, question) pairs and will need to provide an answer which would then be compared with a gold standard. The answer might be achieved through a variety of methods. In our paper [1] we illustrate two different approaches: In-Context Learning and Code Generation. You may use any of these or come up with your own approach. There will be two subtasks: Subtask I : DataBenchSPA QA Participants will be provided with a dataset (of any size) and a question over it. The question should be answered using the data from the dataset only. Subtask II: DataBenchSPA Lite QA The task is essentially the same as the previous subtask, but involves using the sampled version of each dataset with a maximum of 20 rows per dataset. The question should be answered using the data from the sampled dataset only. For the test set, we will similarly provide a reduced version of each dataset for this subtask. This task is especially relevant when testing for models with a smaller window size. Important Dates Release of training data: 18 March 2025 Release of test data - competition starts: 30 April 2025 Submission of the results - competition ends: 12 May 2025 Submission of the description paper: 30 May 2025 Task Organizers Jorge Osés Grijalba - Graphext L. Alfonso Ureña-López - University of Jaén Eugenio Martínez Cámara - University of Jaén Jose Camacho-Collados - Cardiff University Codabench: https://www.codabench.org/competitions/5538/ -- Suelo trabajar a deshoras por lo que este correo puede haberte llegado fuera de tu horario laboral, y al cual puedes responder en el momento que mejor se ajuste a tus hábitos de trabajo. | I sometimes work at irregular times and this email might arrive out of working hours so please be assured that I respect your working pattern and look forward to your response when it suits you. [image: Universidad de Jaén] <https://www.ujaen.es/> Eugenio Martínez Cámara Vicepresidente de la SEPLN <http://www.sepln.org/> | Vice President of the SEPLN <http://www.sepln.org/en>. Profesor Titular de Universidad | Associate Professor. Investigador en Proc. del Lenguaje Natural | Postdoctoral Researcher in Natural Language Proc. Grupo de Investigación SINAI <http://sinai.ujaen.es/> | SINAI <http://sinai.ujaen.es/> Research Group. [email protected] Código ORCID:0000-0002-5279-8355 <http://orcid.org/0000-0002-5279-8355> Universidad de Jaén Dpto. de Informática | Computer Science Department. Edificio A3, despacho 145 | +34 953212883 <https://www.ujaen.es/servicios/sinformatica/sites/servicio_sinformatica/files/piefirmacorreo4/index.html> [image: Universidad de Jaén] <https://www.ujaen.es/> Este mensaje y los ficheros anexos son confidenciales dirigiéndose exclusivamente al destinatario mencionado en el encabezamiento. Los mismos contienen información reservada que no puede ser difundida. Si usted ha recibido este correo por error, tenga la amabilidad de eliminarlo de su sistema y avisar al remitente mediante reenvío a su dirección electrónica; no deberá copiar el mensaje ni divulgar su contenido a ninguna persona. Los datos personales facilitados por usted o por terceros serán tratados por UNIVERSIDAD DE JAÉN, con la finalidad de gestionar y mantener los contactos y relaciones que se produzcan como consecuencia de la relación que mantiene con UJA. Normalmente, la base jurídica que legitima este tratamiento, será su consentimiento, el interés legítimo o la necesidad para gestionar una relación contractual o similar. El plazo de conservación de sus datos vendrá determinado por la relación que mantiene con nosotros. Para más información al respecto, o para ejercer sus derechos de acceso, rectificación, cancelación/supresión, oposición, limitación o portabilidad, dirija una comunicación por escrito a UNIVERSIDAD DE JAÉN, Campus Las Lagunillas s/n. 23071 – Jaén, o a nuestro delegado de protección de datos [ [email protected]]. En caso de considerar vulnerado su derecho a la protección de datos personales, podrá interponer una reclamación ante el Consejo Andaluz de Transparencia y Protección de Datos (www.ctpdandalucia.es). Asimismo, es su responsabilidad comprobar que este mensaje o sus archivos adjuntos no contengan virus informáticos, y en caso que los tuvieran eliminarlos.
_______________________________________________ Corpora mailing list -- [email protected] https://list.elra.info/mailman3/postorius/lists/corpora.list.elra.info/ To unsubscribe send an email to [email protected]
