Last Days - SemEval 2025 Task 8: Question Answering on Tabular Data The TabularQA task of SemEval 2025 (task 8) is entering in ist final stretch, there are only *seven days left* for the development stage of the task ends. So, if you are interested in exploring the emergent capability of LLMs of answering questions from tabular data, we encourage you to use these *seven days* to prepare your set-up and participate in the shared task.
We remind that we propose the following two subtasks: *Subtask I : DataBench QA* Participants will be provided with a dataset (of any size) and a question over it. The question should be answered using the data from the dataset only. *Subtask II: DataBench Lite QA* The task is essentially the same as the previous subtask, but involves using the sampled version of each dataset with a maximum of 20 rows per dataset (see explanation on DataBench Lite). The question should be answered using the data from the sampled dataset only. For the test set, we will similarly provide a reduced version of each dataset for this subtask. This task is especially relevant when testing for models with a smaller window size. Important Dates Official Competition start 10 January 2025 Competition end 31 January 2025 Task Organizers Jorge Osés Grijalba - Graphext L. Alfonso Ureña-López and Eugenio Martínez Cámara - University of Jaén Jose Camacho-Collados - Cardiff University Competition website: https://jorses.github.io/semeval/ Codabench: https://www.codabench.org/competitions/3360/ Google Group: https://groups.google.com/g/semeval-25-t8-tabularqaImportant Dates Official Competition start 10 January 2025 Competition end 31 January 2025 *Task Organizers* Jorge Osés Grijalba - Graphext L. Alfonso Ureña-López - Universidad de Jaén Eugenio Martínez Cámara - Universidad de Jaén Jose Camacho-Collados - Cardiff University *Competition website*: https://jorses.github.io/semeval/ *Codabench*: https://www.codabench.org/competitions/3360/ *Google Group*: https://groups.google.com/g/semeval-25-t8-tabularqa *News*: https://x.com/semeval_tableQA Kind regards, The organisers. -- Suelo trabajar a deshoras por lo que este correo puede haberte llegado fuera de tu horario laboral, y al cual puedes responder en el momento que mejor se ajuste a tus hábitos de trabajo. | I sometimes work at irregular times and this email might arrive out of working hours so please be assured that I respect your working pattern and look forward to your response when it suits you. [image: Universidad de Jaén] <https://www.ujaen.es/> Eugenio Martínez Cámara Vicepresidente de la SEPLN <http://www.sepln.org/> | Vice President of the SEPLN <http://www.sepln.org/en>. Profesor Titular de Universidad | Associate Professor. Investigador en Proc. del Lenguaje Natural | Postdoctoral Researcher in Natural Language Proc. Grupo de Investigación SINAI <http://sinai.ujaen.es/> | SINAI <http://sinai.ujaen.es/> Research Group. [email protected] Código ORCID:0000-0002-5279-8355 <http://orcid.org/0000-0002-5279-8355> Universidad de Jaén Dpto. de Informática | Computer Science Department. Edificio A3, despacho 145 | +34 953212883 <https://www.ujaen.es/servicios/sinformatica/sites/servicio_sinformatica/files/piefirmacorreo4/index.html> [image: Universidad de Jaén] <https://www.ujaen.es/> Este mensaje y los ficheros anexos son confidenciales dirigiéndose exclusivamente al destinatario mencionado en el encabezamiento. Los mismos contienen información reservada que no puede ser difundida. Si usted ha recibido este correo por error, tenga la amabilidad de eliminarlo de su sistema y avisar al remitente mediante reenvío a su dirección electrónica; no deberá copiar el mensaje ni divulgar su contenido a ninguna persona. Los datos personales facilitados por usted o por terceros serán tratados por UNIVERSIDAD DE JAÉN, con la finalidad de gestionar y mantener los contactos y relaciones que se produzcan como consecuencia de la relación que mantiene con UJA. Normalmente, la base jurídica que legitima este tratamiento, será su consentimiento, el interés legítimo o la necesidad para gestionar una relación contractual o similar. El plazo de conservación de sus datos vendrá determinado por la relación que mantiene con nosotros. Para más información al respecto, o para ejercer sus derechos de acceso, rectificación, cancelación/supresión, oposición, limitación o portabilidad, dirija una comunicación por escrito a UNIVERSIDAD DE JAÉN, Campus Las Lagunillas s/n. 23071 – Jaén, o a nuestro delegado de protección de datos [ [email protected]]. En caso de considerar vulnerado su derecho a la protección de datos personales, podrá interponer una reclamación ante el Consejo Andaluz de Transparencia y Protección de Datos (www.ctpdandalucia.es). Asimismo, es su responsabilidad comprobar que este mensaje o sus archivos adjuntos no contengan virus informáticos, y en caso que los tuvieran eliminarlos.
_______________________________________________ Corpora mailing list -- [email protected] https://list.elra.info/mailman3/postorius/lists/corpora.list.elra.info/ To unsubscribe send an email to [email protected]
