The Artificial Intelligence Research Institute (IIIA) offers up to 5 scholarships for the introduction to a research career in the context of CSIC's JAE Intro 2025 Programme.
Training plans and mentors:
JAEINT25_EX_0100: Theory of Multi-Objective Reinf...
The Artificial Intelligence Research Institute (IIIA) offers up to 5 scholarships for the introduction to a research career in the context of CSIC's JAE Intro 2025 Programme.
Training plans and mentors:
JAEINT25_EX_0100: Theory of Multi-Objective Reinforcement Learning
Mentors: Dr. Manel Rodríguez (manel.rodriguez@iiia.csic.es)
The purpose of this project is to investigate the formal frontiers of multi-objective reinforcement learning (MORL), an area with multiple applications such as Large Language Models (e.g., ChatGPT, DeepSeek), video games, or value alignment. The project will extend recent, theoretical work by IIIA-CSIC on multi-objective reinforcement learning published at the world-renowned NeurIPS conference [1]. We will put a strong focus on evaluating MORL algorithms with our novel theoretical tools. This evaluation will happen in two fronts. First, we will develop novel metrics to assess the quality of the learned results of the algorithms. Second, we will design and deploy novel reinforcement learning algorithms specially crafted to compute these metrics. The results of this research will put in the spotlight the inconsistencies of current multi-objetive reinforcement learning algorithms. To guarantee that empirical results are formally significant, we will focus on algorithms with proven convergence guarantees.
[1] Rodriguez-Soto, Manel, Juan Antonio Rodriguez-Aguilar, and Maite Lopez-Sanchez. "An Analytical Study of Utility Functions in Multi-Objective Reinforcement Learning." In The Thirty-eighth Annual Conference on Neural Information Processing Systems, Dec 10- Dec 15 2024, Vancouver, Canada
JAEINT25_EX_0118: Estudios de la ciencia y la tecnología en la inteligencia artificial y la robótica en salud
Mentor: Dra. Núria Vallès (nuria.valles@iiia.csic.es)
La presente oferta tiene como objetivo general ofrecer a la persona candidata una formación teórica y empírica en los Science and Technology Studies (STS) aplicados al estudio de la Inteligencia Artificial y la robótica. Los STS son una perspectiva interdisciplinar que integra la aproximación de las ciencias sociales y las humanidades en el estudio de la ciencia y la tecnología. Específicamente, la persona seleccionada participará en proyectos sobre el estudio de las controversias éticas, políticas y sociales alrededor de la IA y la robótica en el ámbito de la salud y los cuidados. Desde hace un par de décadas los robots se están desarrollando para realizar tareas de asistencia y cuidados (procesos terapéuticos, acompañamiento a la soledad, apoyo en tareas cotidianas, entre otros), a la vez que en los últimos años la IA generativa está suponiendo el diseño de nuevas herramientas y dispositivos de predicción e interacción en salud. Aparte de los retos técnicos que supone el desarrollo de estos artefactos, por su capacidad de interacción directa con los pacientes y profesionales, la IA y la robótica en el ámbito de la salud plantea retos éticos y políticos relevantes en relación a: el papel de los cuidados en las sociedades contemporáneas, el modelo de gestión de los sistemas públicos de salud, la transformación de las habilidades clínicas o la participación de colectivos concernidos de pacientes y profesionales sanitarios/asistenciales en el diseño tecnológico. Mediante su participación en proyectos de investigación sobre IA y robótica en salud se ofrecerá a la persona seleccionada una formación teórica sólida en el ámbito de los STS, así como también una formación sobre metodologías de análisis cualitativas (entrevistas en profundidad semi-estructuradas, grupos focales y etnografía focalizada). Esta formación podrá servirle a la persona candidata como parte de su trabajo de fin de Máster (TFM) en áreas vinculadas a las ciencias sociales o las humanidades (sociología, antropología, psicología social, historia, bioética, etc.), con un claro interés en el estudio social de la IA y la robótica. Por otro lado, se pretende fomentar el interés en la realización de una tesis doctoral mediante la preparación conjunta de una propuesta FPU u otras convocatorias afines.
JAEINT25_EX_0283: Adaptive Moving Target Defense for Robust Malware Detection Using Machine Learning
Mentors: Dr. Daniel Gibert (daniel.gibert@iiia.csic.es)
Project description: The primary objective of this project is to investigate the suitability of “Moving Target Defense” (MTD) for hardening malware detection systems against adversarial attacks. Traditional machine learning-based malware detection systems are vulnerable to adversarial evasion techniques, where attackers subtly manipulate the malicious code to bypass detection. Moving Target Defense is a dynamic strategy to protect the system by constantly changing their attack surface. The appointed candidate will be tasked with exploring the weaknesses of these malware detection systems and building a detector based on the MTD concept.
Requirements:
Proficiency in Python.
Experience with machine learning libraries such as TensorFlow and PyTorch.
Preferred skills (Not mandatory):
Familiarity with AI-based malware detection systems.
JAEINT25_EX_0501: Neurosymbolic Artificial Intelligence for Qualitative Reasoning
Mentor: Dr. Vicent Costa (vicent@iiia.csic.es)
Neurosymbolic artificial intelligence (AI) is a recent field in AI that aims to merge knowledge-based symbolic approaches with neural network-based methods. It is primarily driven by application-level considerations, such as explainability and interpretability, and seeks to combine the strengths of both approaches while overcoming their respective limitations. Qualitative Reasoning (QR) is a research area within AI that focuses on automating reasoning about continuous aspects of the physical world, like time and space, to support problem-solving and planning using qualitative rather than quantitative information. The main goal of this project is to use and integrate principles and techniques from neurosymbolic AI to design hybrid systems for QR. In this way, the application domains will be aligned with the tutor's previous work, particularly focusing on challenges related to individuals with disability or qualitative reasoning concerning color, lengths or angles. Ideal candidates for this fellowship should have excellent programming skills, a strong foundation in logic and theoretical computer science, and a keen awareness of the ethical aspects of AI system design.
[1] Diego Fraile, Vicent Costa & Pilar Dellunde. LENs for Analyzing the Quality of Life of People with Intellectual Disability, Lecture Notes in Computer Science, 2024, 14980 LNAI, pp. 165–174
[2] Vicent Costa, Jose M. Alonso, Zoe Falomir, Pilar Dellunde. An Art Painting Style Explainable Classifier grounded on Logical and Commonsense Reasoning, Soft Computing, 2023. DOI: 10.1007/s00500-023-08258-x. [3] Garcez, A.d., Lamb, L.C. Neurosymbolic AI: the 3rd wave. Artif Intell Rev 56, 12387–12406 (2023). https://doi.org/10.1007/s10462-023-10448-w
[4] Zoe Falomir, Albert Pich & Vicent Costa. Spatial reasoning about qualitative shape compositions: Composing Qualitative Lengths and Angles, Annals of Mathematics and Artificial Intelligence, 2020, vol. 88(5-6), pp. 589–621.
JAEINT25_EX_0629: Diseño automático de algoritmos de optimización para TPU/GPU usando modelos fundacionales
Mentor: Dr. Christian Blum (christian.blum@iiia.csic.es)
Los modelos fundacionales, como los Large Language Models (LLMs), han demostrado ser herramientas útiles en la generación de código, no solo para tareas triviales, sino también en el diseño e implementación de algoritmos complejos. Su capacidad para generar código en múltiples lenguajes de programación, detectar nuevas heurísticas y mejorar implementaciones existentes los posiciona como asistentes potenciales en el desarrollo de software de alto rendimiento. Nuestro equipo ya ha trabajado en el uso de LLMs para mejorar algoritmos de optimización ya existentes; sin embargo, este proyecto busca ir más allá: explorar el potencial de los LLMs para diseñar y adaptar algoritmos de optimización en arquitecturas de hardware acelerado, como TPU y GPU. En particular, se investigará su capacidad para transformar implementaciones secuenciales en C++ o Python (u otro lenguaje de programación) en versiones optimizadas y altamente paralelizables utilizando frameworks como TensorFlow/XLA o CUDA. Un caso de estudio será la adaptación de algoritmos evolutivos, como los Algoritmos Genéticos, evaluando no solo la corrección de la traducción (de secuencial a paralelizable), sino también la eficiencia computacional de las versiones generadas. Además, el proyecto analizará hasta qué punto los LLMs pueden generar código que aproveche técnicas avanzadas de optimización, como el manejo eficiente de memoria, la explotación de instrucciones SIMD y la distribución de cargas de trabajo en entornos multi-GPU. Esto permitirá evaluar el impacto real de estas herramientas en el diseño automático de algoritmos de optimización y su aplicabilidad en escenarios de computación de alto rendimiento, como aprendizaje automático, simulaciones científicas y optimización combinatoria.
