CA | ES | EN
Ética e IA

El tema de investigación sobre ética e IA tiene como objetivo abordar una serie de desafíos éticos planteados en la IA y proporcionar los primeros elementos básicos para el desarrollo de sistemas de IA que se adhieran a nuestros valores y requisitos. Proponemos herramientas y métodos computacionales novedosos, respaldados por investigaciones multidisciplinarias, que pueden hacer que los humanos y las máquinas entiendan sus respectivos objetivos dinámicos mientras respetan estrictamente los valores que inspiran a nuestras sociedades.

Contacto: Nardine Osman


En los últimos años, surgieron muchas iniciativas que intentaron abordar los problemas de ética e IA. Algunos fueron dirigidos por industrias tecnológicas de primer nivel, mientras que otros por científicos destacados en los campos relevantes, desde la filosofía hasta la IA. Entre ellos se encuentra la declaración de Barcelona liderada por el IIIA para el desarrollo y uso adecuado de la inteligencia artificial en Europa. Todas esas iniciativas comparten una serie de preocupaciones éticas desafiantes, que van desde la explicabilidad, la transparencia y la rendición de cuentas hasta la alineación de valores, el control humano y el beneficio compartido.

En el IIIA, nuestro objetivo es abordar algunos de estos desafíos éticos. Por un lado, deseamos centrarnos en el desarrollo de sistemas de IA que se adhieran a nuestros valores y requisitos. Por otro lado, queremos centrarnos en el impacto de los sistemas de IA en las interacciones humanas (entre sí o con el sistema de IA) para garantizar que estamos promoviendo interacciones y colaboraciones éticas.

Nuestro trabajo sobre ética e IA está respaldado por una sólida investigación multidisciplinaria. Por ejemplo, qué comportamiento del sistema se considera ético y legal es clave aquí. Como tal, decimos que las ciencias sociales y las humanidades (desde la filosofía y el derecho hasta las ciencias sociales y cognitivas) se encuentran en el centro de cualquier investigación sobre ética e IA. Argumentamos que estos campos no solo deberían proporcionar información para la investigación de la IA, sino que también deberían participar de forma activa y colaborativa en la dirección y el avance de la investigación de la IA.

A continuación, presentamos los principios que sustentan el trabajo del IIIA sobre ética e IA.

Los sistemas de IA deben estar impulsados por las necesidades y los valores de las personas, y evolucionar con estas necesidades y valores en continua evolución.


Esto garantiza que los sistemas de IA prosperen para nuestro beneficio, mientras se adhieren a nuestros valores.

La gobernanza de la IA debe democratizarse.


Esto les da a las personas el control sobre sus sistemas de IA, para que puedan opinar sobre cómo debe o no debe comportarse su tecnología. Esto no solo exige nuevas iniciativas democráticas e interactivas, sino también un aporte cuidadoso de los campos de la ética y la ley para ayudar a evaluar la dinámica entre lo que la gente quiere, lo que es ético y lo que es legal.

Una perspectiva humanista es necesaria para la colaboración ética hombre-máquina.


Es importante fomentar una perspectiva humanista que sitúe la IA dentro del fenómeno humano más amplio que llamamos "inteligencia", ya que surge de las interrelaciones e interacciones compartidas con los humanos, los sistemas informáticos y el medio ambiente.

Una muestra de nuestros intereses de investigación:

Tecnologías para los acuerdos

Dar a los humanos la posibilidad de opinar sobre cómo funcionan sus tecnologías implica permitirles ponerse de acuerdo colectivamente sobre tales cuestiones. Las áreas de investigación como la argumentación, la negociación, la confianza y la reputación, la elección social computacional y la alineación semántica proporcionan medios para apoyar a los pares (humanos y agentes de software) para llegar a acuerdos de forma colaborativa. Sostenemos que los acuerdos deben estar basados en valores. Por lo tanto, la introducción de valores en las áreas de investigación de las tecnologías de acuerdos es de sumo interés.

Aprendizaje y Razonamiento

Saber cuándo un sistema no está cumpliendo sus objetivos puede ayudar a señalar la necesidad de un cambio. Aprender qué normas se adhieren mejor a ciertos valores o qué normas se adaptan mejor a una comunidad determinada de pares puede ayudar a respaldar el proceso de toma de decisiones sobre cómo debe cambiar/evolucionar un sistema, así como también respaldar qué dirección debe tomar este cambio. Visualizamos mecanismos de aprendizaje y razonamiento para apoyar el proceso de decisión de las personas.

Procesamiento del Lenguaje Natural

Que las personas acuerden colectivamente las necesidades y los valores que impulsan y gobiernan sus tecnologías implica: 1) que discutan y argumenten estas necesidades y valores, y 2) que el sistema participe en el proceso de acuerdo de las personas y comprenda las decisiones finales. Como no podemos esperar que los humanos dominen los lenguajes formales utilizados para especificar necesidades y valores, ni que tengan discusiones en un lenguaje formal, el procesamiento del lenguaje natural se vuelve clave para que el humano y la máquina se entiendan.

Normas y Sistemas Normativos

El comportamiento es lo que garantiza que se satisfagan las necesidades y se respeten los valores, y las normas son las que gobiernan el comportamiento. Los sistemas normativos se han utilizado tradicionalmente en sistemas multiagente para mediar en el comportamiento. Seguimos esos pasos y proponemos emplear los sistemas normativos como medios para mediar el comportamiento. Estamos especialmente interesados en la relación entre valores y normas y en asegurar (a veces verificar) que un sistema normativo se adhiera a unos valores predefinidos.

Ética

Definir valores formalmente es un desafío en sí mismo. Incorporar valores en los sistemas de IA y verificar la adherencia de un sistema a un conjunto de valores es un desafío aún mayor. Todo esto requiere una cuidadosa y estrecha colaboración con el campo de la ética. Además, si bien se ha argumentado que la necesidad del control humano es uno de los principios de la IA ética, no podemos ignorar el hecho de que los humanos pueden llegar a "acuerdos injustos", es decir, acuerdos no éticos o ilegales. Por lo tanto, se requiere un análisis cuidadoso para abordar cuestiones como los "acuerdos ilícitos". Comprender la dinámica entre lo que requieren los humanos, lo que se considera ético y lo que es legal puede ser clave para el desarrollo de sistemas de IA "éticos".

Estudios Jurídicos

Las normas legales se utilizan en la IA y en el derecho para respaldar el razonamiento sobre declaraciones legales, y los sistemas legales se pueden implementar como sistemas normativos. Por ello, la colaboración con el campo de los estudios jurídicos resulta imprescindible. Además, evaluar las consecuencias e implicaciones de otorgar poderes ejecutivos y judiciales a la máquina (especialmente cuando el sistema se adapta y evoluciona automáticamente) requiere una colaboración estrecha y cuidadosa con el campo de los estudios jurídicos. Y al igual que con el campo de la ética, también es necesaria la perspectiva legal para tratar los "acuerdos ilícitos". Comprender la dinámica entre lo que requieren los humanos, lo que se considera ético y lo que es legal puede ser clave para el desarrollo de sistemas de IA "éticos".

Pilar Dellunde
Adjunct Scientist

Ramon Lopez de Mantaras
Adjunct Professor Ad Honorem
Phone Ext. 431828

Maite López-Sánchez
Tenured University Lecturer
Phone Ext. 431821

Pablo Noriega
Científico Ad Honorem
Phone Ext. 431829

Nardine Osman
Tenured Scientist
Phone Ext. 431826

Juan A. Rodríguez-Aguilar
Research Professor
Phone Ext. 431861

Marco Schorlemmer
Tenured Scientist
Phone Ext. 431858

Carles Sierra
Research Professor
Phone Ext. 431801

2024
Thiago Nardine Osman,  & Marco Schorlemmer (2024). Is This a Violation? Learning and Understanding Norm Violations in Online Communities. Artificial Intelligence, 327. https://doi.org/10.1016/j.artint.2023.104058. [BibTeX]
2023
Marc Serramia,  Manel Rodriguez-Soto,  Maite Lopez-Sanchez,  Juan A. Rodríguez-Aguilar,  Filippo Bistaffa,  Paula Boddington,  Michael Wooldridge,  & Carlos Ansotegui (2023). Encoding Ethics to Compute Value-Aligned Norms. Minds and Machines, 1--30. [BibTeX]  [PDF]
Manel Rodríguez Soto,  Maite López-Sánchez,  & Juan A. Rodríguez-Aguilar (2023). Multi-objective reinforcement learning for designing ethical multi-agent environments. Neural Computing and Applications. https://doi.org/10.1007/s00521-023-08898-y. [BibTeX]  [PDF]
Manel Rodríguez Soto,  Roxana Radulescu,  Juan A. Rodríguez-Aguilar,  Maite López-Sánchez,  & Ann Nowé (2023). Multi-objective reinforcement learning for guaranteeing alignment with multiple values. Adaptive and Learning Agents Workshop (AAMAS 2023) . [BibTeX]  [PDF]
Pablo Noriega,  & Enric Plaza (2023). The Use of Agent-based Simulation of Public Policy Design to Study the Value Alignment Problem. Proc. AIGEL 2022 Artificial Intelligence Governance Ethics and Law Workshop 2022 . CEUR-WS. https://ceur-ws.org/Vol-3531/SPaper_10.pdf. [BibTeX]  [PDF]
2022
Pol Vidal Lamolla,  Alexandra Popartan,  Toni Perello-Moragues,  Pablo Noriega,  David Sauri,  Manel Poch,  & Maria Molinos-Senante (2022). Agent-based modelling to simulate the socio-economic effects of implementing time-of-use tariffs for domestic water. Sustainable Cities and Society, 86, 104118. https://doi.org/10.1016/j.scs.2022.104118. [BibTeX]  [PDF]
Eric Roselló-Marín,  Maite López-Sánchez,  Inmaculada Rodríguez Santiago,  Manel Rodríguez Soto,  & Juan A. Rodríguez-Aguilar (2022). An Ethical Conversational Agent to Respectfully Conduct In-Game Surveys. Artificial Intelligence Research and Development (pp 335--344). IOS Press. [BibTeX]  [PDF]
Manel Rodríguez Soto,  Juan A. Rodríguez-Aguilar,  & Maite López-Sánchez (2022). Building Multi-Agent Environments with Theoretical Guarantees on the Learning of Ethical Policies. . Adaptive and Learning Agents Workshop at AAMAS 2022 (ALA 2022). [BibTeX]  [PDF]
Pablo Noriega,  Harko Verhagen,  Julian Padget,  & Mark d'Inverno (2022). Design Heuristics for Ethical Online Institutions. Nirav Ajmeri, Andreasa Morris Martin, & Bastin Tony Roy Savarimuthu (Eds.), Coordination, Organizations, Institutions, Norms, and Ethics for Governance of Multi-Agent Systems XV (pp. 213--230). Springer International Publishing. [BibTeX]  [PDF]
Manel Rodríguez Soto,  Marc Serramia,  Maite López-Sánchez,  & Juan A. Rodríguez-Aguilar (2022). Instilling moral value alignment by means of multi-objective reinforcement learning. Ethics and Information Technology, 24. https://doi.org/10.1007/s10676-022-09635-0. [BibTeX]  [PDF]
2021
Jaume Agustí-Cullell,  & Marco Schorlemmer (2021). A Humanist Perspective on Artificial Intelligence. Comprendre, 23, 99--125. [BibTeX]
Ángeles Manjarrés,  Celia Fernández-Aller,  Maite López-Sánchez,  Juan A. Rodríguez-Aguilar,  & Manuel Sierra Castañer (2021). Artificial Intelligence for a Fair, Just, and Equitable World. IEEE Technology and Society Magazine, 40, 19-24. https://doi.org/10.1109/MTS.2021.3056292. [BibTeX]  [PDF]
Pablo Noriega,  Harko Verhagen,  Julian Padget,  & Mark d'Inverno (2021). Ethical Online AI Systems Through Conscientious Design. IEEE Internet Computing, 25, 58-64. https://doi.org/10.1109/MIC.2021.3098324. [BibTeX]  [PDF]
Manel Rodríguez Soto,  Maite López-Sánchez,  & Juan A. Rodríguez-Aguilar (2021). Guaranteeing the Learning of Ethical Behaviour through Multi-Objective Reinforcement Learning. . Adaptive and Learning Agents Workshop at AAMAS 2021 (ALA 2021). [BibTeX]  [PDF]
Thiago Freitas Dos Santos,  Nardine Osman,  & Marco Schorlemmer (2021). Learning for Detecting Norm Violation in Online Communities. International Workshop on Coordination, Organizations, Institutions, Norms and Ethics for Governance of Multi-Agent Systems (COINE), co-located with AAMAS 2021 . https://arxiv.org/abs/2104.14911. [BibTeX]
Manel Rodríguez Soto,  Maite López-Sánchez,  & Juan A. Rodríguez-Aguilar (2021). Multi-Objective Reinforcement Learning for Designing Ethical Environments. Proceedings of the 30th International Joint Conference on Artificial Intelligence, (IJCAI-21) (pp. 545-551). [BibTeX]  [PDF]
Marc Serramia,  Maite López-Sánchez,  Stefano Moretti,  & Juan A. Rodríguez-Aguilar (2021). On the dominant set selection problem and its application to value alignment. Autonomous Agents and Multi-agent Systems, 35. [BibTeX]  [PDF]
  • Informe del Consejo de la Unión Europea: Conclusiones de la Presidencia sobre la carta de los derechos fundamentales en el contexto de la inteligencia artificial y el cambio digital (Informe)
  • Taller del IIIA sobre "Normas adaptativas impulsadas por el valor", presentado en la Future Tech Week 2019, el 26 de septiembre de 2019. (YouTube Slides )
  • Declaración de Barcelona para el buen desarrollo y uso de la Inteligencia Artificial en Europa (Declaración, Videos)