Perú publicó finalmente el decreto reglamentario de su ley de IA. Promulgada en 2023, la ley tiene como objetivo apoyar el “desarrollo económico y social del país” al impulsar la innovación técnica en sintonía con la protección de los derechos fundamentales.
Durante el 2024, desde Access Now e Hiperderecho enviamos al gobierno peruano un conjunto de recomendaciones basadas en derechos humanos frente al primer borrador del reglamento. Si bien en la versión final se acogieron medidas importantes, muchas otras fueron ignoradas. En vez de basar el reglamento en la protección de los derechos fundamentales, el gobierno peruano optó por replicar la ley europea de IA, que se basa en imponer obligaciones dependiendo del riesgo identificado en diferentes categorías de sistemas.
Lo riesgoso en el nuevo reglamento de Perú
Los más riesgosos se definen como de “riesgo indebido”, los cuales, debido a su peligrosidad, deben quedar prohibidos. No obstante, el mismo texto incorpora excepciones que habilitan su uso. Un ejemplo son los sistemas que pueden influir de manera engañosa en el proceso de toma de decisiones de las personas. El reglamento solo dispone su prohibición cuando su uso tenga el fin de modificar el comportamiento de manera “sustancial”, lo cual supone un concepto demasiado ambiguo para evaluar ya sea de manera cualitativa o cuantitativa.
Cualquier tecnología que tenga como propósito afectar de manera subliminal el comportamiento de una persona debe quedar prohibida sin importar el objetivo que se persiga; es totalmente contraria a la libertad de pensamiento y no debería tener cabida en un Estado de derecho.
Lo mismo ocurre con la prohibición a los sistemas de vigilancia masiva y de identificación biométrica en espacios públicos, los cuales son contrarios a los estándares internacionales de protección a la privacidad y a la libertad de expresión. Solo se consideran de riesgo indebido aquellos que afecten de manera “desproporcionada” a los derechos fundamentales, habilitando incluso su uso en investigaciones preliminares de “delitos contra la propiedad”, que son quizás los más comunes en la región.
Otras tecnologías incorporadas a la clasificación de sistemas de riesgo indebido son aquellas que presuntamente permiten inferir datos sensibles basados en biometría o los que se utilizan para predecir actividad criminal, a pesar de que se encuentren ya en funcionamiento en el municipio de Miraflores.
En la siguiente categoría de sistemas, el reglamento aborda a los considerados de alto riesgo. Uno de los principales aciertos de la ley es la de disponer un registro a cargo del Estado donde inscribir a los sistemas de “alto riesgo” en funcionamiento en el país, así como indicar la necesidad de tomar medidas concretas para “preservar la seguridad y privacidad, promover la transparencia y la explicabilidad”. También se introducen elementos tendientes a aumentar la transparencia algorítmica al señalar que se debe garantizar supervisión humana suficiente en casos de potencial impacto en sectores de salud, educación y justicia.
Otras de las recomendaciones adoptadas y más esperadas supone la obligación al sector público de realizar análisis de impacto algorítmico previo al despliegue de un sistema riesgoso.
Sin embargo, es incoherente e incomprensible la disposición donde dejan la realización de análisis de impacto para las empresas como un asunto opcional, lo cual es problemático en países donde debería ser obligatorio, puesto que la mayoría de los sistemas basados en IA son desarrollados por el sector privado. A su vez, en esta categoría también se incluye la IA que propone inferir emociones, tecnología que cuenta con poco sustento científico.
Cualquier intento computacional de hacer encajar el complejo universo de las emociones en categorías preconcebidas y limitadas caerá en escenarios sesgados y peligrosos y debería considerarse de riesgo indebido.
Un futuro con IA basado en los derechos fundamentales
Si bien Perú logra avanzar en su agenda regulatoria de IA incorporando algunas recomendaciones basadas en experiencias de la sociedad civil y otros actores, mantiene definiciones problemáticas o demasiado abstractas, y en su afán de esquematizar tipos de sistemas, deja abierta las puertas a usos contrarios a derechos fundamentales o que sencillamente no se sustentan en bases científicas serias y probadas.
La innovación es un valor deseable y debe ser fomentada en la región latinoamericana, pero esta no debe impulsarse replicando modelos extranjeros que resultan ajenos a nuestros contextos. Sobre todo cuando han sido objeto de críticas por su flexibilidad a la hora de resguardar los derechos de la ciudadanía.
Access now insiste en la importancia de centrar el diseño regulatorio de tecnologías en la protección de derechos fundamentales y ajustado a la realidad local.