La Cámara de Apelación en lo Civil y Comercial de Rosario le llamó la atención a un abogado que inventó citas con inteligencia artificial (IA) en una causa judicial. El letrado reconoció que la jurisprudencia que había citado había sido creada con un programa de IA generativa (como ChatGPT) y que no se dio cuenta de que se trataba de una alucinación, esto es, un caso inventado que no tenía referencia en el mundo real.
El caso fue muy comentado en el mundo legal, no por ser el primero en el que se usa IA, sino porque llegó a que un juez aplicara un llamado de atención formal a un abogado. El texto tenía citas jurisprudenciales (referencias a fallos o sentencias anteriores que se incluyen para respaldar una argumentación) que no podían ser encontradas en documentación precedente.
Según pudo saber Clarín, el juez, Oscar Pucinelli, buscó -sin éxito- durante varias horas el origen de las citas del abogado. Esto llevó al magistrado a solicitarle al profesional que identificara las fuentes, pero el problema era que no existían: el abogado reconoció que había usado IA para generar las citas, las copió y pegó “de buena fe”, esto es, sin saber que eran inventadas (pero sin verificarlas).
“El tribunal manifestó que el abogado probablemente actuó de buena fe, pero subrayó su responsabilidad profesional: aunque no se aplicó una sanción formal, se ofició al Colegio de Abogados de Rosario para que adopte medidas preventivas. El fallo cita expresamente las Normas de Ética Profesional del Colegio, en particular la regla de probidad [honestidad], que prohíbe realizar citaciones incompletas, aproximativas o contrarias a la verdad”, explica en diálogo con este medio Luis García Balcarce, abogado especializado en derechos digitales.
El juez advierte sobre el uso de IA en escritos judiciales. Foto: Captura del falloEl problema general es que se usan estos sistemas sin tener en cuenta para qué sirven estas herramientas y para qué no. “El fallo no condena el uso de inteligencia artificial en el ejercicio del derecho, pero sí establece límites claros. Como señala el tribunal, el problema no es la tecnología en sí, sino su uso irreflexivo. La decisión de oficiar al Colegio para que eduque a sus miembros sobre estos riesgos marca un precedente importante: no se trata solo de corregir un error individual, sino de evitar que esta práctica se generalice”, agrega.
No es poco frecuente que los chatbots basados en modelos de inteligencia artificial inventen información. Este fenómeno, conocido como “alucinaciones”, es estudiado por especialistas que analizan por qué puede suceder que se genere información incorrecta o inexistente.
Un problema que no es nuevo
Se detectaron casos legales en todo el mundo de citas inventadas. Foto: ReutersEste tipo de casos está inundando el mundo de los abogados. El primero y más conocido de todos tuvo su sentencia el 22 de junio de 2023, en Estados Unidos, cuando un letrado presentó una demanda contra la aerolínea colombiana Avianca y citó jurisprudencia que no existía, precisamente por usar ChatGPT. Hoy, hasta hay un sitio web que recopila casos en todo el mundo.
“Lo sucedido en nuestro país no es un fenómeno aislado. En diversas jurisdicciones del mundo los tribunales ya han sancionado a profesionales que incorporaron precedentes inexistentes o citas falsas generadas por sistemas de inteligencia artificial. El caso Mata versus Avianca en Nueva York marcó un antes y un después, y desde entonces se multiplicaron las advertencias judiciales, las multas e incluso las investigaciones éticas”, recuerda Lucas de Venezia, abogado (UCA) especialista en Derecho e Inteligencia Artificial .
Para muchos abogados esto ya es una “epidemia”: “Esto en realidad ya pasó en diversas ocasiones, en todo el mundo. En Estados Unidos hay más de 50 sanciones a abogados por citar casos donde la IA alucina. Este es el primer caso detectado en Argentina, que echa luz sobre un deber legal que tienen los abogados de actuar de manera honesta frente al tribunal y no mentirle. Parte de ’no mentirle’, es chequear qué se escribe”, dice Pablo Palazzi, profesor de Derecho Universidad de San Andrés y socio del área de derecho tecnológico de Allende & Brea.
El motivo por el que ocurre tiene que ver, por lo general, con tiempos acotados y cargas de trabajo excesivas, aunque por lo bajo el comentario general en el mundillo legal fue más bien visto como pereza profesional .
Si a esto se le suma el uso de una herramienta que no se entiende bien cómo funciona, el resultado puede ser catastrófico a nivel profesional, tanto para los letrados como para los litigantes.
La alucinación: por qué ocurre
El sistema arroja textos que son como grandes predictivos y puede «equivocarse». Ilustración: ChatGPTLos sistemas de inteligencia artificial pueden producir información que no se corresponde con la realidad, fenómeno conocido como alucinaciones. ¿Por qué ocurre esto? Pensar en términos de “módulos” es una forma de tener una aproximación a cómo operan estos sistemas.
“Especulo que este abogado le pidió asistencia en el armado de la argumentación de un caso. Entonces el sistema de IA inventó. ¿Por qué? Estos sistemas de IA formatean su respuesta en una especie de plantilla donde tiene que caber contenido en cada módulo. En su afán de construir respuestas asertivas, concretas, tienen que rellenar estos casilleros”, explica en diálogo con Clarín Ernesto Mislej, cofundador de 7Puentes, una empresa argentina conformada por científicos e ingenieros que aplican inteligencia artificial a distintos negocios.
“Es como que te manden a defender un examen final de una materia que no tenés idea: en vez de aprender de esa materia, aprendes cómo responder un a un examen oral. Es una defensa donde al principio hay una pregunta sobre un autor, entonces lo primero que hacés es reconocer al autor, después reconocés su obra, y ahí contestás con esa información del autor y su obra. Eso no es saber del tema, es saber contestar ante una examinación de un tema”, ejemplifica el especialista en relación a cómo funcionan estas redes neuronales.
Bajo esta forma de operar, Mislej arriesga que “seguramente, en esta estructura del pedido de redactar un escrito judicial, una parte decía ‘este es el momento de citar jurisprudencia con citas’, entonces la IA no sabe qué contestar porque esas citas no las tiene (porque no existen). La manera de contestar las citas sería usar citas conocidas, lógicas, plausibles, pero en caso de que no existan, este sistema compone algo porque tiene que ‘poner cosas en esa cajita’ y ahí es cuando alucina”.
El problema es que “en el ámbito jurídico, esto puede incluir casos inexistentes, doctrinas apócrifas o leyes que nunca fueron sancionadas, ya que los modelos de lenguaje están diseñados para generar texto coherente y convincente, pero no necesariamente verdadero, lo que representa un riesgo grave en contextos donde la precisión es esencial”, complementa Balcarce.
“La fascinación tecnológica, sin control ni verificación humana, erosiona la credibilidad del abogado y amenaza la integridad del proceso judicial. No se trata de demonizar la herramienta, sino de comprender que el derecho es un lenguaje de autoridad que no admite atajos ni ficciones”, coincide de Venezia, también docente universitario.
Los riesgos de usar IA en el trabajo
Los chatbots también pueden filtrar información. Foto BloombergCon la amplia adopción de la inteligencia artificial generativa en ámbitos laborales aparecieron muchas soluciones rápidas en relación a tareas repetitivas, pero también nuevos riesgos: no sólo las alucinaciones, sino problemas éticos respecto de su uso.
“Hace falta insistir mucho más en la importancia de la responsabilidad en el uso de estas herramientas para saber en dónde usarlas. No todo tiene que ser automatizable, no todo lo que devuelve una IA generativa es confiable y ni hablar de que no son herramientas de búsqueda de información. Aún así, si se usara para investigar, cada uno de los outputs que devuelva esas herramientas, tiene que ser chequeado: preguntarse cuál es la fuente, de dónde sale”, dice a Clarín Carolina Martínez Elebi, licenciada en Ciencias de la Comunicación y docente de la UBA.
En este sentido, no es menor recordar que estos modelos están entrenados con información que está disponible en la web, entre otras fuentes y grandes volúmenes de datos.
“Sabemos que en la actualidad la web está llena de sitios basura, con desinformación incluso. Entonces si la IA que usamos se alimenta de esa web, también va a devolver basura”, sigue Elebi, consultora y autora del sitio DHyTecno.
Una última arista, no menor, es el tema de la seguridad de la información. ¿Qué sucede con lo que se sube a estos chatbots como ChatGPT? El problema principal es que el usuario promedio no tiene en mente que, cuando hace una consulta, se procesa de manera remota en los servidores de empresas como OpenAI, Google o Microsoft. Y que muchas veces se pierde el control sobre esos datos.
“Hay que tener en cuenta que los abogados que trabajan con casos sensibles también están volcando información de sus propios casos en la inteligencia artificial generativa para analizar algo: ahí ya tenemos otro problema que va por otra rama que es la de la protección de datos”, advierte Elebi.
De hecho, la especialista recuerda que “muy frecuentemente aparecen noticias en donde los chats que están entre los usuarios y la plataforma aparecen filtrados, publicados en la web de fácil acceso. Hay un montón de discusiones que hay que dar y un montón de información que los profesionales de distintas áreas de distintos rubros tienen que tener a la hora de usar estas herramientas, y siempre tiene que primar la responsabilidad ética por sobre todo”.
A fin de cuentas, la tecnología ya está inventada y es imposible dar marcha atrás. El desafío es entender con qué “monstruo” se está lidiando al usar estos chatbots para que su aplicación sume y no que reste.
