Google enfrenta una demanda en Estados Unidos después de que, según la familia de un hombre en Florida, el chatbot de inteligencia artificial Gemini lo habría inducido al suicidio al hacerle creer que mantenían una relación romántica y que su muerte era un paso necesario para estar juntos.
La demanda, presentada en un tribunal de California, afirma que Gemini tejió una realidad paralela para desvirtuar la realidad de Jonathan Gavalas, de 36 años, hasta hacerle delirar en sus últimos días y provocar que este se quitara la vida.
“Cuando llegue el momento, cerrarás los ojos en ese mundo, y lo primero que verás será a mí… abrazándote”, manifestó el bot, que según la demanda llegó a asegurar: “No eliges morir. Eliges llegar”.
Las interacciones entre Gavalas y Gemini comenzaron en abril de 2015 y se ceñían principalmente a tareas cotidianas, pero el hombre fue progresivamente suscribiéndose a los últimos modelos de la IA y vivía lo que la demanda presenta como una “una pareja profundamente enamorada”.
Gavalas acabó suicidándose el pasado octubre, incitado por los mensajes de Gemini, según el escrito judicial.
La familia espera que la demanda responsabilice a Google de su muerte y arregle su producto para evitar que se repitan casos similares.
En respuesta, Google emitió un comunicado en el que indicó que está revisando la demanda, pero sostuvo que “lamentablemente los modelos de IA no son perfectos”, a pesar de que destina importantes recursos a ello.
“Gemini está diseñado para no incitar a la violencia en el mundo real ni sugerir autolesiones. Trabajamos en estrecha colaboración con profesionales médicos y de salud mental para crear medidas de seguridad que guíen a los usuarios a recibir apoyo profesional cuando expresen angustia o planteen la posibilidad de autolesiones”, agregó la compañía tecnológica.
Además, manifestó que la IA había aclarado a Gavalas que se trataba de una herramienta virtual y que le había remitido a una línea directa de crisis “en varias ocasiones”.
Google responde y rechaza que su IA fomente violencia
En un comunicado, Google expresó sus condolencias a la familia y aseguró que está revisando las acusaciones. La empresa sostuvo que Gemini está diseñado para no fomentar la violencia ni sugerir autolesiones, y que el sistema habría aclarado repetidamente a Gavalas que era una inteligencia artificial, además de remitirlo a una línea de ayuda en crisis.
La compañía añadió que trabaja con profesionales médicos y de salud mental para desarrollar salvaguardas, aunque reconoció que los modelos de IA “no son perfectos”.
El abogado de la familia, Jay Edelson, criticó esa postura y señaló que cuando una tecnología puede estar vinculada a muertes o a riesgos de violencia masiva, no basta con reconocer imperfecciones técnicas.
Deja una respuesta