Los chatbots de IA pueden generar entusiasmo, incluso ser tareas útiles y completas. Pero la tecnología detrás de ellos también alberga un gran potencial para el abuso. ¿A qué están expuestos los usuarios?
Bonn: los chatbots de IA producen textos de calidad increíble: cartas, resúmenes, ensayos, comparaciones, historias en un estilo de escritura particular, o incluso código de programación funcional. Pero los bots también editan, verifican, analizan o traducen cualquier texto o código.
Todo esto puede ser entretenido, incluso útil. Al mismo tiempo, el uso de esta tecnología plantea «riesgos de seguridad informática sin precedentes y aumenta el potencial de amenaza de ciertas amenazas de seguridad informática conocidas». Esta es la conclusión a la que llega la Oficina Federal Alemana para la Seguridad de la Información (BSI) en un documento resumen.
Detrás de cada chatbot de IA hay algo llamado modelo de lenguaje. Los modelos lingüísticos de IA grandes, también conocidos como modelos lingüísticos grandes (LLM), son programas informáticos capaces de procesar de forma automática el lenguaje natural en forma escrita.
Los modelos conocidos son, por ejemplo, GPT de OpenAI o Palm de Google. Google utiliza Palm para su chatbot Bard. Y GPT se usa para ChatGPT o el chat de Bing de Microsoft.
El BSI cita las siguientes amenazas conocidas, que pueden fortalecer aún más los modelos de lenguaje de IA:
– La creación o mejora de software malicioso.
– La creación de correos electrónicos no deseados y de phishing mediante la explotación de características humanas como la amabilidad, la confianza o el miedo (ingeniería social).
– En este contexto, los modelos de lenguaje pueden adaptar el estilo de escritura de los textos en los correos electrónicos para parecerse al de una organización o persona en particular.
– Los errores ortográficos o gramaticales que antes eran frecuentes en los correos spam y phishing y que podían ayudar a reconocer este tipo de mensajes ya prácticamente no se encuentran en los textos generados automáticamente.
– Los modelos de lenguaje de IA deberían permitir aumentar los ataques por correo electrónico con relativamente poco esfuerzo, y no solo en términos de números. Las plantillas también ayudan a que los mensajes sean más atractivos.
BSI ha identificado nuevos problemas y amenazas relacionados con los modelos de lenguaje de IA:
– Uno de los principales riesgos es que los atacantes secuestren en secreto la entrada del usuario en un modelo de lenguaje para manipular el chat y extraer datos o información de él.
– De todos modos, siempre existe el riesgo de que los datos ingresados no queden en blanco, sino que sean analizados por el operador del chatbot o transmitidos a terceros desconocidos.
– Los modelos lingüísticos pueden utilizarse indebidamente para producir noticias falsas, propaganda o mensajes de odio con el fin de influir en la opinión pública.
– La capacidad de imitar el estilo de redacción presenta aquí un peligro particular: podría difundirse información falsa con un estilo adaptado a determinadas personas u organizaciones.
– De acuerdo con la información proporcionada, también es posible que las calificaciones creadas por máquinas se utilicen para promocionar o desacreditar servicios o productos.
Uno de los problemas fundamentales de los chatbots es que los datos utilizados para entrenar el modelo lingüístico y su calidad influyen decisivamente en la funcionalidad. Esto da lugar a los siguientes riesgos según BSI:
– El contenido cuestionable, como información errónea, propaganda o discurso de odio en el conjunto de entrenamiento del modelo lingüístico, puede integrarse lingüísticamente de manera similar en el texto generado por IA.
– Nunca es seguro que el contenido generado por IA sea actual o correcto. De hecho, un modelo lingüístico solo puede deducir información de textos ya «vistos». Todas las clasificaciones que van más allá de lo que la gente conoce en el mundo real no pueden ser realizadas por los modelos. Es por esto que incluso puede ocurrir que se inventen contenidos, lo que se llama alucinación.
Conclusión: Los usuarios deben ser críticos. Con el texto generado a menudo sin errores lingüísticos, el uso de modelos de lenguaje de IA a menudo da la impresión de una capacidad de rendimiento similar a la humana y, por lo tanto, un exceso de confianza en el contenido generado por la IA, aunque estos pueden ser inapropiados, incorrectos o manipulados. dpa