ChatGPT, diez riesgos y diez oportunidades para la seguridad

A lo largo de estos meses se ha popularizado enormemente el uso de ChatGPT, uno de los últimos desarrollos de inteligencia generativa que se han puesto a disposición del público en general, motivando gran curiosidad y debate.

Se trata de una forma de aprendizaje automática, basada en modelos de lenguaje, capaz de generar contenido nuevo en cualquier formato (texto, imagen, video, voz, código). Pero este tipo de avances no son nuevos. Hace unas semanas, Microsoft presentó su propuesta de Bing con IA (Inteligencia Artificial), cuya potencialidad, de hecho, es mucho mayor que la de ChatGPT; y, en breve, se espera el lanzamiento de Bard, la solución de Google. Junto a ellas, están proliferando multitud de propuestas que no se limitan a ofrecer resultados textuales basados en modelos de lenguaje, sino a la generación y combinación de cualquier tipo de contenido.

Teniendo en cuenta el rápido avance de estas tendencias, Prosegur Research, el Insight&trends center de Prosegur, ha analizado las implicaciones de ChatGPT desde la perspectiva de la seguridad, y ha identificado los principales riesgos y oportunidades que se abren con su aplicación a diferentes ámbitos.

Los principales diez riesgos para la seguridad que se derivan de ChatGPT, según el análisis de Prosegur Research, son los siguientes:

1- Polarización social: las IA generativas, dada su capacidad de producir contenidos multimedia, pueden ser utilizadas para difundir mensajes de odio o discriminación, así como mensajes de carácter radical o extremista.

2- Phishing: generación automatizada de correos de apariencia real con objeto de engañar a usuarios a efectos de acceder a información confidencial o a los sistemas informáticos.  Hay que tener en cuenta que las IA generativas redactan con gran calidad, lo que invalida las sospechas que sí puede despertar un phishing con baja calidad.

3- Desinformación: a través de la generación de noticias falsas, se trata de influir en la opinión pública, dañar la cohesión social o afectar a procesos electorales. La desinformación es una clara cuestión que afecta a la seguridad nacional, dañando la cohesión social y los principios democráticos.

4- Doxing: la desinformación también es susceptible de afectar a empresas y organizaciones, con la difusión de bulos, informaciones sesgadas, la creación de falsos perfiles laborales, o la manipulación de documentos para dañar la credibilidad de las organizaciones. Su finalidad puede ir desde la parodia hasta el ataque a la reputación o la influencia en los mercados.

5- Fuga de información y robo de datos: empresas como Amazon o Google han alertado a sus empleados sobre los riesgos de compartir información sobre la empresa en ChatGPT y aplicaciones similares, que posteriormente pudiera ser desvelada en las respuestas que ofrece a usuarios.

Puede interesar: Twitter restablece insignia azul para algunos medios y celebridades

6- Fraudes y estafas: son tipologías delictivas que están creciendo con durante estos últimos años. Los fraudes tradicionales, existentes en todos los sectores económicos, son potenciados por el uso de internet, redes sociales y nuevas tecnologías. Las IA generativas pueden contribuir a diseñar fraudes con mucha más calidad, así como a perfilar objetivos.

7- Generación de chatbots maliciosos con objetivos delictivos: pueden interactuar con individuos para la obtención de información sensible o fines ilícitos económicos.

8- Suplantaciones de identidad: mediante la utilización de las denominadas “deep fakes” y la capacidad de la IA para generar textos imágenes, videos e, incluso, simular la voz. Con el apoyo de la creación de avatares que integren todos estos elementos, se aumenta la verosimilitud de la identidad.

9- Generación de código malicioso, como virus, troyanos, malware, ransomware, spyware: el objetivo es cometer ciberdelitos de diferente naturaleza.

10- Lucha de poder geopolítico y geoeconómico: en un contexto de poderes difusos y fragmentados, el liderazgo ya no sólo se mide por la capacidad económica, la diplomática o la militar. Ya en el año 2017, Vladimir Putin señaló que quien dominara la IA dominaría el mundo. La geopolítica y la geoeconomía presentan nuevos riesgos, pero también oportunidades para estados y empresas que sean capaces de leer el futuro. Los datos, junto a las tecnologías, están en el centro de configuración del poder, lo que genera una asimetría entre quienes disponen de ellos y quienes no.

Sin embargo, la tecnología, como gran factor de cambio de nuestras sociedades, generalmente no nace orientada hacia un uso malicioso. Por este motivo, Prosegur Research también ha querido analizar aquellas oportunidades que ChatGPT puede generar en el campo de la seguridad, entre las que destacan las siguientes.

1- Automatización de tareas rutinarias en funciones de seguridad: podría potenciar las competencias más humanas y facilitar el bienestar de los empleados, al eliminar tareas repetitivas y tediosas.

2- Generación de chatbots atractivos: con un perfil más amable y humano, para mejorar la interacción con clientes y con otras personas.

3- Acceso a ingentes cantidades de información de interés para la seguridad, de una manera estructurada por el uso del lenguaje natural: En este caso, se potencian las capacidades de inteligencia de fuentes abiertas (OSINT), siendo siempre conscientes de la criticidad de evaluar la fiabilidad de las fuentes y la credibilidad de la información.

4- En análisis de riesgos: puede apoyar la detección y catalogación de riesgos para las organizaciones.

5- Reconocimiento de patrones, dentro del amplio conjunto de datos e información que estas aplicaciones manejan: el valor no estaría únicamente en el patrón, sino en la anomalía, es decir, aquello que se sale de lo habitual y puede contribuir a generar una señal débil o una alerta temprana.

Lea también: WhatsApp permitirá guardar los mensajes temporales

6- En análisis de inteligencia puede contribuir a la generación de hipótesis, la identificación de tendencias y la construcción de escenarios en seguridad: aunque la IA no puede sustituir la creatividad humana sí puede resultar un complemento interesante para pensar fuera de la caja.

7- Estructuración de recomendaciones en cuestiones de seguridad: desde cómo defenderse de un ciberataque hasta qué medidas de seguridad adoptar previamente o durante un viaje. No sustituye de ninguna manera la labor de un analista de seguridad internacional, pero apoya algunas tareas.

8- Analítica predictiva: puede facilitar ciertas predicciones, con sus probabilidades asociadas, en base a la ingente cantidad de datos en que se basa.

9- En ciberseguridad puede apoyar la detección de phishing, probar y testar código, identificar vulnerabilidades, generar contraseñas seguras, o simular conversaciones con actores adversarios, o incluso con potenciales objetivos, para poder anticipar sus acciones.

10- Aprendizaje: las IA generativas pueden ser un primer punto para el aprendizaje sobre cuestiones vinculada a seguridad, sobre tecnologías, sobre riesgos. Especialmente serán de interés en la medida en que faciliten fuentes y estas sean cada vez más refinadas.

Estudio revela fallos del chatbot Grok de Musk en respuestas a guerra Irán-Israel

Grok, el chatbot de inteligencia artificial (IA) de la empresa xAI de Elon Musk, dio respuestas inexactas y contradictorias cuando se intentó verificar a través de él la información sobre la guerra de 12 días entre Israel e Irán, concluyó un estudio.

Fuente: AFP

Con la desaparición gradual de la verificación por parte de periodistas en plataformas como Facebook, cada vez más internautas recurren a herramientas de inteligencia artificial (IA) como Grok para encontrar información fiable, pero las respuestas que obtienen a veces desinforman.

Según un estudio publicado este martes por un laboratorio de investigación digital del Atlantic Council, un grupo de reflexión estadounidense, las respuestas de Grok “durante los primeros días del conflicto entre Israel e Irán revelaron fallos significativos y demostraron las limitaciones del chatbot para proporcionar información precisa, fiable y coherente en tiempos de crisis”.

Analizó 130.000 mensajes en varios idiomas en la plataforma X, que integra el chatbot Grok, y determinó que éste “tenía dificultades para autentificar el contenido generado por la IA”.

Por ejemplo, tras los ataques de represalia de Irán contra Israel, Grok ofreció respuestas muy diferentes sobre imágenes generadas por IA de un aeropuerto destruido, que habían acumulado millones de visualizaciones en X: oscilaba, a veces en el mismo minuto, entre negar la destrucción del aeropuerto y confirmar que había sido alcanzado por los ataques.

En algunas respuestas Grok afirmó que los daños se debían a un misil disparado desde Yemen, en otras identificó falsamente el aeropuerto como el de Beirut, Gaza o Teherán.

Según los expertos, Grok ya se ha equivocado en la verificación de hechos sobre el reciente conflicto entre India y Pakistán y durante las manifestaciones en Los Ángeles contra las redadas migratorias ordenadas por el presidente estadounidense Donald Trump.

El mes pasado, el servicio de IA del empresario de origen sudafricano también causó polémica al referirse erróneamente a un “genocidio blanco” en Sudáfrica, error que xAI achacó posteriormente a una “modificación no autorizada”.

Investigadores quieren crear una inteligencia artificial que controle a la ...IA

El profesor canadiense Yoshua Bengio, considerado uno de los padres de la inteligencia artificial, presentó el martes su nueva organización dedicada a la IA responsable, cuyo objetivo es, sobre todo, diseñar software capaz de evitar los abusos de los agentes de IA.

Fuente: AFP

Desde hace varios años, este ganador del Premio Turing (2018), también conocido como el Nobel de la informática, viene advirtiendo de los riesgos asociados al desarrollo de la IA, ya sea en términos de uso malicioso o de que el propio software salga mal.

“Los sistemas más avanzados ya están mostrando signos de autopreservación y comportamiento engañoso”, explica el investigador en un comunicado publicado este martes.

“Y esto sólo va a acelerarse a medida que aumenten sus capacidades y autonomía”, anuncia.

Su nueva organización sin ánimo de lucro, llamada LawZero, pretende ser “una respuesta a estos retos”.

Varios ejemplos recientes han confirmado que la IA ha alcanzado recientemente nuevos niveles de sofisticación, entre ellos un estudio de la start-up Anthropic.

En una simulación, la nueva interfaz de IA generativa de Anthropic, Claude 4, fue advertida de su inminente sustitución por un ingeniero de software.

Acorralada, intentó por iniciativa propia chantajear al ingeniero para disuadirle de deshacerse de ella.

Una de las misiones de LawZero es “proponer una forma de supervisar a los agentes de IA”, la nueva generación de modelos generativos de IA capaces de realizar un sinfín de tareas de forma autónoma, desde buscar en Internet hasta llamar a un cliente o escribir un programa en código.

“Uno de los primeros objetivos es desarrollar una forma de IA que pueda utilizarse como salvaguarda para garantizar que la IA se comporta bien”, describe Bengio en un vídeo de la web de LawZero.

“La IA puede ser extremadamente beneficiosa si nos aseguramos de que no va a hacer daño a la gente”, “ya sea porque esté en las manos equivocadas o de forma autónoma”, agrega.

LawZero también quiere trabajar en una IA con autonomía limitada para su uso en investigación científica.

La organización cuenta ya con más de 15 investigadores y ha recibido varias aportaciones económicas, una de ellas de Schmidt Sciences, organización benéfica creada por el ex jefe de Google Eric Schmidt y su esposa Wendy.

LawZero se puso en marcha bajo los auspicios del Instituto de Montreal para el Aprendizaje de Algoritmos (Mila), fundado en 1993 por Bengio.

Paraguay Tech Week reunirá a las mentes más innovadoras de Latam en Asunción

Del martes 17 al jueves 19 de junio, Asunción será sede del Paraguay Tech Week 2025 (PYTW), el evento más relevante del ecosistema tecnológico, emprendedor e innovador del país. La cita será en el Hotel Crowne Plaza, donde se congregarán startups, fondos de inversión, corporaciones, entidades públicas, desarrolladores y medios de toda América Latina para compartir ideas, generar alianzas estratégicas y proyectar el futuro de la región.

Organizado por LAN Accelerator, el Paraguay Tech Week contará con una agenda central en el Mainstage dividida en tres jornadas temáticas. Además, habrá un Secondary Stage con acceso libre al público, donde se ofrecerán workshops y charlas abiertas al público. Asimismo, habrá una plaza de stands donde marcas aliadas y emprendimientos presentarán sus productos, servicios e innovaciones al ecosistema. Los contenidos abordarán tendencias clave como inteligencia artificial, venture capital, crecimiento, talento e innovación financiera.

El evento es presencial y se espera la participación de más de 1500 asistentes, entre fundadores de startups, inversores regionales e internacionales, corporativos, desarrolladores, entidades públicas y medios especializados. Durante los tres días se desarrollarán conferencias magistrales, paneles temáticos, workshops prácticos, lanzamientos de productos, activaciones de marca y múltiples espacios de networking.

Así, el martes 17 de junio en el Mainstage tendrá lugar el Founders Day by LAN Accelerator, un día diseñado especialmente para emprendedores, estudiantes, intraemprendedores y todos los interesados en el mundo del emprendimiento tecnológico. El miércoles 18 de junio será el VC & Startups Summit, curado por Parcapy, la Asociación Paraguaya de Venture Capital, dirigido a emprendedores, corporativos, inversionistas y actores del ecosistema de capital de riesgo. Para finalizar, el jueves 19 de junio se llevará a cabo el Fintech Summit, a cargo de la Cámara Paraguaya de Fintech, enfocado en el sector financiero, instituciones bancarias, tecnológicas y profesionales interesados en la transformación digital del sistema financiero.

“Paraguay Tech Week es mucho más que un evento: es una plataforma regional que posiciona a Paraguay como hub estratégico de innovación en Latinoamérica”, señaló Isaac Gutiérrez, Managing Partner de LAN Accelerator.

Las entradas para las charlas del Mainstage tienen un costo inicial de G 200.000 por día o G 500.000 para los tres días, disponibles en https://www.tuti.com.py/evento/PARAGUAY-TECH-WEEK. Los demás sectores son de entrada libre y gratuita con previa acreditación en lu.ma/pytw.