La semana en seguridad: alucinaciones de IA vinculadas al riesgo de la cadena de suministro de software, solución de CI considerada crítica

Inicio » Calendario editorial » Seguridad de la cadena de suministro de software » La semana en seguridad: alucinaciones de IA vinculadas al riesgo de la cadena de suministro de software, solución de CI considerada crítica

Bienvenido a la última edición de The Week in Security, que le trae los titulares más recientes tanto del mundo como de nuestro equipo en toda la pila de seguridad: seguridad de aplicaciones, ciberseguridad y más. Esta semana: las alucinaciones de ChatGPT representan una amenaza para la cadena de suministro de software. Además: un grupo de vigilancia ordenado por el Congreso cree que la Casa Blanca necesita intensificar su juego para asegurar la infraestructura crítica.

Los investigadores del equipo de investigación Voyager18 de Vulcan Cyber ​​descubrieron que los actores de amenazas pueden explotar las recomendaciones falsas de ChatGPT para propagar código malicioso a través de los desarrolladores que confían en la herramienta. Este descubrimiento plantea un riesgo inmenso para las cadenas de suministro de software, ya que los desarrolladores pueden insertar accidentalmente códigos maliciosos y troyanos en aplicaciones y repositorios de código fuente abierto. Estos repositorios, como npm y PyPI, ya han visto un aumento importante en los ataques a sus plataformas, y este nuevo riesgo asociado con ChatGPT solo empeorará el problema.

Los investigadores creen que los actores de amenazas pueden aprovechar lo que se conoce como "alucinaciones de paquetes de IA" para crear paquetes recomendados por ChatGPT que en realidad son maliciosos. Las alucinaciones en este escenario se definen como respuestas reales de IA que son insuficientes, sesgadas o falsas. Esto ocurre porque ChatGPT usa fuentes de Internet, incluso las incorrectas y maliciosas, para generar respuestas para los usuarios.

Los atacantes pueden usar esto a su favor publicando su propia versión maliciosa de un paquete de software sugerido hecho por ChatGPT. La esperanza del atacante es que ChatGPT adopte el paquete malicioso como fuente, dándoselo como recomendación a los desarrolladores que usan la máquina de IA. Los desarrolladores que descargan sin darse cuenta estos paquetes maliciosos a través de ChatGPT pueden usarlos tanto en proyectos privados como en repositorios de código abierto, lo que genera un riesgo potencial para una cantidad infinita de cadenas de suministro de software.

Desde el lanzamiento de ChatGPT en noviembre de 2022, se ha convertido en una herramienta popular tanto para desarrolladores como para actores de amenazas. Esto ha obligado a la comunidad de ciberseguridad a aceptar cómo la IA podría cambiar drásticamente la mejor manera de proteger nuestros sistemas y cadenas de suministro.

Aquí están las historias a las que estamos prestando atención esta semana...

Las políticas del gobierno de EE. UU. diseñadas para proteger la infraestructura crítica contra los piratas informáticos están lamentablemente desactualizadas e inadecuadas para salvaguardar sectores como el agua y el transporte contra las ciberamenazas, según afirmó un influyente grupo de expertos con mandato del Congreso.

El grupo Clop, una pandilla de ciberdelincuencia con sede en Rusia, ha emitido "un ultimátum" a las empresas del Reino Unido y otros países que fueron objeto de un reciente hackeo a gran escala de datos de nómina. Los datos de nómina de más de 100.000 empleados fueron robados en empresas como la BBC, British Airways y más.

El actor de amenazas del estado-nación de Corea del Norte conocido como Kimsuky ha sido vinculado a una campaña de ingeniería social dirigida a expertos en asuntos de Corea del Norte con el objetivo de robar las credenciales de Google y entregar malware de reconocimiento. La divulgación se produce días después de que las agencias de inteligencia de EE. UU. y Corea del Sur emitieran una advertencia sobre el uso de tácticas de ingeniería social por parte de Kimsuky para atacar a los grupos de expertos, la academia y los medios de comunicación.

La banda de Royal ransomware ha comenzado a probar un nuevo encriptador llamado BlackSuit que comparte muchas similitudes con el encriptador habitual de la operación. La pandilla se lanzó en enero de 2023 y se cree que es el sucesor directo de la notoria operación Conti, que cerró en junio de 2022.

En la edición de la semana pasada, informamos sobre el reciente descubrimiento de una falla de correo electrónico de Barracuda que quedó abierta durante meses. Ahora, la compañía les dice a los clientes que reemplacen de inmediato los dispositivos de Email Security Gateway (ESG) pirateados, incluso si han instalado todos los parches disponibles.

*** Este es un blog sindicado de Security Bloggers Network de ReversingLabs Blog escrito por Carolynn van Arsdale. Lea la publicación original en: https://www.reversinglabs.com/blog/week-in-security-ai-hallucinations-risk