### El uso de LLM y GenAI en desarrollo de software: ¿Preparados para su adopción masiva en ciberseguridad?
#### Introducción
La integración de modelos de lenguaje de gran tamaño (LLM) y la inteligencia artificial generativa (GenAI) en el ciclo de desarrollo de software ha transformado radicalmente la industria tecnológica en los últimos dos años. Sin embargo, recientes incidentes de seguridad y problemas en la calidad del código generado han puesto en entredicho la madurez de estas tecnologías, especialmente en contextos donde la seguridad es crítica. Dada la creciente dependencia de herramientas como GitHub Copilot, ChatGPT, Gemini o Amazon CodeWhisperer, es imprescindible analizar si estas soluciones están realmente preparadas para un uso generalizado en entornos de desarrollo y operación seguros.
#### Contexto del Incidente o Vulnerabilidad
Desde 2023, se han reportado múltiples casos de código vulnerable o defectuoso generado por LLM. Un estudio de Stanford reveló que cerca del 40% del código sugerido por modelos populares presentaba al menos una vulnerabilidad de seguridad, incluyendo inyecciones SQL, XSS o errores de validación de entrada. Además, la reciente filtración de prompts y respuestas confidenciales por parte de usuarios que interactuaban con LLM de código cerrado ha puesto en jaque la confidencialidad y el cumplimiento normativo, especialmente bajo el paraguas del RGPD europeo y la inminente NIS2.
Empresas de todos los tamaños se han sentido atraídas por la promesa de reducción de costes y aceleración del time-to-market, pero han comenzado a constatar que la adopción de LLM y GenAI en programación requiere de controles y revisiones adicionales para evitar la introducción de vulnerabilidades y la exposición de datos sensibles.
#### Detalles Técnicos (CVE, vectores de ataque, TTP MITRE ATT&CK, IoC…)
Los principales riesgos técnicos detectados en el uso de LLM y GenAI para desarrollo se agrupan en tres áreas:
1. **Generación de código vulnerable:** Los LLM tienden a reproducir patrones de código inseguros presentes en sus datasets de entrenamiento. Por ejemplo, se han detectado fragmentos con vulnerabilidades tipo CWE-89 (SQL Injection), CWE-79 (Cross-site Scripting) y CWE-22 (Path Traversal), lo que facilita ataques de las categorías T1190 (Exploit Public-Facing Application) y T1059 (Command and Scripting Interpreter) del framework MITRE ATT&CK.
2. **Filtración de información confidencial:** Algunos incidentes documentados muestran cómo los prompts enviados a LLM contenían secretos, credenciales o fragmentos de código propietario, que posteriormente han sido utilizados como base para futuras respuestas, violando la confidencialidad y exponiendo potenciales IoC (Indicators of Compromise).
3. **Exploits y frameworks utilizados:** Aunque no se han publicado CVE específicos relacionados con LLM, existen PoC públicos (Proof of Concept) y módulos en Metasploit para explotar aplicaciones desarrolladas con código generado automáticamente. Herramientas de Red Team como Cobalt Strike han comenzado a incorporar técnicas para detectar y explotar patrones de LLM.
#### Impacto y Riesgos
El impacto potencial es significativo. Se estima que el 54% de las empresas que han adoptado GenAI en desarrollo han detectado vulnerabilidades críticas en sus aplicaciones, siendo el 18% de ellas explotadas en entornos productivos. Las consecuencias abarcan desde brechas de datos (con multas de hasta 20 millones de euros o el 4% de la facturación anual bajo RGPD) hasta la interrupción de servicios esenciales, especialmente en sectores regulados por NIS2.
Asimismo, la dependencia excesiva de GenAI puede erosionar las competencias técnicas de los equipos de desarrollo, dificultando la identificación y corrección manual de errores introducidos por la IA.
#### Medidas de Mitigación y Recomendaciones
Los expertos recomiendan un enfoque multifacético:
– **Validación y revisión manual del código generado:** Implementar revisiones por pares y análisis estáticos (SAST/DAST) sobre cualquier código sugerido por GenAI.
– **Entrenamiento de LLM privados:** Para organizaciones con requisitos estrictos de privacidad, entrenar o afinar modelos en entornos controlados, evitando la exposición de datos sensibles a servicios cloud.
– **Monitorización de prompts y outputs:** Registrar y auditar todas las interacciones con LLM para detectar posibles filtraciones o usos indebidos.
– **Actualización de políticas de seguridad:** Incluir explícitamente el uso de GenAI en el gobierno de TI y en los procedimientos de desarrollo seguro (SSDLC).
– **Formación continua:** Capacitar a desarrolladores y equipos de seguridad en la identificación de riesgos asociados al código generado por IA.
#### Opinión de Expertos
Según el Dr. Pablo Fernández, CISO de una multinacional europea: “El uso de GenAI es una herramienta útil, pero todavía no sustituye la experiencia humana en el análisis de amenazas y la programación segura. Sin una segunda línea de defensa, estamos abriendo la puerta a una nueva ola de vulnerabilidades silenciosas”. Desde el sector de la consultoría, María Torres, analista principal en ciberseguridad, añade: “La tendencia es imparable, pero la regulación va por detrás. Es imprescindible anticiparse con controles internos”.
#### Implicaciones para Empresas y Usuarios
Las empresas deben reconsiderar su estrategia de adopción de LLM y GenAI, especialmente si operan en sectores sensibles como banca, salud, infraestructuras críticas o administración pública. La trazabilidad del código, la gestión de secretos y el cumplimiento normativo deben ser prioritarios. Para los usuarios finales, el riesgo es indirecto: aplicaciones aparentemente fiables pueden incorporar fallos explotables, afectando la privacidad y la integridad de los datos personales.
#### Conclusiones
Si bien los modelos LLM y GenAI aportan eficiencia y creatividad al desarrollo de software, su uso masivo aún requiere una maduración significativa en términos de seguridad y gobernabilidad. Las organizaciones deben equilibrar la innovación con la protección, implementando controles estrictos y adoptando buenas prácticas para evitar ser víctimas de la próxima gran brecha de seguridad facilitada por la inteligencia artificial.
(Fuente: www.darkreading.com)