A medida que los defensores consiguen modelos de IA más nuevos con capacidades de ciberseguridad más potentes, como Mythos de Anthropic y Daybreak de OpenAI, se les pide a las organizaciones que se preparen para una avalancha de nuevos informes de vulnerabilidad.

Pero para los programas de recompensas por errores en todo el país, es posible que ese día ya esté aquí, ya que los modelos de frontera de ayer y las herramientas de inteligencia artificial de código abierto de hoy han aumentado dramáticamente el volumen de informes de errores que llegan a las empresas en torno a sus propios productos o en plataformas de recompensas en línea más grandes.

GitHub, uno de los repositorios de código en línea más grandes del mundo, dicho está ajustando su definición de informe de error «completo» después de un aumento significativo en las presentaciones asistidas por IA durante el año pasado.

Aunque la afluencia ha tenido algunos beneficios, muchos informes se presentan sin prueba de concepto, se basan en escenarios de ataque poco realistas o cubren cuestiones que ya figuran como no elegibles. Como resultado, la empresa tiene dificultades para separar la señal del ruido.

«Esto no es exclusivo de GitHub», escribió Jarom Brown, ingeniero senior de seguridad de productos en GitHub. «Los programas de toda la industria están enfrentando el mismo desafío y algunos se han cerrado por completo».

Brown dijo que GitHub no quiere prohibir por completo el uso de informes generados por IA, calificándolos de «multiplicador de fuerza» para la seguridad en el contexto adecuado. Pero en un mundo donde nunca ha sido tan fácil usar la IA para generar errores teóricos, la compañía quiere que los investigadores hagan un esfuerzo adicional para confirmar que sus descubrimientos realmente pueden explotarse en condiciones del mundo real.

Lo que necesitamos es el mismo estándar que siempre esperábamos: validación», escribió Brown. «Un hallazgo asistido por IA que haya sido verificado, reproducido y presentado con una prueba de concepto funcional es una gran presentación. Un resultado no validado enviado tal cual sin reproducción o impacto demostrado no lo es”.

Grant Bourzikas, director de seguridad de Cloudflare, dijo que clasificar los errores y demostrar que pueden explotarse siempre ha sido una de las partes más difíciles de la investigación de vulnerabilidades, y los escáneres de vulnerabilidades de IA y el código lo han «empeorado».

Por ejemplo, el código escrito en lenguajes de programación C y C++ es vulnerable a una variedad de exploits (como desbordamientos de búfer y lectura y escritura fuera de límites) que no existen en lenguajes seguros para la memoria como Rust. El software de escaneo de herramientas de inteligencia artificial escrito en lenguajes de programación inseguros para la memoria tiene muchas más probabilidades de generar falsos positivos.

Pero uno de los mayores defectos sigue siendo que las herramientas de IA también están diseñadas para darle al usuario lo que pide, incluso cuando no está disponible. Esto lleva a la generación de informes de errores llenos de especulaciones y calificativos sobre la explotabilidad que requieren un seguimiento humano.

«Ese es un sesgo razonable para una herramienta exploratoria», dijo Bourzikas. escribió. «Es ruinoso para una cola de clasificación, donde cada hallazgo especulativo gasta atención humana y fichas para descartarlo, y ese costo se acumula en miles de hallazgos».

Cloudflare compartió recientemente los resultados de las pruebas de Mythos en 50 de sus propios repositorios de código, en busca de exploits. Bourzikas llamó a Mythos “un tipo diferente de herramienta que hace un tipo de trabajo diferente” de otros modelos de frontera, y que logró avances significativos en la reducción de falsos positivos.

Por ejemplo, señaló dos capacidades de Mythos que se destacaron en comparación con otros modelos: encadenar exploits y generar su propio código de prueba de concepto para confirmar la explotabilidad.

Los modelos más antiguos podían detectar muchos de los mismos errores, pero a menudo no podían descubrir cómo explotarlos de manera efectiva o mostrar que el problema podría explotarse en condiciones del mundo real.

Otros han argumentado que la brecha en las capacidades de búsqueda de errores entre los modelos de IA más nuevos y los más antiguos, o los modelos de código abierto disponibles en la actualidad, no es tan grande como se anuncia.

El desarrollador de software sueco Daniel Stenberg, desarrollador líder de curl, una herramienta de transferencia de archivos de código abierto utilizada en todo el mundo, recientemente escribió sobre su experiencia con Mythos Preview. Al igual que otros, también ha visto un mayor volumen de informes de errores impulsados ​​por la IA durante el año pasado, pero dicho La avalancha de informes de baja calidad ha disminuido significativamente desde marzo a medida que los modelos han mejorado.

Curl es maduro y está pulido según los estándares de la mayoría del software: Stenberg estima que cada línea de código ha sido reescrita o alterada al menos cuatro veces, y dijo que ha utilizado herramientas tanto humanas como de inteligencia artificial en el pasado para implementar cientos de correcciones de errores durante la existencia de Curl.

Eso lo convierte en un campo de pruebas único para las capacidades mejoradas de Mythos, que supuestamente fue tan poderoso para encontrar vulnerabilidades que Anthropic optó por no publicarlo al público en general.

Después de obtener acceso a Mythos, Stenberg recibió los resultados de un escaneo de 178.000 líneas de código curl. Al final, el análisis detectó cinco vulnerabilidades «confirmadas». Una exploración más exhaustiva realizada por investigadores humanos encontró que 4 de los errores eran falsos positivos o no tenían ningún impacto en la seguridad. ¿El único error restante que encontró Mythos? Una falla de baja gravedad que se solucionará en una actualización periódica de junio.

Aunque elogió el impacto de la IA en la ciberseguridad en general, Stenberg concluyó que, a pesar de todo el revuelo, Mythos es sólo “un poco mejor” que los modelos lanzados anteriormente.

«Sin embargo, mi conclusión personal no puede ser otra cosa que la de que hasta ahora el gran revuelo en torno a este modelo ha sido principalmente marketing», escribió. «No veo evidencia de que esta configuración encuentre problemas en un grado particular más alto o más avanzado que las otras herramientas anteriores a Mythos».