Conozca a Rampart y Clarity, los nuevos agentes combinados de IA del equipo rojo de Microsoft
El miércoles, Microsoft lanzó dos nuevas herramientas de equipos rojos:Muralla y Claridad—, destinado a ayudar a los desarrolladores a diseñar software agente más seguro y ayudar a los equipos de respuesta a incidentes frente a infracciones continuas.
Se construye la muralla además de PyRIT, un existente marco de automatización abierto Microsoft desarrolló sistemas de IA generativa para equipos rojos. Pero mientras PyRIT escanea los sistemas ya construidos en busca de fallas de seguridad, Rampart está diseñado para probar continuamente el código en busca de vulnerabilidades durante el proceso de desarrollo, codificando escenarios de prueba tanto adversos como benignos en el proceso de desarrollo de software para señalar errores y dependencias explotables.
Microsoft dijo que Rampart fue creado para centrarse en ataques de inyección cruzada, donde «un agente recupera o procesa contenido potencialmente envenenado de documentos, correos electrónicos, tickets y otras fuentes de datos que manipulan el comportamiento indirectamente». También confirma que las correcciones o exploits funcionan según lo previsto a través de múltiples rondas de pruebas, a diferencia de las herramientas que realizan una «validación de un solo disparo».
La segunda herramienta, Claridadpuede ejecutarse como una aplicación de escritorio, una interfaz web o integrarse directamente en un agente de codificación para proporcionar orientación de ingeniería de seguridad en tiempo real a los desarrolladores desde el inicio de un proyecto. Puede categorizar y rastrear diferentes objetivos comerciales relacionados con el código y resaltar las implicaciones de seguridad posteriores junto con alternativas de diseño más seguras.
Ram Shankar Siva Kumar, quien fundó el equipo rojo de IA de Microsoft en 2019, dijo a CyberScoop que la compañía ha visto beneficios de seguridad interna al usar las herramientas, pero cree que el crecimiento de Rampart y Clarity depende de las contribuciones de otros desarrolladores fuera del ecosistema de Microsoft.
En el vertiginoso mundo de la IA, donde la codificación ambiental, los agentes de IA no autorizados y una constante rotación de lanzamientos de nuevos modelos crean nuevas implicaciones de seguridad casi todas las semanas, Siva Kumar dijo que era importante comenzar a construir procesos de seguridad fundamentales centrados en la IA en el proceso de desarrollo de software.
«Cuando escuchas hablar mucho sobre la seguridad de la IA, parece que hay muchos debates filosóficos», dijo. «Verán marcos, verán documentos técnicos, y creo que ya hemos superado ese momento. Realmente necesitamos empezar a pensar en la seguridad de la IA como una disciplina de ingeniería y tratar de llevar la seguridad donde están los desarrolladores».
La utilidad potencial de Rampart para los defensores va más allá de simplemente asegurar los procesos de desarrollo de software. También se puede utilizar durante una respuesta activa a un incidente para acelerar o automatizar el equipo rojo para realizar correcciones urgentes, parches y remediación.
Microsoft ha utilizado Rampart al investigar vulnerabilidades reportadas en sus propios productos. Siva Kumar dijo que la herramienta fue capaz de ayudar a condensar en horas el trabajo manual de una semana (replicar la vulnerabilidad, identificar diferentes variantes del mismo error, luego parchear y volver a probar esas variantes para garantizar que ya no sean explotables) en horas. Mientras tanto, Clarity actúa como un asesor de seguridad para proyectos de software, incitando a los desarrolladores a considerar los riesgos potenciales en sus decisiones de diseño y sus consecuencias de seguridad posteriores. . Con el aumento del código y los agentes generados por IA y el abaratamiento de la ejecución, este tipo de orientación proactiva es cada vez más importante.
«Podrás crear aplicaciones, crear servidores MCP para extraer cosas de Internet», dijo Siva Kumar. «La pregunta es ¿debería hacerlo? y Clarity es un paso en esa dirección. Es preguntar 'oye, ¿deberías hacer esto en primer lugar?'»
