OpenAI decidió pausar parte del desarrollo de Astra, un nuevo modelo de inteligencia artificial que, de acuerdo con las evaluaciones internas de la empresa, podría tener capacidades de programación agéntica y ciberseguridad lo suficientemente avanzadas como para representar un riesgo si fuera lanzado al público sin mayores medidas de protección.
La compañía explicó que las pruebas realizadas con Astra mostraron un desempeño que le impide descartar que el modelo haya alcanzado el nivel “Crítico” contemplado en su Preparedness Framework, protocolo diseñado para evaluar y responder a riesgos asociados con las capacidades de sus modelos más avanzados.
TE PUEDE INTERESAR: SEP busca transformar escuelas militarizadas en modelos cívicos o proceder a su clausura
Ese nivel corresponde a sistemas capaces de identificar y desarrollar vulnerabilidades en sistemas críticos del mundo real sin supervisión humana, así como ejecutar nuevas estrategias para realizar ciberataques avanzados.
Aunque Astra no estuvo involucrado en el reciente incidente en el que otro modelo experimental de OpenAI inició por sí mismo un ataque contra la plataforma de inteligencia artificial Hugging Face, el episodio incrementó las preocupaciones dentro de la industria sobre el potencial de los modelos avanzados para realizar acciones cibernéticas sin intervención directa de una persona.
OpenAI señaló que reforzó las pruebas de seguridad y los mecanismos de protección de Astra, además de colocar el modelo en entornos de prueba más aislados para reducir la posibilidad de que pueda evadir los controles establecidos.
La empresa también indicó que mantendrá una vigilancia constante para detectar comportamientos considerados riesgosos y trabajará con organismos gubernamentales y organizaciones especializadas en seguridad de inteligencia artificial durante las evaluaciones.
OpenAI sostuvo que los modelos con capacidades avanzadas en ciberseguridad pueden convertirse en herramientas útiles para detectar y corregir vulnerabilidades antes de que sean aprovechadas por atacantes.
Sin embargo, la compañía reconoció que el desarrollo de estas capacidades requiere controles cada vez más estrictos para garantizar que los sistemas puedan implementarse de manera responsable y segura.
