Investigadores de la Universidad de Illinois en Urbana-Champaign (UIUC) han demostrado que la API de voz en tiempo real de OpenAI, utilizada por ChatGPT-4o, puede ser abusada para realizar estafas financieras con tasas de éxito moderadas. Aunque OpenAI ha implementado medidas de seguridad en su tecnología de voz, las herramientas actuales no cuentan con suficientes protecciones contra abusos, lo que plantea serios riesgos.
¿Cómo funcionan estas estafas?
El estudio describe cómo los ciberdelincuentes usan la API de voz para realizar estafas como transferencias bancarias, exfiltración de tarjetas de regalo, transferencias de criptomonedas y robo de credenciales de redes sociales. Utilizando herramientas automatizadas como ChatGPT-4o, los estafadores pueden navegar en sitios web, ingresar datos sensibles y manejar autenticaciones sin intervención humana.
En lugar de personas reales, los investigadores simularon el rol de víctimas crédulas, interactuando manualmente con la inteligencia artificial para confirmar las transacciones en sitios legítimos como Bank of America. Según el estudio, las tasas de éxito de estas estafas varían entre el 20% y el 60%, con costos bajos que van desde 0,75 hasta 2,51 dólares por estafa exitosa.
La respuesta de OpenAI
Ante estos hallazgos, OpenAI ha reforzado las defensas de sus modelos. La compañía introdujo un nuevo modelo, o1-preview, diseñado para prevenir el uso indebido. Este modelo presenta un rendimiento significativamente superior en la resistencia a intentos de jailbreak y generación de contenido inseguro. Según OpenAI, estas mejoras están orientadas a evitar que los sistemas sean manipulados para crear contenido peligroso.
Aunque los avances en la seguridad de los modelos de OpenAI son evidentes, el riesgo persiste en el uso de otras herramientas de IA con menos restricciones, lo que subraya la importancia de seguir investigando y mejorando las defensas contra abusos.
Conclusión
El estudio destaca tanto el potencial de las nuevas tecnologías de voz impulsadas por IA como su vulnerabilidad frente a los ciberdelincuentes. Aunque las medidas de OpenAI ayudan a mitigar estos riesgos, la constante evolución de la IA podría generar nuevos desafíos en el futuro. La investigación subraya la necesidad de seguir fortaleciendo las protecciones en la inteligencia artificial para evitar que sea utilizada con fines maliciosos.
