Descubriremos si los sistemas diseñados para hacer que los deepfakes y el contenido generado por IA sean fáciles de detectar están realmente listos para ser destruidos. SynthID y C2PA Content Credentials, dos tecnologías diferentes para etiquetar de manera invisible archivos de imágenes, videos y audio con información sobre sus orígenes, están experimentando su mayor expansión hasta la fecha y, con ella, una oportunidad para cambiar el rumbo contra los falsificadores de IA no etiquetados que engañan a las personas en línea.
Ayer, en su conferencia I/O, Google anunció que la capacidad de verificar si una imagen lleva una etiqueta SynthID (un sistema de marca de agua invisible aplicado al contenido generado por los modelos de inteligencia artificial de Google) llegará a Chrome y Search. Eso es importante porque Chrome, por supuesto dominar cuota de mercado global para navegadores web y motores de búsqueda, por lo que las herramientas de verificación de IA se utilizan cada vez más. Esto también simplifica el proceso de inspección; Si actualmente desea verificar una imagen en busca de marcadores SynthID, debe cargarla en la aplicación Gemini.
No sólo eso, sino que la interfaz de verificación de Google ahora también lo hará También verifique si este archivo contiene información C2PA: metadatos de procedencia incrustados en el contenido en el momento de la creación para decirnos cómo se creó o manipuló, y si se utilizaron herramientas de inteligencia artificial durante el proceso. Esta adopción de C2PA permite a los usuarios verificar imágenes sospechosas desde una interfaz en lugar de cambiar entre la aplicación Gemini y un portal de verificación C2PA dedicado porque los archivos pueden tener solo un tipo de etiqueta o ninguna.
Este es el esfuerzo colaborativo que estábamos esperando. Si bien los dos sistemas funcionan de manera diferente, tanto Google como Content Authenticity Initiative (que existe para promover el estándar C2PA) han hecho afirmaciones similares sobre lo que se necesitaría para que funcionaran: que todos pudieran participar. Esto significa que es necesario que más modelos de IA incorporen estos datos, y las plataformas en línea donde con mayor frecuencia se comparten falsificaciones de IA deben mostrar esa información de manera destacada. Para este último, tener herramientas de verificación integradas en los navegadores web puede servir como solución en sitios web que no verifican ni presentan metadatos de IA a sus usuarios.
OpenAI también participa en esta expansión y anunció ayer que ahora incorporará SynthID en imágenes generadas por ChatGPT, Codex y la API de OpenAI. La empresa ya incluye metadatos C2PA en el contenido que produce, pero descubrí que estos metadatos a menudo se eliminan cuando se publican en otras plataformas. La propia OpenAI también quiere reducir las expectativas para C2PA, a pesar de ser miembro directivo de C2PA y ahora reafirmar su compromiso con el estándar. Esto es lo que dijo OpenAI su página de ayuda C2PAantes de que eso suceda actualizado para incluir SynthID Ayer:
“Los metadatos como C2PA no son una panacea para el problema de la procedencia. Los metadatos se pueden eliminar fácilmente, ya sea accidental o intencionalmente. Por ejemplo, la mayoría de las plataformas de redes sociales hoy en día eliminan los metadatos de las imágenes cargadas, y acciones como tomar una captura de pantalla también pueden eliminarlos. Por lo tanto, las imágenes que carecen de estos metadatos pueden o no haber sido generadas por ChatGPT o nuestra API”.
Para algo que se considera la mejor tecnología de autenticidad de contenido, suena bastante aburrido. Incluso Google describe C2PA como Eso estándares de la industria, y está sucediendo presentado a los gobiernos globales como una solución para cumplir con los requisitos de etiquetado y transparencia de la IA. Pero aunque está aumentando adoptado por proveedores de IA, hardware y softwareRara vez lo he visto utilizado con éxito para verificar la falsificación de IA en la naturaleza. SynthID parece más poderoso en comparación porque no se puede eliminar fácilmente; dado lo limitado que es su alcance en comparación con C2PA, recuerdo varios casos en los que verificadores de datos y agencias de medios mencionaron su utilidad para desacreditar los deepfakes en línea.
Tanto C2PA como SynthID pueden trabajar juntos para crear una red de seguridad más amplia. Esta industria no se beneficiará de la guerra de los estándares de verificación, pero Google tiene aquí una clara oportunidad de demostrar si su sistema es más confiable y llamar la atención de C2PA. Para evitar que esto suceda, C2PA debe demostrar que realmente puede usarse para revelar el origen del contenido que vemos en línea.
Ha surgido esa oportunidad: Google anunció ayer que Meta comenzará a utilizar metadatos C2PA para etiquetar imágenes en Instagram que hayan sido capturadas por la cámara. Meta no ha respondido a nuestras preguntas sobre cómo se verá o qué cámaras admitirá, aunque supongo que esto involucrará una etiqueta que diga algo como “tomado con Pixel 10”, similar a la nota “enviado desde mi iPhone” aplicada a los correos electrónicos. Esto ayudará efectivamente a los usuarios de Instagram a distinguir las fotos “reales” de las falsificaciones convincentes de IA, que es lo que el director de Instagram, Adam Mosseri, predijo para el futuro con respecto a la necesidad de alejarse “de asumir que lo que vemos es real por defecto”.
Si el etiquetado funciona, es verdad. Instagram ya verifica las imágenes en busca de información C2PA, y sus esfuerzos para etiquetar el contenido generado por IA previamente han llevado a la plataforma a problemas después de aplicar etiquetas de IA a las imágenes que los fotógrafos dijeron que tomaron ellos mismos.
Tampoco me apresuraré a elogiar a Google por esta colaboración. La compañía predica la importancia de la transparencia de la IA y la lucha contra los deepfakes digitales, mientras desarrolla tecnología utilizada para engañar a las personas. Esta empresa se posiciona como proveedor y solución. Podría perdonarlo si SynthID marcara una diferencia real en la lucha contra los deepfakes, pero no tendría muchas esperanzas dada la magnitud del problema.
Sólidos o no, SynthID y C2PA solo pueden detectar marcas de agua si se han agregado primero, y dudo que muchos de los modelos de código abierto utilizados para generar contenido deepfake verdaderamente malicioso adopten estos sistemas. Provenance nunca será una solución perfecta, pero ahora Google y C2PA tienen la oportunidad de demostrar que no es una pérdida de tiempo.
