Campbell Brown pasó su carrera buscando información precisa, primero como un reconocido periodista de televisión y luego como el primer y único jefe de noticias dedicado de Facebook. Ahora, a medida que la IA cambia la forma en que las personas consumen información, ve que la historia corre el riesgo de repetirse. Esta vez no esperó a que alguien más lo arreglara.
su empresa, Foros de IA – que recientemente discutió con Tim Fernholz de TechCrunch en la noche de StrictlyVC en San Francisco – evalúa el desempeño de los modelos de fundación en lo que él llama “temas de alto riesgo” (geopolítica, salud mental, finanzas, reclutamiento), temas para los cuales “no hay respuestas claras de sí o no, que son opacas, matizadas y complejas”.
La idea es encontrar a los principales expertos del mundo, pedirles que diseñen puntos de referencia y luego capacitar a jueces de IA para evaluar modelos a escala. Para el trabajo geopolítico del AI Forum, Brown reclutó a Niall Ferguson, Fareed Zakaria, el exsecretario de Estado Tony Blinken, el expresidente de la Cámara de Representantes Kevin McCarthy y Anne Neuberger, quien dirigió la ciberseguridad en la administración Obama. El objetivo es lograr que los jueces de IA alcancen un consenso de alrededor del 90% con esos expertos humanos, un umbral que el Foro de IA dice que el Foro de IA puede alcanzar.
Brown remonta los orígenes del AI Forum, fundado hace 17 meses en Nueva York, a un momento específico. “Estaba en Meta cuando ChatGPT se lanzó al público por primera vez”, recuerda, “y recuerdo que me di cuenta inmediatamente de que este iba a ser el canal a través del cual pasaría toda la información. Y no era muy bueno”. Las implicaciones para sus propios hijos hacen que el momento parezca casi existencial. “Mis hijos van a ser muy estúpidos si no encontramos una manera de solucionar esto”, recordó haber pensado.
Lo que más le frustra es que la precisión no parece ser la prioridad de nadie. Las empresas tipo Fundación, dijo, “se centran en gran medida en la codificación y las matemáticas”, mientras que las noticias y la información son más difíciles. Pero, según él, más duro no significa opcional.
Es cierto que cuando el Foro de IA comenzó a evaluar los modelos líderes, los hallazgos no fueron muy alentadores. Citó a Gemini que buscaba en los sitios web del Partido Comunista Chino “noticias que no tenían nada que ver con China” y señaló la presencia de un sesgo político de izquierda en casi todos los modelos. También abundan fallos más sutiles, dijo, incluyendo la pérdida de contexto, pérdida de perspectiva, argumentos poco claros y sin reconocimiento. “Aún queda un largo camino por recorrer”, afirmó. “Pero también creo que hay algunas soluciones muy sencillas que mejorarían significativamente los resultados”.
Brown pasó años en Facebook observando lo que sucede cuando una plataforma se optimiza para lo incorrecto. “Fracasamos en la mayoría de las cosas que intentamos”, le dijo a Fernholz. El programa de verificación de datos que fundó ya no existe. La lección que se debe aprender, incluso si las redes sociales ignoran esto, es que optimizar la participación es malo para la sociedad y deja a muchas personas menos informadas.
La esperanza es que la IA pueda romper el ciclo. “Por el momento las cosas van bien”, afirmó; las empresas pueden dar a los usuarios lo que quieren o pueden “dar a las personas lo que es real, honesto y veraz”. Admite que su versión idealista (la IA optimizada para la verdad) puede parecer ingenua. Pero afirma que la empresa puede no ser el aliado adecuado en este caso. Las empresas que utilizan la IA para tomar decisiones de crédito, préstamos, seguros y contratación deben tener en cuenta la responsabilidad y “quieren que usted optimice para hacerlo bien”.
Esta demanda empresarial también es algo en lo que AI Forum está apostando, aunque convertir el interés en el cumplimiento en ingresos consistentes sigue siendo un desafío, especialmente considerando que gran parte del mercado actual todavía está contento con auditorías de casillas de verificación y puntos de referencia estándar que, según Brown, son inadecuados.
El panorama de cumplimiento, dijo, es una “broma”. Cuando la ciudad de Nueva York aprobó su primera ley sobre prejuicios en la contratación que exigía auditorías de IA, el contralor estatal descubrió que más de la mitad tenían violaciones no detectadas. Las evaluaciones reales, dijo, requieren experiencia en el campo para abordar no sólo escenarios conocidos, sino también casos extremos que “pueden meterte en problemas en los que nadie más pensó”. Y ese trabajo lleva tiempo. “Los generalistas inteligentes no tendrán éxito.”
Brown, cuya empresa revivió el otoño pasado $3 millones dirigido por Lerer Hippeau, está en una posición única para ilustrar la desconexión entre la autoimagen de la industria de la IA y la realidad de la mayoría de los usuarios. “Escuchas a los líderes de las grandes empresas tecnológicas decir: ‘Esta tecnología va a cambiar el mundo’, ‘esta tecnología te va a dejar sin trabajo’, ‘esta tecnología va a curar el cáncer'”, dijo. “Pero las personas normales que sólo utilizan chatbots para hacer preguntas básicas, siguen recibiendo muchas respuestas erróneas e inexactas”.
La confianza en la IA está en un nivel muy bajo y dice que el escepticismo está, en la mayoría de los casos, justificado. “La conversación que está teniendo lugar en Silicon Valley es sobre una cosa, y una conversación muy diferente entre los consumidores”.
Cuando compra a través de enlaces en nuestros artículos, es posible que ganemos una pequeña comisión. Esto no afecta nuestra independencia editorial.
