¡Esta semana en IA: OpenAI se aleja de la seguridad!

Spread the love

Mantenerse al día con una industria tan dinámica como la IA es todo un desafío. Entonces, hasta que una IA pueda hacerlo por ti, aquí tienes un resumen útil de las historias recientes en el mundo del aprendizaje automático, junto con investigaciones y experimentos destacados que no cubrimos por separado.

Por cierto, TechCrunch planea lanzar pronto un boletín informativo sobre IA. Mantente al tanto. Mientras tanto, estamos aumentando la frecuencia de nuestra columna de IA semirregular, que anteriormente era quincenal (más o menos), a semanal, así que estate atento a más ediciones.

Esta semana en IA, una vez más OpenAI dominó el ciclo de noticias (a pesar de los mejores esfuerzos de Google) no solo con un lanzamiento de producto, sino también con algunos conflictos internos. La compañía presentó GPT-4o, su modelo generativo más capaz hasta ahora, y solo días después disolvió efectivamente un equipo que trabajaba en el problema de desarrollar controles para evitar que los sistemas de IA «superinteligentes» se salgan de control.

La disolución del equipo generó muchos titulares, como era de esperar. Los informes, incluido el nuestro, sugieren que OpenAI priorizó menos la investigación de seguridad del equipo a favor de lanzar nuevos productos como el mencionado GPT-4o, lo que finalmente condujo a la renuncia de los dos copresidentes del equipo, Jan Leike y el cofundador de OpenAI, Ilya Sutskever.

La IA superinteligente es más teórica que real en este momento; no está claro cuándo, o si, la industria tecnológica logrará los avances necesarios para crear IA capaz de realizar cualquier tarea que pueda hacer un humano. Pero la cobertura de esta semana parecería confirmar una cosa: que el liderazgo de OpenAI, en particular el CEO Sam Altman, ha optado cada vez más por priorizar productos sobre medidas de seguridad.

Según los informes, Altman «enfureció» a Sutskever al apresurar el lanzamiento de funciones impulsadas por IA en la primera conferencia de desarrolladores de OpenAI en noviembre pasado. Y se dice que ha sido crítico con Helen Toner, directora del Centro de Seguridad y Tecnología Emergente de Georgetown y exmiembro de la junta de OpenAI, por un artículo que coescribió que criticaba la aproximación de OpenAI a la seguridad, hasta el punto de intentar sacarla de la junta.

Durante el último año más o menos, OpenAI ha permitido que su tienda de chatbots se llene de spam y (supuestamente) ha extraído datos de YouTube en contra de los términos de servicio de la plataforma mientras expresaba ambiciones de permitir que su IA genere representaciones de pornografía y violencia. Ciertamente, la seguridad parece haber pasado a un segundo plano en la compañía, y un número creciente de investigadores de seguridad de OpenAI han llegado a la conclusión de que su trabajo sería mejor respaldado en otro lugar.

¡No te pierdas hasta el 4 de junio el evento de TechCrunch Sessions: AI!

Ahorra $300 en tu boleto para TC Sessions: AI y obtén un 50% de descuento en un segundo. Escucha a líderes de OpenAI, Anthropic, Khosla Ventures y más durante un día completo de información de expertos, talleres prácticos y una red de alto impacto. ¡Estas ofertas de bajo costo desaparecerán cuando se abran las puertas el 5 de junio!

Muestra en TechCrunch Sessions: AI

Asegura tu lugar en TC Sessions: AI y muestra a más de 1,200 tomadores de decisiones lo que has construido, sin gastar tanto. Disponible hasta el 9 de mayo o hasta que se agoten las mesas.

Por último, algunas otras historias de IA destacadas de los últimos días:

OpenAI + Reddit: En más noticias de OpenAI, la compañía llegó a un acuerdo con Reddit para utilizar los datos del sitio social para el entrenamiento de modelos de IA. Wall Street recibió con los brazos abiertos el acuerdo, pero los usuarios de Reddit pueden que no estén tan contentos.

Imagem destacada

IA de Google: Google organizó esta semana su conferencia anual para desarrolladores I/O, durante la cual presentó una gran cantidad de productos de IA. Los resumimos aquí, desde Veo, que genera videos, hasta resultados organizados por IA en Google Search y actualizaciones en las aplicaciones de chatbot de Google, Gemini.

Anthropic contrata a Krieger: Mike Krieger, uno de los cofundadores de Instagram y, más recientemente, cofundador de la aplicación de noticias personalizadas Artifact (que la matriz corporativa de TechCrunch, Yahoo, adquirió recientemente), se une a Anthropic como el primer director de productos de la compañía. Supervisará los esfuerzos tanto en el consumidor como en las empresas.

IA para niños: Anthropic anunció la semana pasada que permitiría a los desarrolladores crear aplicaciones y herramientas enfocadas en niños construidas en sus modelos de IA, siempre y cuando sigan ciertas reglas. Cabe destacar que rivales como Google prohíben que su IA se integre en aplicaciones dirigidas a edades más jóvenes.

Festival de cine de IA: La startup de IA Runway celebró su segundo festival de cine de IA a principios de este mes. ¿La conclusión? Algunos de los momentos más poderosos en la muestra no provinieron de la IA, sino de elementos más humanos.

Más aprendizajes de máquinas

La seguridad de la IA obviamente está en primer plano esta semana con las salidas de OpenAI, pero Google DeepMind continúa avanzando con un nuevo «Marco de Seguridad de Frontera». Básicamente, es la estrategia de la organización para identificar y, con suerte, prevenir cualquier capacidad descontrolada; no tiene que ser AGI; podría ser un generador de malware descontrolado o algo por el estilo.

El marco tiene tres pasos: (1) Identificar capacidades potencialmente dañinas en un modelo simulando sus caminos de desarrollo; (2) evaluar los modelos regularmente para detectar cuándo han alcanzado niveles de «capacidad crítica» conocidos; y (3) aplicar un plan de mitigación para prevenir la exfiltración (por otro agente o por sí mismo) o despliegue problemático. Hay más detalles aquí. Puede sonar como una serie de acciones obvias, pero es importante formalizarlas o todos estarán actuando a ciegas. Así es como se obtiene una mala IA.

Investigadores de Cambridge han identificado un riesgo bastante diferente, que están preocupados por la proliferación de chatbots que se entrenan con los datos de una persona fallecida para proporcionar un simulacro superficial de esa persona. Es posible que (como yo) encuentres todo el concepto algo aborrecible, pero podría usarse en la gestión del duelo y otros escenarios si tenemos cuidado. El problema es que no estamos siendo cuidadosos.

«Esta área de la IA es un campo minado ético», dijo la investigadora principal Katarzyna Nowaczyk-Basińska. «Necesitamos empezar a pensar desde ahora en cómo mitigamos los riesgos sociales y psicológicos de la inmortalidad digital, porque la tecnología ya está aquí.» El equipo identifica numerosas estafas, posibles resultados buenos y malos, y discute el concepto en general (incluidos los servicios falsos) en un artículo publicado en Filosofía y Tecnología. ¡Black Mirror predice el futuro una vez más!

En aplicaciones menos espeluznantes de la IA, los físicos del MIT están investigando una herramienta útil (para ellos) para predecir la fase o estado de un sistema físico, normalmente una tarea estadística que puede volverse onerosa con sistemas más complejos. Pero entrenar un modelo de aprendizaje automático con los datos correctos y fundamentarlo con algunas características materiales conocidas de un sistema permite una forma considerablemente más eficiente de hacerlo. Solo otro ejemplo de cómo el ML está encontrando nichos incluso en la ciencia avanzada.

En la CU Boulder, están hablando de cómo se puede utilizar la IA en la gestión de desastres. La tecnología puede ser útil para predecir rápidamente dónde se necesitarán recursos, mapear daños, incluso ayudar a capacitar a los socorristas, pero la gente está (comprensiblemente) reacia a aplicarla en escenarios de vida o muerte.

Por último, un trabajo interesante de Disney Research, que estaba buscando cómo diversificar la salida de modelos de generación de imágenes de difusión, que pueden producir resultados similares una y otra vez para algunas consultas. ¿Su solución? «Nuestra estrategia de muestreo templa la señal de condicionamiento agregando ruido gaussiano programado y monótonamente decreciente al vector de condicionamiento durante la inferencia para equilibrar la diversidad y la alineación de condiciones». Simplemente no podría haberlo dicho mejor yo mismo.

El resultado es una diversidad mucho mayor en ángulos, entornos y aspecto general en las salidas de imágenes. A veces quieres esto, a veces no, pero es bueno tener la opción.

Compromiso de datos de WebTPA afecta a 2.5 millones de personas

¡Google lanza una nueva función de Android para que regreses a tus aplicaciones instaladas!