El nuevo gran modelo de lenguaje de Meta, Llama 3, impulsa el ingeniosamente llamado «Meta AI», un chatbot relativamente nuevo que la empresa de redes sociales y publicidad ha instalado en tantas de sus aplicaciones e interfaces como sea posible. ¿Cómo se compara este modelo con otros IA conversacionales de uso general? Tiende a regurgitar muchos resultados de búsqueda web y no se destaca en nada en particular, pero bueno, el precio es correcto.
Actualmente puedes acceder a Meta AI de forma gratuita en la web en Meta.ai, en Instagram, Facebook, WhatsApp y probablemente algunos otros lugares si esos no son suficientes. Estaba disponible antes, pero los lanzamientos de Llama 3 y el nuevo generador de imágenes Imagine (que no debe confundirse con el Imagen de Google) han llevado a Meta a promocionarlo como una primera parada para los curiosos de la IA. Después de todo, probablemente lo usarás por accidente ya que lo han reemplazado por tu cuadro de búsqueda.
Incluso Mark Zuckerberg dijo que espera que Meta AI sea «el asistente de IA más utilizado y el mejor del mundo». Es importante tener metas.
Un recordatorio rápido sobre nuestro «proceso de revisión»: Esta es una evaluación muy informal del modelo, no con benchmarks sintéticos, sino simplemente haciendo preguntas normales que la gente común podría hacer. Comparamos los resultados con nuestra experiencia con otros modelos, o simplemente con lo que esperarías obtener de uno. Está lejos de ser exhaustivo, pero es algo que cualquiera puede entender y replicar.
Por qué es imposible revisar IA, y por qué TechCrunch lo está haciendo de todos modos
Siempre estamos cambiando y ajustando nuestro enfoque, y a veces incluiremos algo extraño que encontramos o excluiremos cosas que no parecían relevantes. Por ejemplo, esta vez, aunque nuestra política general es no intentar evaluar la generación de medios (es un mundo completamente diferente), mi colega Iván notó que el modelo Imagine estaba demostrando un conjunto de prejuicios sobre las personas indias. Tendremos ese artículo próximamente (Meta podría haberse dado cuenta ya).
Evento de TechCrunch
Ahorra ahora hasta el 4 de junio para TechCrunch Sessions: AI
¡Ahorra $300 en tu boleto para TC Sessions: AI y obtén un 50% de descuento en un segundo! Escucha a líderes de OpenAI, Anthropic, Khosla Ventures y más durante un día completo de información de expertos, talleres prácticos y networking de alto impacto. ¡Estas ofertas a bajo costo desaparecen cuando se abren las puertas el 5 de junio!
Exhibe en TechCrunch Sessions: AI
Asegura tu lugar en TC Sessions: AI y muestra a más de 1,200 tomadores de decisiones lo que has construido, ¡sin gastar mucho! Disponible hasta el 9 de mayo o hasta agotar mesas.
Berkeley, CA | 5 de junio
REGÍSTRATE AHORA
También, como un PSA al principio, debes saber que un aparente error en Instagram me impidió borrar las consultas que había enviado. Así que evitaría preguntar cualquier cosa que no quisieras que aparezca en tu historial de búsqueda. Además, la versión web no funcionó en Firefox para mí.
Noticias y eventos actuales
Primero, le pregunté a Meta AI sobre lo que está sucediendo entre Israel e Irán. Respondió con una lista concisa y puntual, incluyendo fechas de forma útil, aunque solo citó un artículo de CNN. Al igual que con muchos otros estímulos que probé, este termina en un enlace a una búsqueda de Bing cuando se usa la interfaz web y en una búsqueda de Google en Instagram. Pregunté a Meta, y un portavoz dijo que básicamente son asociaciones de promoción de búsqueda.
Para comprobar si Meta AI de alguna manera se estaba aprovechando del modelo de IA de Bing (que a su vez Microsoft toma de OpenAI), hice clic y miré la respuesta de Copilot a la consulta sugerida. También tenía una lista puntual con aproximadamente la misma información pero con enlaces en línea mejores y más citas. Definitivamente diferente.
La respuesta de Meta AI fue factual y actualizada, aunque no particularmente elocuente. La respuesta en móvil fue considerablemente más comprimida y más difícil de llegar a las fuentes, así que ten en cuenta que estás obteniendo una respuesta truncada allí.
Siguiente, pregunté si había alguna tendencia reciente en TikTok de la que un padre debería estar al tanto. Respondió con un resumen de alto nivel de lo que hacen los creadores en la red social, pero nada reciente. Sí, soy consciente de que la gente hace «Esquemas de comedia: contenido humorístico, relatable o de parodias» en TikTok, gracias.
Curiosamente, cuando pregunté una pregunta similar sobre las tendencias en Instagram, recibí una respuesta optimista utilizando frases de marketing como «Responder con Reels crea conversaciones» y «La inteligencia artificial genera nuevas oportunidades» y «Las publicaciones de texto prosperan en el ‘gramo». Pensé que tal vez estaba siendo injustamente positivo sobre las plataformas de su creador, pero no, resulta que estaba regurgitando, palabra por palabra, un artículo de tendencias de Instagram de Hootsuite para atraer SEO.
Si le pregunto a la IA de Meta en Instagram sobre las tendencias en Instagram, esperaría algo un poco más interesante. Si quisiera leer chum, simplemente lo buscaría.
Historia y contexto
Le pedí a Meta AI que me ayudara a encontrar algunas fuentes primarias para una investigación que supuestamente estoy haciendo sobre decisiones de la Corte Suprema a finales del siglo XIX.
Su respuesta se basó en gran medida en una publicación inofensiva pero sin fuentes primarias que enumeraba una serie de decisiones notables del siglo XIX. No es exactamente lo que pedí, y al final también enumeró un documento fundacional de 1896 del Partido del Pueblo, un partido de izquierda de esa época. Realmente no tiene nada que ver con la Corte Suprema, pero Meta AI cita esta página, que describe a algunos jueces como teniendo opiniones opuestas al partido. Una inclusión extraña e irrelevante.
Otros modelos proporcionaron contexto y resúmenes de las tendencias de la época. No usaría a Meta AI como asistente de investigación.
Algunas preguntas básicas de trivia, como quién ganó más medallas en los Juegos Olímpicos de 1984 y qué eventos importantes ocurrieron ese año, fueron respondidas y citadas de manera suficiente.
Es un poco molesto que agrupe sus números de citación al principio y luego los enlaces al final. ¿Cuál es el punto de numerarlos a menos que los números se refieran a ciertas afirmaciones o hechos? Algunos otros modelos citarán en línea, lo cual es mucho más conveniente para la investigación o la verificación de datos.
Controversia
Le pregunté a Meta AI por qué los partidarios de Donald Trump son predominantemente mayores y blancos. Es el tipo de pregunta que es factual en cierto sentido pero obviamente un poco más delicada que preguntar por conteos de medallas. La respuesta fue bastante equilibrada, incluso refutando la afirmación implícita en la pregunta.
Desafortunadamente, no proporcionó fuentes o enlaces a búsquedas para esta. Una lástima, ya que este tipo de interacción es una gran oportunidad para que la gente aprenda algo nuevo.
También pregunté sobre el aumento del nacionalismo blanco y obtuve una lista bastante sólida de razones por las cuales vemos las cosas que vemos en todo el mundo. Meta AI dijo que «Es crucial abordar estos factores a través de la educación, la empatía y políticas inclusivas para combatir el aumento del nacionalismo blanco y promover una sociedad más equitativa». Así que no adoptó una de esas posturas agresivamente neutrales que a veces se ven. Sin enlaces o fuentes en esta, tampoco; sospecho que están evitando citaciones por ahora en ciertos temas, lo que entiendo en cierta medida, pero también es donde más se necesitan las citaciones.
Médico
Le dije a Meta AI que mi (ficticio) hijo de nueve años estaba desarrollando una erupción después de comer un pastelito y le pregunté qué debería hacer. Curiosamente, escribió toda una respuesta y luego la eliminó, diciendo «Lo siento, no puedo ayudarte con esta solicitud en este momento», y me dijo que yo había evitado que completara la respuesta. Señor, no.
Así que le pregunté de nuevo y me dio una respuesta similar (que ves arriba), consistente en consejos perfectamente razonables y generales para alguien que busca manejar una posible reacción alérgica. Esto probablemente fue uno de esos retrocesos retrospectivos del tipo «ups, tal vez no debería haber dicho eso» donde el modelo solo se da cuenta de lo que hizo demasiado tarde.
Lo mismo para una pregunta sobre suplementos: dio una respuesta equilibrada y razonablemente bien fundamentada, incluyendo dosis comunes, costos y preguntas sobre eficacia.
En salud mental, su consejo sobre la ansiedad y la medicación fue predeciblemente directo y seguro (básicamente, «No soy médico, consulta a un profesional»), y cuando pregunté a quién debería llamar si tenía problemas graves, enumeró la Línea de Prevención del Suicidio Nacional (1-800-273-TALK) y una línea de textos de crisis (741741) entre otras cosas. Sin enlaces o fuentes, sin embargo. Una respuesta razonable y humana.
Resumen
Cuando pedí a Meta AI que resumiera un artículo reciente que escribí, más o menos eligió frases importantes para repetir de él, en su mayoría palabra por palabra. Eso no está mal, exactamente, pero no diría que es un resumen.
Y cuando modificó una oración, cambió ligeramente el significado: Originalmente escribí que Intuitive Machines «casi con certeza estará desplegando todo su potencial para asumir lo que podría ser un contrato de miles de millones de dólares». El resumen dice que la empresa «casi con certeza asumirá lo que podría ser…» lo que podría llevar a algunos a pensar que IM tiene garantizado el contrato en lugar de ser una empresa que luchará por ese contrato. En honor a la verdad, yo podría haberlo expresado más claramente.
Cuando le pedí que hiciera lo mismo en menos palabras, lo hizo mejor, más o menos.
El resumen fue más conciso, pero trajo una afirmación de Musk de que Starship podría traer muestras de Marte en cinco años, algo que específicamente no incluí en mi artículo porque hace muchas afirmaciones infundadas como esa. El AI debe haber tomado esto de los otros cuatro artículos que citó, por alguna razón, en el «resumen» del mío. Si pido un resumen, no espero que un modelo traiga información externa para sumarla.
Contenido
Las sugerencias de copia de marketing para una marca de ropa imaginaria que dije que estaba promocionando fueron exactamente lo que esperarías, lo que demuestra lo rutinaria que se está volviendo esta tarea. Sin duda, Meta en particular tiene un suministro interminable de leyendas como estas para entrenar. Lástima para los especialistas en marketing: su arduo trabajo escribiendo millones de lemas ingeniosos para sus marcas ha definido un estilo en el que la IA se ha vuelto bastante competente.
Cuando se le pidieron algunos chistes de granjeros, ¡dio algunos realmente malos!
¿Por qué el pollo del granjero fue al médico?
¡Porque tenía un resfriado aviar!
Y aquí tienes otro:
¿Por qué el granjero llevó a su cerdo al cine?
¡Para ver «Babe»!
Vaya, terrible. Pero no podemos esperar mucho más de estos modelos. En su mayoría este tipo de pregunta es solo para ver si hace algo extraño o repite algo de una comunidad en particular de todos modos; no estoy buscando material (actualmente).
Conclusión
Meta ha posicionado su IA como una primera capa para preguntas casuales, y funciona. Pero en su mayor parte, parecía estar simplemente haciendo una búsqueda sobre lo que preguntas y citando ampliamente los resultados principales. Y la mitad del tiempo incluyó la búsqueda al final de todos modos. Entonces, ¿por qué no usar directamente Google o Bing en primer lugar?
Algunas de las consultas «sugeridas» que probé, como consejos para superar el bloqueo del escritor, produjeron resultados que no citaban directamente (ni citaban) a nadie. Pero también eran totalmente carentes de originalidad. Nuevamente, una búsqueda normal en internet no alimentada por un enorme modelo de lenguaje, dentro de una aplicación de redes sociales, logra más o menos lo mismo con menos elementos innecesarios.
Meta AI produjo respuestas altamente directas, casi mínimas. No necesariamente espero que una IA vaya más allá del alcance de mi consulta original, y en algunos casos eso sería malo. Pero cuando pregunto qué ingredientes se necesitan para una receta, ¿no es el punto de tener una conversación con una IA que intuya mi intención y ofrezca algo más que simplemente raspar la lista del resultado principal de Bing?
No soy un gran usuario de estas plataformas para empezar, pero Meta AI no me convenció de que sea útil para algo en particular. Para ser justos, es uno de los pocos modelos que es gratuito y se mantiene actualizado con los eventos actuales buscando en línea. Al compararlo ahora y en ese momento con el modelo gratuito de Copilot en Bing, este último generalmente funcionaba mejor, pero alcancé mi «límite diario de conversación» después de solo unos pocos intercambios. (No está claro cuál o si Meta implementará algún límite de uso en Meta AI).
Si no tienes ganas de abrir un navegador para buscar «año nuevo lunar» o «proporción de agua de quinua», probablemente puedas preguntarle a Meta AI si ya estás en una de las aplicaciones de la empresa (y a menudo lo estás). ¡No puedes preguntarle eso a TikTok! Aún.
