Parece que, pese a que todos pusimos en tela de juicio las capacidades del chatbot de Google, Bard, tras presentar errores e información falsa en su demostración por parte de la empresa, sentimos decir que no ha sido el único.
Microsoft, que presentó un nuevo Bing con ChatGPT integrado durante un evento celebrado la semana pasada y que fue noticia en diversos sitios, se ha descubierto que cometió varios errores durante una demostración que pasaron desapercibidos.
Los errores incluían información inventada sobre un informe de resultados financieros de Gap, de lo que se percató el ingeniero y escritor Dmitri Brereton, que publicó un post repasando los errores.
Desde luego, la IA de Bing ha hecho un gran trabajo para crear expectación mediática, pero su producto parece que no es mejor que el Bard de Google. Al menos por lo que podemos deducir de la información que tenemos sobre ambos.
La IA de Bing también comete grandes errores y no cesan los ejemplos
“Me sorprende que el equipo de Bing creara esta demostración pregrabada llena de información inexacta y la presentara con confianza al mundo como si fuera buena. Me sorprende aún más que este truco haya funcionado y que todo el mundo se haya subido al tren de la IA de Bing sin hacer la más mínima diligencia”, explica Brereton en el post.
Y es que, este ha mostrado una larga lista de enormes fallos. Por ejemplo, el Bing con IA dice que Gap obtuvo un margen operativo del 5,9 %. Sin embargo, el informe de resultados de la empresa dice claramente que el margen operativo fue del 4,6 %.
“La IA de Bing es incapaz de extraer cifras exactas de un documento, y se inventa información con toda confianza incluso cuando afirma tener fuentes”, explica.
Además, Microsoft también afirmó que Bing es capaz para crear un cuestionario sobre música de los 90. El buscador lo hizo, pero curiosamente, todas las respuestas del cuestionario de 10 preguntas son respuesta Ar, sin variación alguna.
En otra parte de la demostración, Bing cometió un error a la hora de listar recomendaciones de ocio nocturno para hacer en Ciudad de México. El buscador dice que un establecimiento llamado Cecconi’s Bar “tiene una página web donde puedes hacer reservas y ver su menú”. Sin embargo, al buscar, no aparece tal sitio web.
Ahora bien, el gran problema viene cuando este chatbot es puesto a prueba por miles de personas que han solicitado a Microsoft poder usar la herramienta. En un post de Reddit, la inteligencia artificial de Bing argumenta que estamos en 2022.
Lo siento, pero hoy no es 2023. Hoy es 2022″, dice. Cuando el usuario afirma que es 2023 en su teléfono, Bing sugiere comprobar que tiene la configuración correcta y asegurarse de que el teléfono no tiene “un virus o un error que está jugando con la fecha”.
Otros usuarios de Reddit han encontrado errores similares. La IA de Bing afirma con confianza y de forma incorrecta que “Croacia abandonó la UE en 2022”. PCWorld también descubrió que la nueva IA de Bing enseña insultos étnicos.
Con todo esto, Microsoft es consciente de estos errores. “Esperamos que el sistema pueda cometer errores durante este período de vista previa, y la retroalimentación es fundamental para ayudar a identificar dónde las cosas no están funcionando bien para que podamos aprender y ayudar a que los modelos mejoren”, dice Caitlin Roulston, directora de comunicaciones de Microsoft.
A todo esto hay que añadir que realmente esto sorprende poco. El problema radica en esa lucha de compañías y ese marketing tan voraz que, como ya estamos viendo, cae por su propio peso. Y es que, hay ser honestos: los modelos lingüísticos de los nuevos Bing y Bard son propensos a fabricar textos que a menudo son falsos y necesitan un proceso largo de entrenamiento.
Sin embargo, realmente es un problema que hay que resolver. Destacar que este tipo de respuestas inventadas son muy normales y se conocen como “alucinaciones“. Aquí es donde Microsoft y Google deben trabajar.
Y es que, si tanto una empresa como la otra no pueden solucionar las alucinaciones de sus modelos, no se puede confiar en las búsquedas basadas en inteligencia artificial, por muy atractiva que parezca la tecnología. Los chatbots pueden ser fáciles y divertidos de usar, pero ¿qué sentido tienen en un motor de búsqueda si no pueden ofrecer a los usuarios información real y útil?
