GPT-5 tiene un problema: se han gastado un pastizal en entrenarlo y aun así no es muchísimo mejor que GPT-4

La reciente hondanada de anuncios por parte de OpenAI ha demostrado el ritmo frenético al que la empresa está trabajando. En los últimos días hemos conocido grandes novedades sobre Sora, ChatGPT Search,  ChatGPT en WhatsApp, la disponibilidad masiva de o1 o el reciente o3 como grandes protagonistas. Todo parece irle de perlas a la empresa dirigida por Sam Altman, pero hay algo que probablemente le esté quitando el sueño: GPT-5.

GPT-5 y Orion. La empresa lleva meses trabajando en su próximo gran modelo de lenguaje, con nombre en clave Orion pero que teóricamente será GPT-5. Se supone que el salto en prestaciones respecto a GPT-4 será sensiblemente más grande que el que vimos de GPT-4 a GPT-4o, pero ahí está el problema. De momento, no lo es.

Retrasos y coste colosal. Como señalan en The Wall Street Journal, este proyecto no para de retrasarse, y por ejemplo Microsoft esperaba poder tener acceso a él a mediados de 2024. Hay algo aún peor: su desarrollo está teniendo un coste colosal que no para de crecer. Se estima que cada ronda de entrenamiento dura unos seis meses y cuesta 500 millones de dólares. Según el diario, Altman ya indicó en el pasado que entrenar GPT-4 costó más de 100 millones de dólares.

Dos entrenamientos que no acaban de cuajar. Orion ha sido entrenado con enormes cantidades de datos no una, sino dos veces. A pesar de ello no han parado de surgir problemas: en el segundo intento de entrenamiento se dieron cuenta de que el conjunto de datos no era tan diverso como pensaban. OpenAI había perdido mucho dinero y tiempo para volver a empezar ese proceso, y no está claro si ese segundo entrenamiento acabó siendo encauzado con datos más ricos y útiles.

Esto no compensa de momento. Los investigadores parecen haber quedado decepcionados con el rendimiento del modelo, según fuentes cercanas al proyecto. Aunque se comporta mejor que el actual modelo, sus prestaciones no justifican el enorme coste de desarrollo y ejecución de Orion.

Sutskever ya avisó. Ilya Sutskever, cofundador de OpenAI que dejó la empresa hace meses, declaró en noviembre que entrenar modelos de IA con más y más GPUs y datos ya no sirve de mucho. Las expectativas con respecto a GPT-5 se unen a las de los esfuerzos de otras compañías que teóricamente también están desarrollando chatbots cada vez más potentes. La sensación es que la IA generativa, al menos de este tipo, se está estancando.

Altman y el peligro de las promesas. En julio de 2025 afirmó que GPT-5 podría llegar a finales de 2024 y principios de 2025. De hecho, prometió que el nuevo modelo supondría "un salto significativo" en todo tipo de tareas y temáticas. La expectativa es que GPT-5 podría convertirse en una herramienta tanto científica como cotidiana; una que además cometería menos errores que GPT-4/ChatGPT.

Generando datos de calidad. En OpenAI se encontraron con el problema de que ya no tenían muchos más datos de calidad con los que entrenar el modelo, así que se propusieron crearlos de cero. Contrataron gente para escribir nuevos programas o solucionar problemas matemáticos y luego "conversar" con Orion para explicar esos resultados. Esas explicaciones son también teóricamente valiosas para el desarrollo de un LLM, ya que pueden servir como un "mapa" que permita a los modelos solucionar problemas similares en el futuro. No solo se trata de dar el resultado, sino de revisar cómo se ha llegado hasta él.

Agentes de AI y chatbots que "razonan" al rescate. A pesar de estas dificultades, tanto OpenAI como sus competidores tienen en estos momentos dos grandes tendencias que vuelven a animar este segmento. La primera, la de los agentes de IA que harán cosas por nosotros de forma autónoma. La segunda, la de los modelos que "razonan" y que aun tardando más tiempo logran dar respuestas más correctas. La esperanza es que ambas propuestas acaben desplazando a los chatbots actuales, al menos en parte.

En Xataka | Copilot, ChatGPT y GPT-4 han cambiado el mundo de la programación para siempre. Esto opinan los programadores