Los costos ocultos del entrenamiento de modelos de IA

Construir y apoyar modelos de IA modernos requiere inversiones significativas, que pueden superar los cientos de millones de dólares. Las estimaciones indican que estos costos pueden alcanzar mil millones de dólares en el futuro cercano. 

Este gasto se debe principalmente a la potencia de computación, donde se utilizan entidades como las GPU de Nvidia, que pueden costar unos $30,000 cada una y pueden requerir miles más para ser eficientes. Los investigadores han declarado que la calidad y la cantidad del conjunto de datos de entrenamiento utilizado en el desarrollo de estos modelos son muy importantes. 

Los líderes de la industria revelan los costos descomunales del desarrollo de IA

Según James Betker de OpenAI, el rendimiento de un modelo es una función de los datos de entrenamiento en lugar del diseño o la arquitectura del modelo. Su afirmación es que los modelos entrenados con grandes conjuntos de datos alcanzarán los mismos resultados. Por lo tanto, los datos son la clave para el avance de la tecnología de IA.

Dario Amodei, CEO de la firma de IA Anthropic AI, compartió sus perspectivas sobre los aspectos financieros de estos desafíos en el podcast In Good Company. Declaró que entrenar los modelos actuales, como ChatGPT-4, se estima que cuesta alrededor de $100 millones, y el entrenamiento para futuros modelos puede requerir entre $10 y $100 mil millones en los próximos años.

Los modelos de IA generativa, y los creados por grandes empresas, son, en su núcleo, modelos estadísticos. Por lo tanto, utilizan muchos ejemplos para predecir los resultados más probables. Kyle Lo del Instituto Allen para la IA (AI2) dice que la ganancia en el rendimiento se puede atribuir principalmente a los datos, especialmente cuando el entorno de entrenamiento es consistente. 

La centralización de datos plantea preocupaciones éticas y de accesibilidad

El alto costo de obtener datos de buena calidad está haciendo que el desarrollo de IA sea patrimonio de unas pocas grandes empresas en el mundo desarrollado. Esta acumulación de recursos también es una fuente de preocupación respecto a la disponibilidad de la tecnología de IA y la posibilidad de mal uso. 

OpenAI sola ha gastado cientos de millones de dólares en licencias de datos, y Meta ha considerado comprar editores para acceder a los datos. Se espera que el mercado de datos de entrenamiento de IA se expanda, y los corredores de datos probablemente se beneficien de esta oportunidad. 

Surgen problemas de prácticas cuestionables de adquisición de datos. Según los informes, muchas empresas han capturado grandes volúmenes de contenido sin la autorización de los propietarios de dicho contenido, y algunas empresas utilizan datos de diferentes plataformas y no remuneran a los usuarios. Como informamos anteriormente, OpenAI utilizó su modelo de transcripción de audio Whisper para transcribir más de un millón de horas de videos de YouTube para ajustar GPT-4.

Las organizaciones trabajan para crear conjuntos de datos de entrenamiento de IA de acceso abierto

A medida que la carrera por la adquisición de datos presenta algunos problemas, se necesitan esfuerzos de partes independientes para hacer que los conjuntos de datos de entrenamiento estén disponibles abiertamente. Algunas organizaciones, como EleutherAI y Hugging Face, están creando grandes conjuntos de datos que están disponibles para el público para el desarrollo de IA.

El Wall Street Journal destacó recientemente dos estrategias potenciales para resolver los problemas de adquisición de datos: la generación de datos generativa y el aprendizaje por currículo. Los datos sintéticos se crean utilizando los propios modelos de IA, mientras que el aprendizaje por currículo intenta proporcionar a los modelos datos de alta calidad de manera estructurada para que puedan hacer conexiones incluso con menos datos. Sin embargo, ambos métodos aún están en etapas de desarrollo y su eficacia no ha sido probada aún.