Los costos ocultos de los modelos de entrenamiento de IA

Desarrollar y mantener modelos de IA modernos requiere inversiones significativas, que pueden superar los cientos de millones de dólares. Se estima que estos costos podrían alcanzar los mil millones de dólares en un futuro próximo. 

Este gasto se debe principalmente a la potencia de procesamiento que utilizan las GPU de Nvidia, que pueden costar alrededor de 30 000 dólares cada una y requerir miles de dólares adicionales para ser eficientes. Los investigadores han afirmado que la calidad y la cantidad del conjunto de datos de entrenamiento utilizado en el desarrollo de estos modelos son muy importantes. 

Los líderes de la industria revelan los asombrosos costos del desarrollo de la IA

Según James Betker de OpenAI, el rendimiento de un modelo depende de los datos de entrenamiento, más que de su diseño o arquitectura. Afirma que los modelos entrenados con grandes conjuntos de datos alcanzarán los mismos resultados. Por lo tanto, los datos son clave para el avance de la tecnología de IA. 

Dario Amodei, director ejecutivo de la empresa de inteligencia artificial Anthropic AI, compartió su perspectiva sobre los aspectos financieros de estos desafíos en el podcast In Good Company. Afirmó que se estima que el entrenamiento de los modelos actuales, como ChatGPT-4, costará alrededor de 100 millones de dólares, y que el entrenamiento de los modelos futuros podría requerir entre 10 000 y 100 000 millones de dólares en los próximos años.

Los modelos de IA generativa, y los creados por grandes empresas, son, en esencia, modelos estadísticos. Por lo tanto, utilizan numerosos ejemplos para predecir los resultados más probables. Kyle Lo, del Instituto Allen de IA (AI2), afirma que la mejora del rendimiento se puede atribuir principalmente a los datos, especialmente cuando el entorno de entrenamiento es consistente. 

La centralización de datos plantea preocupaciones éticas y de accesibilidad

El alto costo de obtener datos de buena calidad está convirtiendo el desarrollo de la IA en un asunto reservado para unas pocas grandes empresas del mundo desarrollado. Esta acumulación de recursos también genera preocupación en cuanto a la disponibilidad de la tecnología de IA y la posibilidad de un uso indebido. 

OpenAI por sí solo ha invertido cientos de millones de dólares en licencias de datos, y Meta ha considerado contratar editores para acceder a ellos. Se prevé una expansión del mercado de datos de entrenamiento de IA, y es probable que los intermediarios de datos se beneficien de esta oportunidad. 

Los problemas surgen de prácticas cuestionables de adquisición de datos. Según los informes, muchas empresas han capturado grandes volúmenes de contenido sin la autorización de sus propietarios, y algunas utilizan datos de diferentes plataformas sin remunerar a los usuarios. Como informamos anteriormente, OpenAI utilizó su modelo de transcripción de audio Whisper para transcribir más de un millón de horas de vídeos de YouTube y optimizar GPT-4.

Las organizaciones trabajan para crear conjuntos de datos de entrenamiento de IA de acceso abierto

Dado que la carrera por la adquisición de datos presenta algunos problemas, se requieren esfuerzos de entidadesdent para que los conjuntos de datos de entrenamiento estén disponibles públicamente. Algunas organizaciones, como EleutherAI y Hugging Face, están creando grandes conjuntos de datos disponibles públicamente para el desarrollo de IA.

El Wall Street Journal destacó recientemente dos posibles estrategias para resolver los problemas de adquisición de datos: la generación generativa de datos y el aprendizaje curricular. Los datos sintéticos se crean utilizando los propios modelos de IA, mientras que el aprendizaje curricular intenta proporcionar a los modelos datos de alta calidad de forma estructurada para que puedan establecer conexiones incluso con menos datos. Sin embargo, ambos métodos aún se encuentran en fase de desarrollo y su eficacia aún no se ha comprobado.