Los modelos de lenguaje pequeños (SLM) son considerados la próxima gran innovación en IA

Mientras las empresas invierten grandes sumas de dinero en modelos de lenguaje grandes (LLM), algunos expertos de la industria de la IA creen que los modelos de lenguaje pequeños (SLM) se convertirán en la próxima gran innovación.

Esto ocurre a medida que la actividad en la industria continúa creciendo con la llegada de la temporada festiva, con empresas tecnológicas invirtiendo más fondos para desarrollar su tecnología.

El futuro está en los modelos de lenguaje pequeños

Empresas como xAI, dirigida por el multimillonario Elon Musk, lograron recaudar $5 mil millones adicionales de Andreessen Horowitz, Qatar Investment Authority, Sequoia y Valor Equity Partners, mientras que Amazon invirtió $4 mil millones adicionales en Anthropic, una competidora de OpenAI.

Mientras estas grandes tecnológicas y otras invierten miles de millones de dólares enfocándose en desarrollar grandes LLM para manejar muchas tareas diferentes, la realidad de la IA es que no existe una solución única para todos, ya que hay necesidad de modelos específicos para tareas empresariales.

Según el CEO de AWS, Matt Garman, en un comunicado sobre su asociación e inversiones en expansión, ya hay una respuesta abrumadora de los clientes de AWS que están desarrollando IA generativa impulsada por Anthropic.

Los LLM siguen siendo la opción número uno para la mayoría de las empresas en ciertos proyectos, pero para otros, esta elección puede ser costosa en términos de dinero, energía y recursos informáticos.

Steven McMillan, presidente y CEO de Teradata, quien ha ofrecido un camino alternativo para algunas empresas, también tiene otras opiniones. Es optimista sobre el futuro de los SLM.

“Al mirar hacia el futuro, creemos que los modelos de lenguaje pequeños y medianos, y entornos controlados como los LLM específicos del dominio, proporcionarán soluciones mucho mejores.”

~ McMillan

Los SLM producen salidas personalizadas en tipos específicos de datos, ya que los modelos de lenguaje están específicamente entrenados para ello. Dado que los datos generados por los SLM se mantienen internamente, los modelos de lenguaje se entrenan con datos potencialmente sensibles.

Dado que los LLM consumen mucha energía, las versiones de lenguaje pequeño están entrenadas para escalar tanto el uso informático como el energético según las necesidades reales del proyecto. Con estos ajustes, significa que los SLM son eficientes a un costo menor que los modelos grandes actuales.

Para los usuarios que desean utilizar la IA para conocimientos específicos, existe la opción de LLM específicos del dominio, ya que no ofrecen conocimientos generales. Están entrenados para comprender profundamente solo una categoría de información y responder con mayor precisión, por ejemplo, un CMO frente a un CFO, en ese dominio.

Por qué los SLM son una opción preferida

Según la Asociación de Científicos de Datos (ADaSci), desarrollar completamente un SLM con 7 mil millones de parámetros para un millón de usuarios requeriría solo 55.1 MWh (Megavatios hora).

ADaSci descubrió que entrenar GPT-3 con 175 mil millones de parámetros consumió una estimada de 1,287 MWh de electricidad, y esta energía no incluye el consumo cuando entra oficialmente en uso por el público. Por lo tanto, un SLM utiliza aproximadamente el 5% de la energía consumida al entrenar un LLM.

Los modelos grandes suelen ejecutarse en computadoras en la nube porque utilizan más poder de procesamiento del que está disponible en un dispositivo individual. Esto resulta en complicaciones para las empresas, ya que pierden el control sobre su información a medida que se mueve a la nube, y respuestas lentas a medida que viajan por internet.

Mirando hacia el futuro, la adopción de la IA por parte de las empresas no será una solución única para todos, ya que la eficiencia y la selección de la mejor y menos costosa herramienta para completar tareas estarán en el foco, lo que significa elegir el tamaño correcto del modelo para cada proyecto.

Esto se hará para todos los modelos, ya sea un LLM de propósito general o LLM más pequeños y específicos del dominio, dependiendo de cuál modelo ofrezca mejores resultados, requiera menos recursos y reduzca la necesidad de migrar datos a la nube.

Para la próxima fase, la IA será vital para las decisiones empresariales, ya que el público tiene alta confianza en las respuestas generadas por la IA.

“Cuando piensas en entrenar modelos de IA, deben construirse sobre la base de grandes datos.”

~ McMillan

“Eso es lo que hacemos, proporcionando ese conjunto de datos confiable y luego brindando las capacidades y capacidades analíticas para que los clientes, y sus clientes, puedan confiar en los resultados”, añadió McMillan.

Con la eficiencia y la precisión siendo altamente demandadas en el mundo, los LLM más pequeños y específicos del dominio ofrecen otra opción para entregar resultados en los que las empresas y el público en general pueden confiar.