Se promociona que los modelos de lenguaje pequeño (SLM) serán la próxima gran novedad en IA

Mientras las empresas están invirtiendo dinero en modelos de lenguaje grandes (LLMs), algunos expertos de la industria en el sector de IA creen que los modelos de lenguaje pequeños (SLMs) se convertirán en la próxima gran novedad.

Esto ocurre a medida que la actividad en la industria continúa creciendo a medida que se acerca la temporada festiva y las empresas tecnológicas invierten más fondos para desarrollar su tecnología.

El futuro está en los pequeños modelos de lenguaje

Empresas como xAI, dirigida por el multimillonario Elon Musk, lograron recaudar 5.000 millones de dólares adicionales de Andreessen Horowitz, Qatar Investment Authority, Sequoia y Valor Equity Partners, mientras que Amazon invirtió 4.000 millones de dólares adicionales en Anthropic, un rival de OpenAI.

Si bien estas grandes empresas tecnológicas y otras están invirtiendo miles de millones de dólares enfocándose en desarrollar grandes LLM para manejar muchas tareas diferentes, la realidad de la IA es que no existe una solución única para todos, ya que existe la necesidad de modelos específicos para tareas para las empresas.

Según Matt Garman, director ejecutivo de AWS, en un comunicado sobre su asociación y sus inversiones en expansión, ya hay una respuesta abrumadora de los clientes de AWS que están desarrollando IA generativa impulsada por Anthropic.

Para la mayoría de las empresas, los LLM siguen siendo la opción número uno para ciertos proyectos, pero para otras, esta opción puede resultar costosa en términos de costos, energía y recursos informáticos.

Steven McMillan, presidentedent director ejecutivo de Teradata, quien ha ofrecido una alternativa para algunas empresas, también tiene otras opiniones. Está convencido de que el futuro está en los SLM.

“De cara al futuro, creemos que los modelos lingüísticos pequeños y medianos y los entornos controlados, como los LLM de dominio específico, ofrecerán soluciones mucho mejores”

~ McMillan

Los SLM generan resultados personalizados con tipos de datos específicos, ya que los modelos de lenguaje están específicamente entrenados para ello. Dado que los datos generados por los SLM se almacenan internamente, los modelos de lenguaje se entrenan con datos potencialmente sensibles.

Dado que los LLM consumen mucha energía, las versiones reducidas de los idiomas se entrenan para adaptar tanto el consumo de energía como el de computación a las necesidades reales del proyecto. Con estos ajustes, los SLM son eficientes a un menor costo que los modelos grandes actuales.

Para quienes desean usar la IA para obtener conocimientos específicos, existe la opción de LLMs , ya que no ofrecen un conocimiento amplio. La IA está capacitada para comprender en profundidad solo una categoría de información y responder con mayor precisión, por ejemplo, un CMO frente a un CFO, en ese dominio.

Por qué los SLM son una opción preferida

Según la Asociación de Científicos de Datos (ADaSci), desarrollar completamente un SLM con 7 mil millones de parámetros para un millón de usuarios requeriría solo 55,1 MWh (megavatios hora).

ADaSci descubrió que entrenar GPT-3 con 175 mil millones de parámetros consumió aproximadamente 1287 MWh de electricidad, sin contar la energía que consume cuando entra oficialmente en funcionamiento. Por lo tanto, un SLM utiliza aproximadamente el 5 % de la energía que consume entrenar un LLM.

Los modelos grandes suelen ejecutarse en computadoras en la nube porque consumen más potencia de procesamiento de la que jamás podría estar disponible en un dispositivo individual. Esto genera complicaciones para las empresas, ya que pierden el control de su información al migrarla a la nube y lentitud en la respuesta al viajar por internet.

De cara al futuro, la adopción de IA por parte de las empresas no será una solución única, ya que la eficiencia y la selección de la herramienta mejor y menos costosa para completar las tareas serán el foco, lo que significa elegir el modelo del tamaño adecuado para cada proyecto.

Esto se hará para todos los modelos, ya sea un LLM de propósito general o LLM más pequeños y específicos del dominio, dependiendo de qué modelo brinde mejores resultados, requiera menos recursos y reduzca la necesidad de migrar datos a la nube.

Para la siguiente fase, la IA será vital para las decisiones comerciales, ya que el público tiene gran confianza en las respuestas generadas por la IA.

“Cuando pensamos en entrenar modelos de IA, estos deben construirse sobre la base de datos de gran calidad”

~ McMillan

“De eso se trata: de brindar ese conjunto de datos confiables y luego brindar las capacidades y capacidades analíticas para que los clientes, y sus clientes, puedan confiar en los resultados”, agregó McMillan.

Como la eficiencia y la precisión tienen una gran demanda en el mundo, los LLM más pequeños y específicos del dominio ofrecen otra opción para entregar resultados en los que las empresas y el público en general pueden confiar.