¿Qué es SLM?
Hemos hablado en varias ocasiones sobre los Large Language Models (LLM) o modelos de lenguaje extenso. Estos son sistemas de inteligencia artificial (IA) desarrollados para leer, interpretar y crear texto imitando la comunicación humana.
Pensemos ahora en una nueva versión, pero de bolsillo. Exploremos los Small Language Models o SLM.
Salesforce nos cuenta que los SLM están adaptados para desarrollar tareas muy específicas. No menos importante, son más económicos de entrenar y mantener. Lo anterior puede brindar mayor eficiencia y eficacia, en comparación con los LLM que suelen ser multipropósito.
En otras palabras, hablamos de un algoritmo de Machine Learning con un conjunto de datos mucho más pequeño y enfocado a la información específica con la que se le haya entrenado.
Algo que sí comparte con los LLM es la imitación de la comunicación humana. Sin embargo, los SLM son más rápidos y precisos gracias a su pequeña arquitectura.
Esta tecnología viene desarrollándose desde 2019 con GPT-2. Son modelos que han evolucionado con los años como Bloom y Galactica —diseñados para múltiples lenguajes y datos científicos— junto con Pythia y Cerebras-GPT, especializados en la codificación y el pensamiento lógico.
Las actualizaciones más recientes están diseñadas para su uso en dispositivos móviles. Empresas como Meta, Google y Microsoft lideran el desarrollo de estos modelos, algunos abiertos al público y otros privados.
¿Cómo funcionan los SML?
De acuerdo con IBM, los modelos de lenguaje pequeños emplean una arquitectura basada en redes neuronales conocida como modelo de transformador.
Es decir, la solicitud que se realice al SML es codificada en representaciones numéricas. Lo anterior permite que dicho mecanismo preste atención a las partes más destacadas de la solicitud. Con esto, el decodificador predice la respuesta más probable y genera un contenido de salida.
Funciona como cualquier algoritmo de IA, solo que comprimido y especializado. ¿Cómo se comprime este modelo de IA?
Poda: elimina parámetros o configuraciones menos cruciales, redundantes o innecesarios.
Cuantificación: convierte los datos de alta precisión en datos menos precisos.
Factorización de bajo rango: descompone una gran matriz de ponderaciones en una matriz más pequeña y de menor rango.
Destilación del conocimiento: hablamos de que un modelo estudiante recibe los conocimientos de un modelo maestro, por lo que sigue los procesos de predicción y respuesta del modelo original. Este es uno de los procesos más usados para un SLM.
¿Qué puede implicar para las empresas los SLM?
Si está decidiendo entre implementar un LLM o un SLM, déjenos contarle algunas de las ventajas de los SLM:
Menores requisitos de uso, lo que es ideal para empresas con recursos limitados en dispositivos pequeños y perimetrales.
Menor tiempo de entrenamiento, mayor tiempo de testeo, implementación y adaptación.
Tras su entrenamiento especializado, brindan una mayor precisión en las respuestas.
Los costos suelen reducirse debido a una menor inversión en recursos computacionales y menos consumo de energía.
Además de los beneficios de los SLM, también debemos contarle un poco de los retos que implica este tipo de tecnologías para las empresas:
Los SLM son mecanismos simples de respuesta, por lo que entender preguntas muy complejas u otorgar respuestas estructuradas puede ser una tarea compleja de completar. Debe entenderse que funcionan para preguntas y respuestas sobre temas específicos.
La capacidad de procesamiento limitada y los datos de entrenamiento más pequeños pueden dar lugar a una precisión reducida y una mayor tasa de errores en tareas que implican razonamientos multifactor, patrones de datos complejos o altos niveles de abstracción.
Los pequeños modelos de lenguaje están diseñados para las respuestas sencillas y rápidas. Pueden tener un rendimiento limitado si se les exige más de lo que tienen determinado.
Un panorama al futuro más claro
Parece quizá algo sacado de la ciencia ficción. Probablemente está imaginando un chip de control mental o similares. Sin embargo, se trata de una tecnología mucho más cotidiana. Podemos encontrarla en nuestros celulares, tablets o altavoces inteligentes. Un buen ejemplo es Alexa.
Estos modelos pueden realizar tareas como el reconocimiento de voz, la predicción de texto y la traducción de idiomas sin depender de la conectividad constante a Internet. Además de ser accesibles, siguen cumpliendo su función de tener un lenguaje ameno.
Resulta más familiar que nunca. Es como un amigo de toda la vida, pero entrenado con las últimas tendencias de la cultura actual y conectada a internet.
Parece ser que estamos en ese momento clave en que permitimos a la tecnología ser parte de nuestras vidas y aprendimos a convivir con ella. ¿Cree que deberíamos alarmarnos o disfrutar de estos nuevos avances?
¡Lo leemos! Cuéntenos si ya conocía sobre las aplicaciones de los SLM y cómo estas puede aportar a su empresa y vida personal.
Recuerde siempre que la clave está en un buen entrenamiento y conocer los límites de su IA. Ella llegó para ayudarnos.