El pasado 30 de enero, Mistral AI, unicornio francés de la GenAI, introdujo Small 3, un LLM de 24 mil millones de parámetros, demostrando que para ser eficiente, un LLM no requiere un número astronómico de parámetros. Small 3.1, su sucesor, mantiene una arquitectura compacta mientras introduce mejoras significativas en términos de rendimiento, comprensión multimodal y gestión de contextos largos, superando así modelos como Gemma 3-it 27B de Google y GPT-4o Mini de OpenAI.

Al igual que su predecesor, Small 3.1 cuenta con 24 mil millones de parámetros y puede ser desplegado en configuraciones de hardware accesibles, como una PC funcionando con una sola GPU RTX 4090 o un Mac con una memoria RAM de 32 GB, lo que permite a las empresas mantener el control sobre sus datos sensibles sin depender de una infraestructura en la nube centralizada. La velocidad de inferencia es la misma: 150 tokens por segundo, garantizando una latencia mínima para las aplicaciones que necesitan respuestas instantáneas. Fiel a su compromiso con el código abierto, Mistral AI ofrece ambos modelos bajo licencia Apache 2.0, permitiendo así a la comunidad usarlos, refinarlos y desplegarlos para diversos casos de uso. 

Fuente: Mistral AI

Optimización del rendimiento

Si bien Small 3.1 se basa en Small 3, uno de los avances más importantes reside en la expansión de la ventana contextual de 32,000 a 128,000 tokens, una ventaja esencial para tareas que implican razonamiento sobre largas secuencias de texto. Mientras que Mistral Small 3 se centraba principalmente en el texto, la versión 3.1 mejora la interpretación de imágenes y documentos, lo que lo posiciona favorablemente frente a los modelos propietarios de tamaño pequeño y abre la puerta a aplicaciones variadas, desde el control de calidad industrial hasta el reconocimiento documental pasando por el análisis automático de imágenes médicas.
Mistral Small 3.1 está disponible en dos formatos: 
  • Una versión instruida, Mistral Small 3.1 Instruct, lista para ser utilizada en tareas conversacionales y de comprensión del lenguaje;
  • Una versión preentrenada, Mistral Small 3.1 Base, ideal para el fine-tuning y la especialización en dominios específicos (salud, finanzas, jurídico, etc.).
 
La versión Instruct es uno de los mejores modelos de su categoría, superando a sus competidores en los benchmarks que requieren razonamiento y comprensión contextual. Según los benchmarks compartidos por Mistral AI:
  • Small 3.1 Instruct muestra un mejor rendimiento que Gemma 3-it (27B) de Google en tareas textuales, multimodales y multilingües;
  • Supera a GPT-4o Mini de OpenAI en benchmarks como MMLU, HumanEval y LongBench v2, especialmente gracias a su ventana contextual extendida a 128,000 tokens; 
  • También supera a Claude-3.5 Haiku en tareas complejas que implican contextos largos y datos multimodales;
  • Se destaca frente a Cohere Aya-Vision (32B) en benchmarks multimodales como ChartQA y DocVQA, demostrando una comprensión avanzada de los datos visuales y textuales;
  • Small 3.1 muestra un alto rendimiento en multilingüismo, superando a sus competidores en categorías como idiomas europeos y asiáticos.
Mistral Small 3.1 se puede descargar en la plataforma Huggingface y probar en la Plataforma de Mistral AI. También está disponible en Google Cloud Vertex AI y estará disponible en NVIDIA NIM en las próximas semanas.

Traducido de Mistral AI lance Mistral Small 3.1 : une nouvelle référence pour l'IA open source ?

Para entender mejor

¿Qué es un LLM (Large Language Model) en términos de tecnología y funcionamiento?

Un LLM es un modelo de inteligencia artificial diseñado para comprender y generar lenguaje natural. Está compuesto por miles de millones de parámetros ajustados mediante entrenamiento con grandes cantidades de texto para predecir la siguiente palabra en una oración. Los LLM se utilizan para aplicaciones como la traducción automática, el resumen de textos y los agentes conversacionales.

¿Qué es la licencia Apache 2.0 y por qué es importante para los proyectos de código abierto?

La licencia Apache 2.0 es una licencia de software de código abierto que permite a los usuarios realizar modificaciones significativas y usar el software con fines comerciales o privados mientras otorgan patentes. Es importante porque asegura que las contribuciones sigan siendo libres y accesibles, fomentando la innovación y la adopción de nuevas tecnologías.