Lo scorso 30 gennaio, Mistral AI, unicorno francese della GenAI, ha introdotto Small 3, un LLM con 24 miliardi di parametri, dimostrando che per essere performante, un LLM non necessita di un numero astronomico di parametri. Small 3.1, il suo successore, mantiene un'architettura compatta introducendo miglioramenti significativi in termini di prestazioni, comprensione multimodale e gestione di contesti lunghi, superando così modelli come Gemma 3-it 27B di Google e GPT-4o Mini di OpenAI.

Proprio come il suo predecessore, Small 3.1 conta 24 miliardi di parametri e può essere implementato su configurazioni hardware accessibili, come un PC funzionante con un solo GPU RTX 4090 o un Mac con 32 GB di RAM, permettendo alle aziende di mantenere il controllo sui propri dati sensibili senza dipendere da un'infrastruttura cloud centralizzata. La velocità di inferenza è la stessa: 150 token al secondo, garantendo una latenza minima per le applicazioni che richiedono risposte immediate. Fedele al suo impegno per l'open source, Mistral AI offre entrambi i modelli sotto licenza Apache 2.0, permettendo così alla comunità di usarli, affinarli e implementare per vari casi d'uso.

Fonte: Mistral AI

Ottimizzazione delle prestazioni

Sebbene Small 3.1 si basi su Small 3, uno dei progressi maggiori risiede nell'espansione della finestra contestuale da 32.000 a 128.000 token, un vantaggio essenziale per i compiti che implicano un ragionamento su lunghe sequenze di testo. Mentre Mistral Small 3 si concentrava principalmente sul testo, la versione 3.1 migliora l'interpretazione delle immagini e dei documenti, posizionandosi favorevolmente rispetto ai modelli proprietari di piccole dimensioni e aprendo la porta a varie applicazioni, che vanno dal controllo qualità industriale al riconoscimento documentale fino all'analisi automatica di immagini mediche.
Mistral Small 3.1 è disponibile in due formati:
  • Una versione istruita, Mistral Small 3.1 Instruct, pronta per essere utilizzata per compiti conversazionali e di comprensione del linguaggio;
  • Una versione pre-allenata, Mistral Small 3.1 Base, ideale per il fine-tuning e la specializzazione su ambiti specifici (sanità, finanza, giuridico, ecc.).
La versione Instruct è uno dei migliori modelli della sua categoria, superando i suoi concorrenti nei benchmark che richiedono ragionamento e comprensione contestuale. Secondo i benchmark condivisi da Mistral AI:
  • Small 3.1 Instruct mostra prestazioni migliori rispetto a Gemma 3-it (27B) di Google in compiti testuali, multimodali e multilingue;
  • Supera GPT-4o Mini di OpenAI in benchmark come MMLU, HumanEval e LongBench v2, grazie alla sua finestra contestuale estesa a 128.000 token;
  • Supera anche Claude-3.5 Haiku in compiti complessi che coinvolgono contesti lunghi e dati multimodali;
  • Eccelle rispetto a Cohere Aya-Vision (32B) in benchmark multimodali come ChartQA e DocVQA, dimostrando una comprensione avanzata dei dati visivi e testuali;
  • Small 3.1 mostra alte prestazioni nel multilinguismo, superando i suoi concorrenti in categorie come le lingue europee e asiatiche.
Mistral Small 3.1 può essere scaricato sulla piattaforma Huggingface e testato sulla Piattaforma di Mistral AI. È anche disponibile su Google Cloud Vertex AI e sarà proposto su NVIDIA NIM nelle prossime settimane.

Tradotto da Mistral AI lance Mistral Small 3.1 : une nouvelle référence pour l'IA open source ?

Per capire meglio

Che cos'è un LLM (Large Language Model) in termini di tecnologia e funzionamento?

Un LLM è un modello di intelligenza artificiale progettato per comprendere e generare linguaggio naturale. È composto da miliardi di parametri regolati attraverso l'apprendimento su grandi quantità di testo per prevedere la parola successiva in una frase. I LLM sono utilizzati per applicazioni come la traduzione automatica, il riassunto di testi e gli agenti conversazionali.

Che cos'è la licenza Apache 2.0 e perché è importante per i progetti open source?

La licenza Apache 2.0 è una licenza software open source che consente agli utenti di apportare modifiche significative e utilizzare il software per scopi commerciali o privati concedendo brevetti. È importante perché garantisce che i contributi rimangano liberi e accessibili, stimolando l'innovazione e l'adozione di nuove tecnologie.