Modelli AI locali con 16 GB di RAM

Modelli AI locali con 16 GB di RAM

In questa panoramica ho raccolto i modelli AI presenti sulla mia macchina locale,
quelli aggiunti successivamente e il gradino successivo da ricordare per una futura
configurazione con 64 GB di RAM.

Il punto chiave emerso durante le prove è semplice:
non basta guardare la RAM. In un sistema locale conta molto anche la
CPU, perché un modello può anche avviarsi, ma risultare comunque lento
o poco pratico nell’uso quotidiano.

La distinzione fondamentale: modelli chat e modelli embedding

La prima distinzione da fare è tra modelli da chat e
modelli di embedding.

I modelli da chat sono quelli usati per conversazione, spiegazioni, scrittura,
analisi e generazione di testo. I modelli di embedding, invece, non servono per parlare:
servono a trasformare testi e documenti in vettori numerici, utili nella
ricerca semantica, nel retrieval e nei sistemi RAG.

In modo molto semplice:

• chat model = quello che risponde all’utente;
• embedding model = quello che organizza i documenti per la ricerca semantica.

Questa distinzione è importante perché uno degli errori più facili da commettere
è trattare un modello di embedding come se fosse un modello conversazionale.

I modelli già presenti sulla macchina

Al momento, sulla macchina locale risultano presenti questi modelli:

• snowflake-arctic-embed:latest
• qwen3-embedding:8b
• qwen3-embedding:4b
• qwen3-embedding:0.6b
• embeddinggemma:latest
• all-minilm:latest
• qwen3:14b
• gemma4:e4b
• gemma4:e2b

Schema generale dei modelli attuali

Per chiarezza, questi modelli si dividono in due gruppi.

Modelli embedding

• snowflake-arctic-embed:latest
• qwen3-embedding:8b
• qwen3-embedding:4b
• qwen3-embedding:0.6b
• embeddinggemma:latest
• all-minilm:latest

Modelli da chat / generazione testo

• qwen3:14b
• gemma4:e4b
• gemma4:e2b

Come leggere i modelli embedding

I modelli di embedding non vanno valutati in base a quanto “parlano bene”,
ma in base a quanto sono utili per indicizzare e cercare informazioni dentro i documenti.

Questi modelli hanno senso soprattutto in contesti come:

• AnythingLLM;
• RAG;
• ricerca nei documenti;
• similarità semantica;
• ranking e clustering.

I modelli da chat già presenti

I modelli da chat attualmente installati sono tre:
qwen3:14b, gemma4:e4b e gemma4:e2b.

Tra questi, quello che appare più realistico da usare spesso in locale è
gemma4:e2b, perché è più leggero e quindi più vivibile
nell’uso quotidiano.

gemma4:e4b è più ambizioso, ma anche più pesante.
Può essere interessante come qualità, ma richiede più pazienza.

qwen3:14b è uno dei modelli più interessanti da confrontare,
ma è anche quello che tende a diventare più impegnativo in termini di tempo di risposta.
È utile come test e come riferimento, meno come modello principale se si cerca fluidità.

I modelli aggiunti successivamente

Successivamente sono stati lanciati questi comandi:

• docker exec -it ollama ollama pull qwen2.5:14b
• docker exec -it ollama ollama pull mistral-nemo
• docker exec -it ollama ollama pull phi4
• docker exec -it ollama ollama pull gemma2:9b

Questi modelli sono particolarmente interessanti perché permettono un confronto più ampio
nella fascia dei modelli da chat locali.

Uno schema pratico di lettura

Se si vuole leggere l’intero parco modelli in modo semplice, si può riassumere così.

Più realistici da usare spesso

• gemma4:e2b
• gemma2:9b

Da provare molto seriamente

• mistral-nemo
• phi4

Da confronto puro

• qwen2.5:14b
• qwen3:14b
• gemma4:e4b

Da usare per documenti, RAG e retrieval

• all-minilm:latest
• embeddinggemma:latest
• snowflake-arctic-embed:latest
• qwen3-embedding:0.6b
• qwen3-embedding:4b
• qwen3-embedding:8b

Il gradino successivo: la fascia 64 GB di RAM

Il modello successivo da ricordare come salto di fascia è
Qwen3 30B, cioè il riferimento pratico
Qwen3-30B-A3B.

Questo rappresenta il passaggio dalla fascia attuale, in cui i test si muovono soprattutto
tra modelli da 7B a 14B, a una fascia superiore pensata per una macchina con
64 GB di RAM.

In modo ancora più semplice:

• oggi: fascia 7B–14B;
• domani: fascia 30B con 64 GB di RAM.

Conclusione

Il parco modelli locale si divide quindi in due grandi famiglie:
da una parte i modelli di embedding, utili per documenti e retrieval;
dall’altra i modelli da chat, utili per conversazione, analisi, scrittura e codice.

Tra i modelli da chat, quelli che appaiono più vivibili e realistici per uso pratico
sono soprattutto gemma4:e2b, gemma2:9b e probabilmente
mistral-nemo. I modelli da 14B restano molto interessanti come confronto,
ma diventano più impegnativi in termini di tempo e reattività.

Il prossimo riferimento da ricordare, quando si parlerà di una macchina con 64 GB di RAM,
è Qwen3 30B.

Una prova concreta con qwen3:14b

Per avere un riferimento pratico, è stata fatta anche una prova diretta con
qwen3:14b in locale.

In modo sintetico, la domanda posta al modello riguardava tre aspetti:

• una valutazione generale di un HP EliteDesk 800 G5 SFF con CPU Intel di 9ª generazione;
• il limite massimo della RAM supportata dalla scheda madre;
• una valutazione pratica dei modelli Ollama in uso solo CPU, distinguendo tra modelli da chat e modelli di embedding.

La risposta ricevuta è stata solo parzialmente corretta. Il modello ha colto alcuni punti validi,
come il fatto che la CPU rappresenti il vero collo di bottiglia e che i modelli più grandi
risultino difficili da usare in modo fluido. Tuttavia, ha commesso anche un errore importante,
perché ha confuso alcuni modelli di embedding con modelli da chat, trattandoli come se
fossero adatti alla conversazione.

Il dato più interessante della prova è però il tempo di risposta:
1120.975 secondi, cioè circa 18 minuti e 41 secondi,
con una velocità media di 1.53 token al secondo.

Questo test è utile perché mostra in modo concreto la differenza tra un modello che
riesce ad avviarsi e un modello che può essere considerato davvero
pratico da usare ogni giorno.