Dialogo con Gemini.
Quale piattaforma non i386 o AMD64 suggerisci per Ollama su Ubuntu 24.04 anche ARM ?
Il mercato cinese su AliExpress offre opzioni molto particolari sia sul fronte ARM (Ubuntu aarch64) sia su piattaforme x86 ricondizionate da data-center o architetture emergenti RISC-V.
1. Piattaforme ARM su AliExpress AliExpress
Sul fronte ARM esistono due scenari contrapposti:
- SBC / Schede integrate ARM (es. Rockchip RK3588, Orange Pi 5 Max 16GB, Radxa):
- Costo: 120 € – 180 €
- Comportamento per Ollama: Eseguono Ubuntu ARM nativamente. Supportano modelli ultraleggeri (1.5B – 3B) o modelli 7B/8B quantizzati a 4-bit, ma generano appena 2 – 3 token/s. Hanno poca RAM (max 16/32 GB LPDDR) e banda di memoria ridotta. Sono adatte solo a prototipi edge o micro-agenti, non per un uso server interattivo.
- Server Enterprise ARM64 (Ampere Altra / Altra Max):
- Costo: Le schede madri e CPU Ampere Altra (32, 64 o 80 core ARM Neoverse N1) su AliExpress si trovano in formato combo (es. schede Supermicro/Gigabyte) tra i 900 € e i 1.500 €.
- Comportamento per Ollama: Offrono 8 canali DDR4/DDR5 ECC con banda elevatissima e supporto a centinaia di gigabyte di RAM. Ubuntu ARM si installa senza problemi e l’inferenza CPU è molto solida (10–15 token/s su 70B), ma il costo complessivo d’ingresso è nettamente superiore a quello di un EPYC x86 usato.
2. Le schede cinesi “Machinist / Huananzhi” (Intel Xeon x86 ricondizionati)
È la categoria a più basso costo assoluto su AliExpress per ottenere configurazioni multi-channel:
| Piattaforma | Componenti Combo AliExpress | Costo Totale | Canali RAM / Banda |
|---|---|---|---|
| Kit Dual LGA 2011-3 (X99) | Scheda Dual Socket + 2x Xeon E5-2680/2696 v4 + 64/128 GB DDR4 ECC | ~180 € – 250 € | Quad-Channel per socket (~100–120 GB/s) |
| Kit Singolo/Dual LGA 3647 (C621) | Scheda cinese + 1x/2x Xeon Gold/Silver (Skylake/Cascade Lake-SP) + 128 GB | ~350 € – 500 € | Hexa-Channel (6 canali) (~130–150 GB/s) |
| Kit AMD SP3 (Huananzhi / Jginyue) | Scheda SP3 cinese + AMD EPYC 7302/7402 + 128 GB DDR4 RDIMM | ~380 € – 500 € | Octa-Channel (8 canali) (~200 GB/s) |
- Vantaggi: Costo imbattibile per gigabyte di RAM (le memorie DDR4 RDIMM costano pochissimo su AliExpress).
- Limiti e Rischi:
- BIOS rudimentali (gestione energetica e sleep spesso assenti, curve ventole fisse).
- VRM economici che richiedono ventilazione forzata continua nel case.
- Assenza di garanzia europea e tempi di spedizione con rischio dazi doganali.
3. Piattaforme RISC-V (SOPHGO / Milk-V)
Se per componenti RPC intendi le schede e SoC basati su RISC-V a 64 core (come la scheda Milk-V Pioneer con chip SOPHGO SG2042):
- Prezzo: Molto elevato (oltre 1.200 € – 1.800 € solo la scheda). AliExpress
- Stato per Ollama: Ottime per ricerca accademica e sviluppo del kernel Linux, ma il set di istruzioni vettoriali (
RVV) nel software di inferenza LLM (llama.cpp) è ancora in fase di maturazione rispetto al consolidato ecosistema x86 (AVX2/AVX-512) e ARM (NEON/SVE).
Quadro comparativo
| Tipo di Piattaforma | Esempio AliExpress | Costo Indicativo | Esperienza Ollama |
|---|---|---|---|
| ARM SBC Compatto | Orange Pi 5 Max 16GB | 130 € – 160 € | Modelli piccoli (3B), lentissimo su 8B (2-3 t/s) |
| ARM Server (Ampere) | Ampere Altra 64c Combo | 1.000 € – 1.500 € | Ottima su modelli 70B, ma costosa |
| x86 Dual Xeon X99 | Dual E5-2696v4 + 128 GB | 220 € – 280 € | Economica, consumi alti, ~4-6 t/s su 70B |
| x86 EPYC SP3 (Cinese) | Scheda SP3 + EPYC 7302 + 128 GB | 400 € – 480 € | Miglior compromesso costo/banda Octa-Channel |
Se vuoi sperimentare spendendo il meno possibile con acquisti da AliExpress, il bundle SP3 con EPYC 7302 o un bundle Dual Xeon LGA 3647 a 6 canali rappresentano i punti di equilibrio più concreti tra costo della RAM e throughput per Ollama su Ubuntu.
Vuoi una stima dettagliata dei consumi elettrici di queste piattaforme server economiche?Sì
Si grazie
Confronto Consumi Energetici: Desktop AM5 vs EPYC SP3 vs Dual Xeon
Quando si valuta una macchina server accesa continuativamente (H24) o usata per sessioni prolungate di calcolo locale, i consumi in Idle (a riposo) e durante l’inferenza con Ollama variano in modo significativo a seconda dell’architettura e del numero di componenti attivi.
Tabella Comparativa dei Consumi (Misurati alla presa)
| Piattaforma | Configurazione Tipica | Consumo in Idle (A riposo) | Consumo Inferenza Ollama | Note sui Componenti |
|---|---|---|---|---|
| PC Desktop AM5 | Ryzen 7 7700X + RTX 3060 + 32 GB DDR5 | ~45 – 60 W | ~140 – 180 W (modelli 8B su GPU) | Gli stati di risparmio energetico (C-States) desktop sono molto efficienti. Durante l’inferenza lavora solo la GPU (~110-130W). |
| Server Singolo EPYC SP3 | EPYC 7302 (16c) + 8×16 GB DDR4 RDIMM (Octa-Ch) | ~65 – 85 W | ~190 – 240 W (CPU all-core AVX2) | Il controller BMC/IPMI resta sempre attivo; 8 moduli RDIMM assorbono ~15-20W costanti solo per mantenere la memoria attiva. |
| Server Dual Xeon (LGA 2011-3 / 3647) | 2x Xeon E5 v4 o Gold + 8-12x DDR4 RDIMM | ~95 – 140 W | ~260 – 380 W (Doppia CPU in carico AVX2) | Le schede madri cinesi spesso disabilitano i C-States profondi (C6/C7). Due socket raddoppiano le perdite dei VRM. |
Dettaglio dei Comportamenti
1. Desktop AM5 + RTX 3060 (Il più efficiente per query rapide)
- In Idle: La GPU entra in sleep profondo (assorbe circa 8–12 W), la CPU Ryzen scende sotto i 20 W.
- Sotto carico Ollama: Poiché l’inferenza avviene quasi interamente nei Tensor/CUDA Core della RTX 3060, la CPU rimane quasi a riposo (carico 5–10%). L’assorbimento complessivo della macchina raramente supera i 170 W.
2. AMD EPYC 7302 (Octa-Channel DDR4)
- In Idle: Assorbe di più rispetto al desktop a causa del chip BMC (ASPEED AST2500/2600), delle linee PCIe enterprise sempre attive e degli 8 banchi di memoria registrata.
- Sotto carico Ollama: Con 16 core e 32 thread impegnati al 100% nei calcoli vettoriali AVX2 di
llama.cpp, il processore satura il suo TDP di 155 W. Sommati a RAM e perdite di conversione, il sistema si stabilizza attorno ai 200–220 W.
3. Dual Xeon di recupero (X99 / C621 da AliExpress)
- In Idle: È la configurazione più penalizzante. Molti firmware cinesi hanno una gestione ACPI/C-State elementare, mantenendo le tensioni dei core e dell’Uncore elevate anche in assenza di carico.
- Sotto carico Ollama: Il carico scalare su due CPU separate con comunicazione inter-socket (QPI/UPI) porta i consumi vicino o oltre i 300 W, richiedendo anche una dissipazione rumorosa.
Impatto Economico su Base Annua (Server 24/7)
Ipotizzando un costo medio dell’energia elettrica in Italia di 0,25 € / kWh in scenario home-server acceso 24/7 con utilizzo intermittente (20h idle + 4h carico al giorno):
- Desktop AM5 + RTX 3060: ~600 kWh/anno → ~150 € / anno
- AMD EPYC 7302 (1P): ~900 kWh/anno → ~225 € / anno
- Dual Xeon (X99/C621): ~1.400 kWh/anno → ~350 € / anno
Il sistema Desktop AM5 offre i costi operativi più bassi per uso misto. Se serve una macchina per modelli pesanti su CPU, il singolo socket EPYC SP3 rimane di gran lunga più efficiente e gestibile rispetto a qualsiasi soluzione Dual Xeon usata.