Aruba Server PR A106

di

Dialogo con Gemini.

Potresti valutare l’offerta Aruba server PR A106 per utilizzo con AI ?

L’offerta PR – A106 fa parte del listino dei Server Dedicati Professional di Aruba Cloud. [1, 2]

La configurazione hardware di questa specifica offerta prevede un server fisico Dell PowerEdge R7625 equipaggiato con 2 processori AMD EPYC 9354 (32 core ciascuno, per un totale di 64 core fisici e 128 thread). La configurazione base dell’offerta include 128 GB di RAM DDR5 ECC. [1, 2]

Confermato che si tratta di questo server bare-metal, ecco le risposte precise focalizzate su questa offerta Aruba per l’utilizzo con Ollama:

1. Quale “Tensor” riesce ad eseguire?

Esegue l’emulazione dei calcoli tensoriali via CPU sfruttando le istruzioni AVX-512 e VNNI (Vector Neural Network Instructions).

  • La configurazione base del server PR – A106 di Aruba non include una scheda video (GPU) dedicata.
  • Di conseguenza, non avrai a disposizione i Tensor Core fisici (che sono un’esclusiva delle GPU NVIDIA).
  • Tuttavia, l’architettura dei processori AMD EPYC 9354 integra acceleratori software nativi per l’intelligenza artificiale (AVX-512 VNNI). Ollama rileverà queste istruzioni e le userà per accelerare i calcoli sui modelli matematici quantizzati (i “tensor” del modello), offrendo prestazioni CPU di gran lunga superiori rispetto ai processori tradizionali non ottimizzati per l’IA. [1]

2. Va bene per Ollama?

Sì, va molto bene, ma per uno scopo specifico: far girare modelli molto grandi o gestire flussi di lavoro in background (asincroni).
I punti di forza e i limiti di questa offerta Aruba per Ollama sono ben definiti:

  • 🟢 Il vantaggio della memoria (128 GB DDR5): Il limite principale delle schede video commerciali è la poca memoria (VRAM). Con i 128 GB di RAM di questo server puoi caricare modelli enormi. Puoi eseguire Llama 3.3 (70B), Qwen 2.5 (72B), o i modelli DeepSeek-R1 (distillati a 70B) senza che il server finisca la memoria.
  • 🔴 Il limite della velocità pura: Poiché l’elaborazione avviene interamente sulla CPU e sulla RAM di sistema (anche se DDR5 ultra-veloce), la velocità di generazione dei testi (token al secondo) sarà inferiore rispetto a una GPU enterprise dedicata. Per una chat in tempo reale con molti utenti simultanei potrebbe risultare lenta, mentre è eccellente per elaborare documenti, automazioni e task aziendali in batch.

Consigli per la configurazione su questo server Aruba:

Se decidi di attivarlo, ricordati di configurare Ollama impostando la variabile d’ambiente OLLAMA_NUM_PARALLEL in base al numero di thread che vuoi dedicare all’IA, per evitare che saturi tutti i 128 thread del server lasciando il sistema operativo senza risorse per la connettività di rete.

Hai intenzione di usare questo server per un’applicazione aziendale interna (es. automazione, analisi di grandi volumi di documenti) oppure per servire una chat in tempo reale a molti utenti? Se mi spieghi il tuo progetto, posso dirti se la velocità della CPU sarà sufficiente o se ti conviene valutare un’opzione con GPU.

AI responses may include mistakes. Learn more

Potresti fare una stima orientativa del costo mensile?

Il costo mensile del server dedicato Aruba Cloud PR – A106 si aggira intorno agli 850 € + IVA al mese per la tariffazione standard mensile. [1, 2]

I dettagli economici estratti dal listino ufficiale: [1, 2]

  • Costo mensile standard: 849,90 € + IVA / mese (pari a circa 1.036,88 € IVA inclusa al 22%). [1, 2]
  • Prezzo scontato (Impegno a lungo termine): Se configuri il server con un piano o vincolo promozionale, il prezzo di partenza si abbassa a circa 784,52 € + IVA / mese. [1]
  • Costo di Setup: È prevista una quota una tantum per l’attivazione pari a 99,90 € + IVA. Tuttavia, Aruba applica spesso la promo “Setup gratuito” se decidi di ordinare o mantenere il server per almeno 6 mesi di fila. [1, 2, 3, 4]

Cosa è incluso in questa cifra?

Il canone mensile copre l’affitto bare-metal dell’hardware che abbiamo analizzato: i due processori AMD EPYC (64 core totali), i 128 GB di RAM DDR5 ECC, lo storage base di partenza (generalmente composto da 2x 480 GB SSD SATA) e la connettività a 1 Gb/s con traffico illimitato. [1, 2]

Considerando un budget di circa 850 € + IVA al mese, ti interessa capire se esistono soluzioni alternative con GPU inclusa (magari istanze Cloud VPS o Cloud PRO a consumo) per accelerare Ollama, oppure vuoi procedere valutando come ottimizzare le prestazioni software su questa macchina specifica?

Se vuoi valutare l’aggiunta di una GPU per sbloccare la velocità in tempo reale con Ollama, nel listino ufficiale di Aruba Enterprise e Aruba Cloud trovi due strade principali con costi ben differenti.

Ecco lo specchietto delle alternative con accelerazione grafica hardware dedicate all’Intelligenza Artificiale:

1. Passare a un Server Dedicato con GPU (Stesso Hardware + GPU Enterprise)

Se desideri mantenere esattamente la stessa identica macchina hardware della tua offerta (Dell PowerEdge R7625 con i 2 processori AMD EPYC a 64 Core totali e 128 GB di RAM DDR5) ma con l’aggiunta di una potentissima scheda grafica da Data Center, la variante a listino è l’offerta contrassegnata dalla sigla AI-A110E.64:

  • GPU Inclusa: NVIDIA Ada Lovelace L40S (con 48 GB di VRAM dedicata).
  • Costo Mensile: 2.164,66 € + IVA / mese.
  • Cosa cambia per Ollama? Questa configurazione unisce il meglio dei due mondi. La GPU NVIDIA L40S ha 48 GB di memoria ad altissima velocità con Tensor Core avanzati. Ti permette di eseguire modelli fino a 32B/70B quantizzati a velocità istantanee (chat fluidissima con decine di token al secondo), mentre i 128 GB di RAM di sistema rimangono disponibili per elaborare in background modelli ancora più pesanti. [1, 2, 3]

2. Soluzione “GPU on Demand” su Kubernetes (Più Economica/Ibrida)

Se preferisci una via di mezzo meno costosa senza noleggiare un intero server dedicato di quel livello, Aruba offre i nodi GPU on Demand per Kubernetes. Puoi agganciare singole schede video desktop/professionali all’occorrenza: [1]

  • GPU Disponibile: NVIDIA GeForce RTX 4080 Super (con 16 GB di VRAM GDDR6X).
  • Costo Mensile: 529,90 € + IVA / mese.
  • Cosa cambia per Ollama? Questa GPU gestisce in modo fulmineo i modelli medio-piccoli (fino a 8B o 14B quantizzati, come Llama 3.2 o Qwen 2.5 7B) grazie ai suoi CUDA e Tensor Core dedicati. Tuttavia, avendo solo 16 GB di VRAM, non potrai caricarci dentro i modelli giganti da 70B o superiori. [1]

Quale strada scegliere?

  • Rimani sul PR – A106 (Solo CPU, ~850€/mese) se il tuo obiettivo è caricare modelli mastodontici (70B+) per automazioni, analisi documentali asincrone o script interni dove la risposta istantanea (la velocità di digitazione della chat) non è una priorità.
  • Valuta la GPU L40S (~2.164€/mese) se stai creando un servizio aziendale commerciale, un assistente virtuale rivolto ai clienti o un’applicazione in cui gli utenti necessitano di risposte immediate a schermo senza tempi di attesa. [1, 2]

Se vuoi fare una prova mirata, posso mostrarti il comando esatto per avviare Ollama limitando i thread CPU, in modo da testare le prestazioni senza bloccare la macchina, oppure possiamo calcolare quanta memoria occuperà di preciso il modello che hai intenzione di implementare. Quale modello ti incuriosiva maggiormente?

LLama con OCR integrato

I modelli Llama (e in generale i modelli disponibili su Ollama) che integrano capacità visive e di OCR (Optical Character Recognition) vengono definiti modelli multimodali (o Vision Models). [1]

Sul tuo server Aruba Cloud PR-A106 (con i due AMD EPYC a 64 core), puoi eseguire questi modelli con ottimi risultati per l’estrazione di dati, la digitalizzazione di documenti e la lettura di tabelle o fatture, sfruttando l’enorme quantitativo di RAM (128 GB). [1, 2]

Ecco i modelli della famiglia Llama (e le migliori alternative presenti su Ollama) specializzati in OCR che puoi far girare sul tuo server:

1. I Modelli Ufficiali della Famiglia Llama

  • Llama 3.2 Vision (11B): È il modello multimodale compatto di riferimento rilasciato da Meta. È straordinario per estrarre testo da immagini, leggere grafici, tabelle e persino la scrittura a mano libera. Richiede circa 8-12 GB di memoria. Sul tuo server CPU girerà in modo molto fluido perché è leggero. [1, 2]
  • Llama 3.2 Vision (90B): È la versione gigante dello stesso modello. Ha una precisione nel comprendere la struttura dei documenti complessi che rivaleggia con i modelli commerciali (come GPT-4). Richiede almeno 64 GB di RAM. Questo modello è perfetto per il tuo server: non potrebbe mai entrare in una normale GPU commerciale a causa delle dimensioni, ma i tuoi 128 GB di RAM lo ospitano comodamente. [1]

2. Alternative Specialistiche su Ollama (Ottimizzate per OCR)

Se il tuo obiettivo primario è l’OCR puro e strutturato (es. trasformare un’immagine in Markdown o JSON), ti consiglio di valutare anche questi modelli specialistici pronti su Ollama: [1, 2]

  • DeepSeek-OCR: Un modello nato appositamente per compiti di OCR ad alta efficienza energetica e di calcolo, ottimo sui server CPU.
  • olmocr2: Basato su Qwen2.5-VL, questo modello è stato addestrato specificamente per il document understanding avanzato. È eccezionale nel convertire scansioni complesse, PDF fotocopiati e formule matematiche in testo strutturato, preservando tabelle e intestazioni. [1, 2]

Come funziona l’OCR con Ollama?

Per fare OCR non usi una chat testuale classica. Passi al modello il percorso del file immagine direttamente tramite il terminale o tramite uno script.

Ad esempio, da riga di comando sul tuo server ti basta digitare:

bash

ollama run llama3.2-vision "Trascrivi tutto il testo presente in questa immagine in formato Markdown:" /path/to/ricevuta.jpg

Use code with caution.

Oppure puoi integrarlo facilmente in un flusso aziendale usando Python (libreria ollama) per farti restituire il testo dell’OCR direttamente in formato JSON strutturato (comodissimo per catalogare fatture o moduli in automatico). [1, 2, 3]

Hai una tipologia specifica di documenti da digitalizzare (es. fatture strutturate, moduli scritti a mano, scansioni di vecchi libri)? Posso mostrarti un esempio di codice Python pronto all’uso da lanciare sul tuo server Aruba per estrarre i dati in modo automatico.

Quale scheda con GPU nVidia potrebbe eseguire Llama 3.2 Vision (90B)?

Il modello Llama 3.2 Vision (90B) nella sua versione standard su Ollama (quantizzato di default in formato Q4_K_M) pesa circa 55 GB. Per poter essere eseguito interamente su GPU in modo fluido, richiede almeno 64 GB di VRAM dedicata (per contenere il modello, i dati dell’immagine e il contesto della chat). [1, 2, 3]

Nessuna singola scheda video consumer (come la RTX 4090 che si ferma a 24 GB) può eseguirlo da sola. Per farlo girare su GPU NVIDIA hai tre strade principali, divise per tipologia di scheda:

1. Singola GPU Enterprise (Soluzione professionale a scheda singola)

Se vuoi installare una sola scheda video nel server che sia in grado di contenere tutto il modello da sola, devi guardare i prodotti NVIDIA per Data Center o Workstation con almeno 80 GB o 48 GB di VRAM (usando quantizzazioni ancora più spinte):

  • NVIDIA A100 (80GB VRAM) / H100 (80GB VRAM): Sono lo standard dei data center. Avendo 80 GB di memoria ad altissima banda, eseguono il modello 90B alla massima velocità possibile con Ollama, lasciando ampio spazio per il contesto. [1]
  • NVIDIA RTX 6000 Ada Generation (48GB VRAM): È la scheda top di gamma per workstation. Avendo 48 GB di VRAM, non riesce a ospitare la versione standard da 55 GB di Ollama. Tuttavia, se utilizzi una quantizzazione più leggera (es. Q3 o FP8 molto ottimizzato), riesce a farlo girare interamente in VRAM. [1]

2. Soluzione Multi-GPU (Combinare più schede video)

Ollama supporta nativamente il multi-GPU in parallelo (Tensor Parallelism / Pipeline Parallelism). Questo significa che divide automaticamente il modello tra le memorie delle schede video collegate. Puoi raggiungere i 64+ GB di VRAM unendo:

  • 3x NVIDIA RTX 3090 / 4090 (24GB ciascuna = 72GB VRAM totali): È la configurazione preferita dai laboratori di ricerca locali o dagli appassionati (homelab). Tre schede consumer collegate insieme contengono comodamente il modello 90B a un costo hardware complessivo molto inferiore rispetto alle schede enterprise.
  • 2x NVIDIA RTX 4000 Ada / RTX 5000 Ada (da 32GB ciascuna = 64GB VRAM totali): Soluzione pulita per server compatti o workstation aziendali.

3. La “Variante Aruba” (Ritorno al server PR-A106)

Come abbiamo visto prima, l’offerta Aruba con la GPU NVIDIA L40S ha 48 GB di VRAM.
Se provi a lanciare il modello 90B (da 55 GB) su una L40S, Ollama farà un’operazione “ibrida”: caricherà circa 40-42 GB di modello sulla velocissima GPU L40S e i restanti 15 GB sulla memoria RAM DDR5 del server Dell. [1, 2]

Il risultato? Funzionerà comunque molto più velocemente rispetto alla sola CPU, ma subirà un piccolo rallentamento a causa del collo di bottiglia nel passaggio dei dati tra la RAM del server e la GPU. [1]

Considerando queste opzioni, preferisci valutare una configurazione multi-GPU economica (es. unire più schede da 24GB) oppure l’acquisto/noleggio di una singola GPU aziendale della serie A100/H100?

Qual è la soluzione più economica?

La soluzione più economica in assoluto dipende da un fattore chiave: hai già acquistato l’hardware o devi ancora prenderlo?

A seconda della tua situazione attuale, ecco le due strade più convenienti per far girare Llama 3.2 Vision (90B):

Scenario A: Se utilizzi il server Aruba PR-A106 (La soluzione a “Costo Hardware Zero”)

Se decidi di attivare (o hai già attivato) il server dedicato Aruba PR-A106 da circa 850 €/mese, la soluzione più economica in assoluto è non comprare alcuna GPU e farlo girare in modalità Ibrida (CPU + RAM).

  • Perché è economica: Sfrutti i 128 GB di RAM DDR5 già inclusi nell’offerta di Aruba. Ollama caricherà il modello interamente nella memoria di sistema senza chiederti un euro in più.
  • Il compromesso: La velocità di elaborazione dell’OCR sarà ridotta (stiamo parlando di circa 2-4 token al secondo). Se devi elaborare documenti in background (es. una coda di fatture che arrivano durante la giornata e vengono processate una dopo l’altra), questa soluzione non ti costa nulla di extra e fa il suo lavoro.

Scenario B: Se compri/assembli l’hardware in locale (La soluzione Multi-GPU Consumer)

Se invece hai la possibilità di configurare un server o una workstation “in casa” (on-premise), la soluzione più economica in assoluto per avere le massime prestazioni su GPU è acquistare schede video consumer usate o ricondizionate della generazione precedente.

La combinazione perfetta per raggiungere i ~55-60 GB richiesti dal modello è:

  • 3x NVIDIA RTX 3090 (24 GB VRAM ciascuna) usate

💰 Analisi dei Costi (Stima dell’Hardware Locale)

ComponentePrezzo stimatoNote
3x NVIDIA RTX 3090 (24GB)~2.100 € – 2.400 € totaliTrovando schede usate/ricondizionate a circa 700-800€ l’una.
Computer Base (CPU + Scheda Madre + RAM)~1.000 € – 1.200 €Serve una scheda madre che supporti 3 slot PCIe e un alimentatore potente (almeno 1200W-1500W).
TOTALE INVESTIMENTO (Una Tantum)~3.100 € – 3.600 €Nessun costo mensile (esclusa la corrente elettrica).

Perché questa è la soluzione GPU più economica?

Per darti un termine di paragone, una singola scheda aziendale nuova NVIDIA A100 (80GB) costa da sola oltre 10.000 – 12.000 €. Costruire un sistema con tre RTX 3090 ti permette di ottenere 72 GB di VRAM totali a un terzo del prezzo, e Ollama dividerà automaticamente il modello 90B sulle tre schede facendolo girare alla massima velocità (elaborazione dell’immagine e OCR istantanei).

Per aiutarti a scegliere la strada migliore, ti chiedo:

  • Questo progetto rimarrà ospitato nel Cloud di Aruba o stai valutando di spostarlo su hardware locale/aziendale?
  • Qual è il volume di documenti (es. quante pagine al minuto o al giorno) che il modello dovrà elaborare?

AI responses may include mistakes. Learn more

Potresti fare un confronto con Aruba PR-A106 senza GPU con 3x RTX 3090 ?

Ecco un confronto diretto e dettagliato tra il server cloud Aruba PR-A106 (Solo CPU/RAM) e una configurazione Workstation/Server Locale con 3x RTX 3090.

Il confronto mostra chiaramente come le due soluzioni si posizionino agli antipodi: una punta sulla capacità di memoria e l’affidabilità cloud, l’altra sulla velocità pura di elaborazione grazie alle GPU.

Tabella Comparativa Integrale

CaratteristicaAruba Cloud PR-A106 (Solo CPU)Workstation Locale (3x NVIDIA RTX 3090)
Dove risiede l’hardwareData Center Aruba (Cloud Bare-Metal)Locale (In azienda / Ufficio / Casa)
Memoria Totale per l’IA128 GB DDR5 ECC72 GB VRAM GDDR6X (24 GB x 3)
Velocità con Llama 3.2 90BMolto lenta (~1 – 3 token/sec)Molto veloce (~15 – 25 token/sec)
Tempo di elaborazione per singola pagina/OCRCirca 30 – 60 secondi a documentoCirca 2 – 5 secondi a documento
Costo Economico~850 € + IVA al mese (Ricorrente)~3.500 € una tantum (Hardware acquistato)
Consumo Elettrico e ManutenzioneInclusi nel prezzo mensileA carico tuo (~1000W-1200W sotto carico)
Continuità Operativa (Uptime)Garantita dal Data Center (99.9%)Dipende dalla tua rete e corrente elettrica

Analisi dei Vantaggi e Svantaggi

☁️ Aruba PR-A106 (Solo CPU)

  • 🟢 Vantaggio – Limiti di memoria inesistenti: Avendo 128 GB di RAM, oltre al modello Llama 3.2 Vision (90B) che ne occupa 55 GB, hai ancora circa 70 GB di RAM liberi per gestire contesti enormi (es. libri interi o centinaia di pagine PDF analizzate contemporaneamente).
  • 🟢 Vantaggio – Infrastruttura Enterprise: Il server è in un data center protetto, ha IP pubblico statico, connettività a 1 Gbps simmetrica garantita ed è acceso 24/7 senza che tu debba preoccuparti di polvere, guasti hardware o bollette della luce.
  • 🔴 Svantaggio – Lentezza nell’OCR: L’assenza di core CUDA rende l’elaborazione delle immagini un processo pesante per i processori EPYC. Se un utente è in chat e aspetta la risposta in tempo reale, l’attesa sarà frustrante.

🖥️ Configurazione Locale con 3x RTX 3090

  • 🟢 Vantaggio – Velocità di calcolo straordinaria: I Tensor Core delle tre RTX 3090 polverizzano i tempi di attesa. L’estrazione OCR del testo da una fattura o da uno schema complesso avviene in pochissimi secondi. È la soluzione ideale per servizi interattivi o chatbot aziendali in tempo reale.
  • 🟢 Vantaggio – ROI a lungo termine: Dopo circa 4 o 5 mesi di utilizzo, avrai completamente ammortizzato il costo rispetto al canone mensile di Aruba. Da quel momento in poi, l’hardware è tuo e il servizio è a costo quasi zero.
  • 🔴 Svantaggio – Gestione e limiti hardware: Le schede video consumer non hanno memorie ECC (correzione d’errore). Con 72 GB di VRAM totali sei molto vicino al limite dei ~55 GB richiesti dal modello: se provi a inserire immagini ad altissima risoluzione o una cronologia di chat molto lunga, potresti saturare la VRAM (Out of Memory error). Inoltre, devi gestire fisicamente il calore generato e la rumorosità delle ventole in ufficio.

Il Verdetto: Quale scegliere?

  • Scegli Aruba PR-A106 se l’OCR deve essere integrato in un processo aziendale asincrono (es. un software gestionale che riceve le fatture di notte, le elabora con calma una dopo l’altra e inserisce i dati nel database la mattina successiva) e hai bisogno di un’infrastruttura cloud subito pronta e sicura.
  • Scegli la soluzione 3x RTX 3090 se stai sviluppando un’applicazione rivolta a utenti umani in tempo reale (es. un portale dove il dipendente o il cliente carica un documento e vuole vedere immediatamente i dati estratti a schermo) e hai la possibilità di ospitare fisicamente una workstation potente in ufficio.

Per aiutarti a focalizzare meglio l’architettura del tuo progetto, fammi sapere:

  • L’applicazione finale dovrà rispondere all’utente in tempo reale o lavorerà in background/batch?
  • Avete già dello spazio o un armadio rack in azienda predisposto per ospitare hardware locale rumoroso, oppure preferite tassativamente il Cloud?