Apri subito Twitter, LinkedIn o qualsiasi blog tecnologico e verrai travolto da una valanga di parole alla moda: TOPS, parametri, motori neurali, LLM. Siamo nel bel mezzo di una gigantesca corsa agli armamenti nell’ambito dell’IA, e i produttori di hardware stanno gridando ai quattro venti chi ha i numeri più alti.
Ma fermiamoci un attimo. Andiamo oltre il clamore del marketing e guardiamo la questione dal punto di vista di chi svolge effettivamente il lavoro: gli sviluppatori, i creatori, i ricercatori. In quest’epoca in cui la potenza di calcolo è in forte crescita, di che tipo di motore di IA abbiamo davvero bisogno sulle nostre scrivanie?
L’illusione del cloud e la realtà locale
Uno o due anni fa, la risposta era semplice: il cloud. Avevamo esternalizzato il lavoro più gravoso alle server farm. Era facile e accessibile. Ma la fase di luna di miele sta volgendo al termine. Tra i rigidi limiti di velocità delle API, l’ansia persistente di caricare codice proprietario dell’azienda su server di terze parti e il lento esborso degli abbonamenti mensili, il consenso del settore sta cambiando rapidamente: dobbiamo eseguire l’IA in locale.
La privacy dei dati non è più un lusso, ma una necessità. E poter accedere ai propri modelli senza alcuna latenza rappresenta una vera e propria rivoluzione per il flusso di lavoro.
Il problema: siamo tornati indietro nel tempo
E allora, come ha reagito il mercato dell’hardware a questa esigenza di IA locale? Fornendoci PC a torre ingombranti e voluminosi.
Per ottenere la potenza necessaria a far funzionare modelli ad alto numero di parametri o a renderizzare scene complesse generate dall’intelligenza artificiale, siamo stati costretti a fare un passo indietro. Stiamo rimettendo sotto le nostre scrivanie monoliti di metallo da 40 libbre. Riscaldano la stanza come una fornace, consumano tantissima energia e fanno un rumore simile a quello di un jet in decollo ogni volta che si esegue un’elaborazione in batch.
Sembra quasi un paradosso: utilizziamo il software più all’avanguardia mai creato, ma lo eseguiamo su hardware che risale a un decennio fa. È davvero il meglio che possiamo fare?
"Cold Thought": la potenza pura non basta
Ecco la cruda e innegabile verità che spesso viene messa in secondo piano nella guerra delle specifiche tecniche: la potenza di calcolo pura (TOPS) è solo metà della storia.
Se avete mai provato a far funzionare un modello linguistico di grandi dimensioni in locale, sapete esattamente dove si trova il vero collo di bottiglia. Non è sempre il processore; è la memoria. È proprio nel trasferimento di enormi set di dati tra la CPU e una scheda grafica dedicata che la magia si inceppa. Potete avere il chip più veloce del mondo, ma se la larghezza di banda della memoria è limitata, è come mettere un motore da Ferrari in un ingorgo stradale. L’IA divora RAM e larghezza di banda a colazione.
Inoltre, ricorrere al brute force per tutto tramite una GPU enorme e ad alto consumo energetico non è una soluzione elegante. Abbiamo bisogno di architetture progettate appositamente per questo scopo: sistemi in cui la CPU, una potente GPU integrata e una NPU (Neural Processing Unit) dedicata lavorino insieme in modo perfettamente integrato, condividendo un’enorme riserva di memoria unificata ultraveloce.
Ridefinire il motore di intelligenza artificiale per desktop
Noi di Minisforum abbiamo osservato con attenzione questo settore e riteniamo che l’industria stia affrontando il problema nel modo sbagliato. Non si dovrebbe dover rinunciare al proprio spazio di lavoro per ottenere le prestazioni di una workstation.
Un vero motore di intelligenza artificiale moderno dovrebbe presentarsi in modo diverso:
Non dovrebbe occupare troppo spazio sulla scrivania: dovrebbe essere elegante, compatto e discreto. Dovrebbe stare tranquillamente sulla scrivania, senza dominarla.
Ci vuole una larghezza di banda “da autostrada”, non solo un’elevata capacità: avere 32 GB o 64 GB di RAM è sicuramente un vantaggio, ma per i carichi di lavoro reali dell’IA occorre una capacità enorme (pensiamo a 128 GB) abbinata a velocità di trasferimento pazzesche. Il muro tra la memoria della CPU e quella della GPU deve essere abbattuto.
Richiede efficienza chirurgica: anziché ricorrere alla potenza di calcolo bruta e generare un calore ingente, necessita di hardware dedicato all’intelligenza artificiale (NPU) per gestire in modo efficiente l’inferenza in background.
Nessun compromesso sulle interfacce I/O: deve potersi collegare a qualsiasi dispositivo. Più monitor 8K, porte di rete ultraveloci e opzioni di espansione ad alta larghezza di banda.
Il futuro è "Dense"
Ci troviamo a un punto di svolta. Il futuro dello sviluppo dell'intelligenza artificiale, del rendering 3D e dei flussi di lavoro creativi non dovrebbe limitarsi a rack di server o a torri gigantesche e rumorose.
La vera rivoluzione hardware non consisterà semplicemente nel stipare un numero maggiore di transistor su una scheda. Riguarderà la densità. Avverrà quando la potenza dell’intelligenza artificiale di livello workstation, autentica e senza compromessi, diventerà compatta, silenziosa ed elegante come un libro con la copertina rigida appoggiato con grazia accanto al monitor.
È proprio questo il tipo di motore di cui abbiamo bisogno. Ed è esattamente questo il futuro che stiamo costruendo.
Lascia un commento
Questo sito è protetto da hCaptcha e sono applicabili l'Informativa sulla privacy e i Termini di servizio di hCaptcha.