L’intelligenza artificiale generativa e le prestazioni complessive del LLM diventeranno elementi significativi nella misurazione delle prestazioni di CPU e GPU nei prossimi anni. L'ultimo approfondimento di Intel sulla grafica Arc evidenzia le prestazioni LLM della sua attuale scheda grafica di punta Intel Arc A770 da 16 GB per desktop.
3VISUALIZZA GALLERIA – 3 IMMAGINI
La GPU è generalmente disponibile per circa $ 300 e Intel sta confrontando le sue prestazioni AI con la scheda grafica mainstream GeForce RTX 4060 da 8 GB di NVIDIA, che è il suo concorrente di prezzo Team Green più vicino. “Abbiamo esaminato due GPU discrete posizionate in un segmento di prezzo simile”, scrive Intel nel suo rapporto.
Il test di Intel include vari modelli in esecuzione con IPEX-LLM, una libreria LLM per PyTorch. Questa libreria contiene ottimizzazioni per l'hardware Intel e utilizza l'accelerazione XMX AI presente sulle schede grafiche Arc per migliorare le prestazioni. Sul lato GeForce RTX 4060 viene utilizzata CUDA Torch.
Advertisement
Con la compressione del peso INT4, l'esecuzione FP16 e un output massimo di 1024 token, l'Intel Arc A770 da 16 GB surclassa la GeForce RTX 4060 da 8 GB quando si tratta di prestazioni in token al secondo. Nel complesso, le prestazioni sono fino al 70% più veloci sull'Arc A770 rispetto alla GeForce RTX 4060. I risultati includono anche l'ultimo modello Llama3 di Meta, che è interessante. Infatti, tutto l'hardware Intel AI supporta la prossima generazione Llama 3 LLM di Meta.
3Uno dei motivi è che molti modelli di intelligenza artificiale fanno affidamento sulla capacità e sulla velocità della memoria della GPU. Pertanto, i 16 GB di VRAM più veloci dell'Intel Arc A770 sono più adatti ai carichi di lavoro AI rispetto agli 8 GB di VRAM più lenti della GeForce RTX 4060. Naturalmente, le ottimizzazioni e altri fattori spiegano le discrepanze nelle prestazioni, e il CUDA di NVIDIA è ancora ampiamente considerato il sistema aureo.
Advertisement
Tuttavia, si tratta di un risultato impressionante per Intel e, poiché Intel Arc A770 da 16 GB è una delle GPU da 16 GB più convenienti sul mercato con un ampio margine, i progressi dell'intelligenza artificiale di Intel la rendono un'opzione eccellente per coloro che cercano un'intelligenza artificiale potente e conveniente. soluzione.