Dettagli sugli aggiornamenti dell'intelligenza artificiale di Google all'infrastruttura cloud • The Register

Aug 10, 2023

Cloud Next Google si concentra fortemente sull'intelligenza artificiale al Cloud Next di quest'anno, con una serie di progetti hardware, inclusi aggiornamenti TPU, opzioni GPU e una serie di strumenti software per far funzionare tutto.

Alla prima versione di persona dell'evento da prima della pandemia, tenutasi nell'enorme Moscone Center di San Francisco, Google ha rivelato dettagli sul suo Cloud TPU v5e, l'ultimo dei suoi acceleratori AI Tensor Processing Unit, oltre a istanze di macchine virtuali basate su dalle GPU Nvidia H100.

I TPU sono il silicio personalizzato di Google per accelerare l'apprendimento automatico e il servizio Cloud TPU si basa sul framework di apprendimento automatico TensorFlow dell'azienda oltre ad altri framework, tra cui Jax e PyTorch.

Il suo precedente chip AI, TPU v4, è stato ufficialmente rilasciato nel 2021, sebbene il colosso della ricerca lo avesse testato diversi anni prima.

Con Cloud TPU v5e, Google afferma di aver raddoppiato le prestazioni di formazione per dollaro e 2,5 volte le prestazioni di inferenza per dollaro su modelli linguistici di grandi dimensioni (LLM) e intelligenza artificiale generativa, rispetto a Cloud TPU v4.

Il gigante del cloud utilizza i motori TPUv4 per fare inferenza per il proprio motore di ricerca e le piattaforme di pubblicazione di annunci.

Google offrirà otto diverse configurazioni di macchine virtuali, che vanno da un chip TPU a oltre 250 all'interno di una singola fetta.

Non è solo una questione di hardware, ovviamente. Si stanno concentrando su una maggiore scalabilità per la gestione di grandi carichi di lavoro AI in Cloud TPU v5e con una funzionalità chiamata Multislice. Attualmente in anteprima, è stato sviluppato per consentire agli utenti di scalare i modelli oltre i confini di un singolo pod in TPU per comprendere decine di migliaia di chip TPU, se necessario. In precedenza, i lavori di formazione erano limitati a una singola fetta di chip TPU.

Mirate anche a carichi di lavoro AI impegnativi come gli LLM sono le istanze di macchine virtuali A3 di Google che hanno otto GPU Nvidia H100, doppi processori scalabili Intel Xeon di quarta generazione e 2 TB di memoria. Queste istanze sono state annunciate per la prima volta al Google IO a maggio, ma ora saranno disponibili il mese prossimo.

Con i miglioramenti nella larghezza di banda della rete dovuti a un adattatore di rete di offload e Nvidia Connective Communications Library (NCCL), Google prevede che le macchine virtuali A3 forniranno una spinta agli utenti che desiderano creare modelli di intelligenza artificiale sempre più sofisticati.

Google Next ha anche fornito dettagli su GKE Enterprise, descritto come un'edizione premium del servizio gestito Google Kubernetes Engine (GKE) dell'azienda per carichi di lavoro containerizzati.

L'edizione GKE Enterprise, che sarà disponibile in anteprima dall'inizio di settembre, presenta una nuova funzionalità multi-cluster che consente ai clienti di raggruppare carichi di lavoro simili insieme come "flotte" e applicare configurazioni personalizzate e criteri di protezione in tutta la flotta, ha affermato Google.

Questa edizione include funzionalità di sicurezza gestite, tra cui approfondimenti sulle vulnerabilità dei carichi di lavoro, governance e controlli delle policy, oltre a una rete di servizi gestiti. Con le funzionalità tratte dalla piattaforma Anthos di Google, l'azienda afferma che l'edizione GKE Enterprise può abbracciare scenari ibridi e multi-cloud per consentire agli utenti di eseguire carichi di lavoro container su altri cloud pubblici e on-premise, nonché su GKE.

Inoltre, GKE ora supporta sia Cloud TPU v5e che le istanze di macchine virtuali A3 con GPU H100 per carichi di lavoro AI impegnativi, ha affermato Google.

Sempre in tema di intelligenza artificiale, Google sta apportando aggiunte alla sua offerta Google Distributed Cloud (GDC), oltre a hardware aggiornato per supportare l'estensione on-premise alla sua piattaforma cloud.

Le tre nuove offerte di intelligenza artificiale e dati sono le integrazioni Vertex AI, AlloyDB Omni e Dataproc Spark. Le integrazioni Vertex portano Vertex Prediction e Vertex Pipelines su GDC Hosted, anche se saranno disponibili solo in anteprima a partire dal secondo trimestre del 2024.

AlloyDB Omni è un nuovo motore di database gestito, che offre il doppio della velocità di PostgreSQL per carichi di lavoro transazionali e attualmente disponibile in anteprima.

Dataproc Spark è un servizio gestito per l'esecuzione di carichi di lavoro di analisi sotto Apache Spark, che si afferma offra agli utenti costi inferiori rispetto alla distribuzione di Spark da soli. Sarà disponibile in anteprima dal Q4.