Blocchi di capacità per ML - Amazon Elastic Compute Cloud
Piattaforme supportateConsiderazioniRisorse correlate

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Blocchi di capacità per ML

I Capacity Blocks for ML consentono di prenotare istanze di elaborazione accelerata basate su GPU in date future per supportare i carichi di lavoro di machine learning (ML) di breve durata. Le istanze eseguite all'interno di un Capacity Block vengono automaticamente posizionate vicine tra loro all'interno di Amazon EC2 UltraClusters, per una rete a bassa latenza, su scala petabit e non bloccante.

Puoi anche utilizzare Capacity Blocks per riservare capacità per Amazon EC2 UltraServers. UltraServers collega più EC2 istanze Amazon all'interno di un'interconnessione acceleratrice a bassa latenza e larghezza di banda elevata. Puoi utilizzarlo UltraServers per gestire i carichi di AI/ML lavoro più intensivi in termini di elaborazione e memoria in ambito di addestramento, ottimizzazione e inferenza. Per ulteriori informazioni, consulta Amazon EC2 UltraServers.

Con Blocchi di capacità puoi vedere quando la capacità dell'istanza GPU sarà disponibile nelle date future e pianificare l'avvio di un blocco di capacità di modo che inizi nel momento più adatto alle tue esigenze. Quando prenoti un blocco di capacità, ottieni una garanzia di capacità prevedibile per le istanze GPU pagando solo per il tempo necessario. Ti consigliamo Capacity Blocks quando GPUs devi supportare i tuoi carichi di lavoro ML per giorni o settimane alla volta e non vuoi pagare una prenotazione mentre le tue istanze GPU non sono in uso.

Di seguito sono elencati alcuni casi d'uso comuni dei blocchi di capacità.

  • Addestramento e messa a punto dei modelli di ML: ottieni un accesso ininterrotto alle istanze GPU che hai prenotato per completare l'addestramento e la messa a punto dei modelli di ML.

  • Esperimenti e prototipi di ML: esegui esperimenti e crea prototipi che richiedono istanze GPU per brevi periodi.

Puoi prenotare un Capacity Block con le seguenti specifiche:

  • Prenota un orario di inizio fino a 8 settimane in anticipo

  • Imposta una durata della prenotazione da uno a 14 giorni o un multiplo di 7 giorni, fino a 182 giorni (esempi: 21 giorni, 28 giorni)

  • Configura fino a 64 istanze per Capacity Block

  • Configura fino a 256 istanze su più blocchi di capacità

Per Amazon EC2 UltraServers, ognuno UltraServer corrisponde a un Capacity Block. Puoi richiederne più di uno UltraServers tramite un'unica richiesta.

Puoi usare Capacity Blocks per prenotare p6-b200p5,p5e,p5en,p4d,p4de,trn1, e trn2 istanze. Puoi acquistare i seguenti UltraServer tipi tramite Capacity Blocks: P6e-GB200 e Trn2 (in anteprima).

Per prenotare un Capacity Block, devi innanzitutto specificare le tue esigenze di capacità, tra cui il tipo o UltraServer il tipo di istanza, il numero di istanze o la quantità di tempo UltraServers, la prima data di inizio e l'ultima data di fine di cui hai bisogno. Quindi, puoi visualizzare un'offerta per un blocco di capacità disponibile che soddisfa le tue specifiche. L'offerta per il blocco di capacità include dettagli come l'ora di inizio, la zona di disponibilità e il prezzo di prenotazione. Il prezzo di un'offerta per un blocco di capacità dipende dalla domanda e dall'offerta disponibili al momento della trasmissione dell'offerta. Dopo la prenotazione, il prezzo di un blocco di capacità non cambia. Per ulteriori informazioni, consulta Prezzi e fatturazione di Blocchi di capacità.

Quando acquisti un'offerta per un blocco di capacità, la prenotazione viene creata per la data e il numero di istanze che hai selezionato. Quando inizia la prenotazione del blocco di capacità, puoi scegliere come destinazione gli avvii delle istanze specificando l'ID di prenotazione nelle richieste di avvio.

Puoi utilizzare tutte le istanze prenotate fino a 30 minuti (per i tipi di istanza) o 60 minuti (per il UltraServer tipo) prima dell'ora di fine del Capacity Block. Dopo 30 minuti (per i tipi di esempio) o 60 minuti (per i UltraServer tipi) rimasti nella prenotazione del Capacity Block, iniziamo a terminare tutte le istanze in esecuzione nel Capacity Block. Utilizziamo questo lasso di tempo per ripulire le istanze prima di consegnare il blocco di capacità al cliente successivo. Emettiamo un evento fino a EventBridge 10 minuti prima dell'inizio del processo di terminazione. Per ulteriori informazioni, consulta Monitora i blocchi di capacità utilizzando EventBridge.

Argomenti

Piattaforme supportate

Capacity Blocks for ML attualmente supporta solo istanze e solo UltraServers con tenancy predefinita. Quando si utilizza la AWS Management Console per acquistare un blocco di capacità, l'opzione di piattaforma predefinita è Linux/UNIX. Quando si utilizza AWS Command Line Interface (AWS CLI) o AWS SDK si acquista un Capacity Block, sono disponibili le seguenti opzioni di piattaforma:

  • Linux/Unix

  • Red Hat Enterprise Linux

  • RHEL con HA

  • SUSE Linux

  • Ubuntu Pro

Considerazioni

Prima di utilizzare i blocchi di capacità, considera i seguenti dettagli e limitazioni.

  • Per i P6e-GB200 UltraServer Capacity Blocks, devi terminare le istanze almeno 60 minuti prima della fine del Capacity Block.

  • Per utilizzare P6e-GB200 UltraServer Capacity Blocks, devi aver aderito alla zona locale di Dallas (Virginia settentrionale).

  • Ogni blocco di capacità può avere fino a 64 istanze e puoi avere fino a 256 istanze tra blocchi di capacità.

  • Puoi descrivere le offerte dei blocchi di capacità che possono iniziare entro 30 minuti.

  • I blocchi di capacità terminano alle 11:30 UTC (tempo coordinato universale).

  • Il processo di terminazione per le istanze in esecuzione in un blocco di capacità inizia alle 11:00 UTC (tempo coordinato universale) dell'ultimo giorno della prenotazione.

  • I blocchi di capacità possono essere prenotati con un orario di inizio fino a 8 settimane nel futuro.

  • Le cancellazioni di Capacity Block non sono consentite.

  • Il blocco di capacità non può essere spostato o diviso.

  • I Capacity Block non possono essere condivisi tra AWS account o all'interno AWS dell'organizzazione.

  • I blocchi di capacità non possono essere utilizzati in un gruppo di prenotazione della capacità.

  • Il numero totale di istanze che possono essere prenotate in Capacity Blocks in tutti gli account AWS dell'organizzazione non può superare le 64 istanze in una data particolare.

  • Per utilizzare un blocco di capacità, le istanze devono avere come destinazione specifica l'ID di prenotazione.

  • Le istanze in un blocco di capacità non vengono conteggiate ai fini dei limiti delle istanze on demand.

  • Per le istanze P5 che utilizzano un'AMI personalizzata, assicurati di disporre del software e della configurazione necessari per EFA.

  • Per i gruppi di nodi gestiti di Amazon EKS, consulta Creare un gruppo di nodi gestiti con Amazon EC2 Capacity Blocks for ML. Per i gruppi di nodi autogestiti di Amazon EKS, consulta Usa blocchi di capacità per ML con nodi autogestiti.

Dopo aver creato un blocco di capacità, puoi compiere le operazioni seguenti con il blocco di capacità:

Per ulteriori informazioni su AWS ParallelCluster, consulta What is AWS ParallelCluster.

Nota

Le dimensioni dei blocchi di capacità pari a 64 istanze non sono supportate per tutti i tipi di istanze in tutte le Regioni AWS.