O que é um Centro de Dados de IA? [Vídeo e Quiz]

Resposta curta: Um data center de IA é um de alta densidade onde a energia, a refrigeração, a infraestrutura e o armazenamento são concebidos para treinar e fornecer modelos, e não uma sala de servidores com GPUs extra. Os chips são os protagonistas; o edifício é que determina se funcionam. Se as imagens não puderem ser transferidas, adapte uma small cell; a maioria das equipas deveria alugar um espaço.

Principais conclusões:

Chips versus infraestrutura: A energia, a refrigeração, a estrutura e o armazenamento determinam se os aceleradores funcionam.

Espaços, não palácios: Adapte dois bastidores quando os dados não podem sair; não compre um campus.

Média versus mediana: Em oito execuções, a mediana ocultou as reinicializações; utilize a média de 18 horas.

Resistência ao uso indevido: Não informe o valor de PUE para dois bastidores num salão misto.

Resultados ilustrativos: Oito execuções representam um mapa pequeno, e não uma poupança de produção de 50%.

Artigos que você pode gostar de ler depois deste:

🔗 A IA é fiável? Vídeo e quiz.
Explore a fiabilidade da IA ​​através de um vídeo envolvente e de um quiz interativo.

🔗 Como utilizar a IA no dia a dia
Descubra formas práticas pelas quais a IA pode simplificar as tarefas e rotinas diárias.

🔗 Como utilizar a IA no trabalho
Aprenda formas práticas de utilizar a IA para aumentar a produtividade no local de trabalho.

🔗 A IA consegue pensar por si própria?
Perceba se a inteligência artificial pode realmente pensar de forma independente ou raciocinar.

Em que difere de um centro de dados "normal"

Os data centers tradicionais estão otimizados para cargas de trabalho mistas e tempo de atividade em vários serviços de pequena dimensão. Preocupa-se com a redundância, claro, e com o PUE enquanto conceito — a energia extra que o edifício consome para fornecer um watt de poder computacional. Normalmente, não se projeta cada corredor em torno de um bastidor que se comporta como uma central de aquecimento portátil.

Os sites de IA invertem as proporções. A densidade aumenta. A rede torna-se um tecido sem o qual o treino não pode prosseguir. O armazenamento precisa de manter os pontos de controlo em movimento, ou os aceleradores ficam ociosos, como os cavalos de corrida num engarrafamento.

Existe também uma diferença cultural. As operações empresariais pensam em termos de tickets e janelas de mudança. As operações de IA pensam em filas de tarefas e na má sensação que se sente quando um nó falha no final de uma longa execução. Acho que ainda podemos chamar a ambos "data centers", porque são. O rótulo apenas esconde a infraestrutura.

Não se trata de uma classificação moral. Máquinas diferentes, mesmo apelido.

GPUs, aceleradores e o rack que consome energia

Ao caminhar por um piso elevado tradicional, as estantes parecem quase discretas. Ao percorrer uma fila de estantes com sistema de domótica, estas parecem querer engolir o edifício.

O hardware que se destaca não é um CPU sofisticado. É a bandeja de aceleradores: GPUs ou outros chips de IA, agrupados em servidores, depois em bastidores e, por fim, em filas que partilham uma malha de elevada largura de banda. As interligações de GPUs interligam os chips em algo que pode simular um acelerador gigante; a malha de clusters faz o mesmo à escala de fileira. O treino paralelo só funciona se estas ligações permanecerem robustas e previsíveis. Sem isso, o seu "cluster" torna-se um amontoado de estações de trabalho caras que partilham o mesmo código postal.

A potência segue os chips. Não se trata de um PDU de escritório volumoso. Megawatts de carga de TI quando um salão está cheio — não vou inventar um número. A densidade por rack é a reviravolta. Menos racks. Cada um deles, uma pequena fornalha. O fator limitante é muitas vezes a subestação, não a lista de desejos de GPUs. Sabe como é: o departamento de compras quer mais aceleradores; a empresa de energia quer uma conversa longa e um cheque bem gordo.

Uma metáfora um tanto absurda da qual não me consigo livrar: o rack é um animal faminto. Pode criar um mais rápido. Ainda assim, precisa de o alimentar e ainda precisa de limpar o aquecedor. Se negligenciar qualquer um destes aspetos, torna-se um peso de papel muito caro.

Energia, calor e o problema da refrigeração

A eletricidade entra. Calor sai. Essa é toda a essência da religião.

As estantes de alta densidade dissipam o calor de uma forma que o ar nunca foi realmente concebido para fazer. É possível aumentar a circulação de ar — permutadores de calor na porta traseira, corredores mais quentes, sistemas de contenção inteligentes — e isto funciona até certo ponto. Mas aí entra o líquido:

• Arrefecimento direto no chip

• Circuitos de refrigeração que fazem com que a sala de máquinas pareça uma fábrica de produtos químicos

• Imersão em alguns designs, que ainda surpreendem as pessoas que pensam que a água e os servidores não devem partilhar uma frase

Nada disto é glamoroso. Tudo isto faz parte do produto, porque um acelerador que limita a potência é algo que já pagou e não pode utilizar em pleno.

O PUE ainda importa. É uma proporção, não uma característica pessoal. Os operadores dão-lhe prioridade porque cada watt gasto em ventoinhas e bombas é um watt que não foi para a GPU. Não vou referir um valor "típico"; o clima e a definição dos limites podem alterá-lo, e uma precisão falsa é pior do que nenhuma. A água também entra nesta história. Algumas plantas bebem-se aos poucos. Outras consomem em excesso. O arrefecimento evaporativo é eficiente até que um rio ou uma seca o tornem um problema político.

Redes: porque é que a estrutura é tão importante como os chips

As pessoas fotografam as GPUs. Deviam fotografar os switches.

O treino é uma conversa. Milhares de aceleradores a trocar gradientes, parâmetros e fragmentos de um modelo, em perfeita sincronia. Se a rede oscilar, todo o processo fica paralisado no troço mais lento. É por isso que os centros de IA se preocupam tanto com redes de alta largura de banda, baixa latência e topologias que não se desfazem quando uma ligação falha. Redes do tipo InfiniBand, Ethernet a desempenhar a mesma função, interligações de GPUs dentro do próprio dispositivo, cablagem que necessita de ser perfeita desde o início.

A inferência é um assunto à parte. O processamento de modelos preocupa-se com a latência de cauda — a resposta lenta, não a média. A distinção entre processamento em batch e em tempo real define a personalidade de cada um. Um cluster de treino necessita de um fluxo de dados amplo, coletivo e abrangente. Já uma frota de servidores de serviço necessita de muitos pedidos mais pequenos e isolamento, sem congestionamento no balanceador de carga.

O que não percebi, enquanto aqui estou: as pessoas tratam a rede elétrica como canalização e os snacks como o restaurante. Neste edifício, a canalização é o restaurante. Ignore isso e compra uma cozinha que não consegue receber entregas.

Treino versus inferência: dois edifícios, por vezes literalmente

O treino é uma verdadeira campanha. Monta um cluster, alimenta-o com dados, cria pontos de verificação religiosamente, executa durante horas ou semanas e reza para que a infraestrutura se mantenha estável. É um processo de processamento em batch intenso, que consome muita largura de banda e exige uma paciência silenciosa — até que um nó com falhas comprometa a execução. Um único acelerador inoperacional num trabalho com elevada dependência entre nós pode paralisar todo o processo.

A inferência é como uma montra. Modelos já treinados, agora a responder a perguntas, a classificar imagens, a gerar texto. A latência importa. Um acelerador um pouco mais antigo perto do cliente pode ser melhor do que um sofisticado a um continente de distância.

Assim, surge uma divisão. Os campi de formação priorizam o poder, o espaço e a densidade. Os centros de inferência priorizam a latência e a presença. Também existem espaços híbridos, porque o capital não é infinito. Bem, nem sempre são dois edifícios. Por vezes, um único espaço com uma área restrita e dois circuitos de refrigeração.

É também aqui que a colocation, os campus de hiperescala e a infraestrutura local se bifurcam. Os hiperescaladores constroem em escalas que fazem com que o resto de nós pareça que estamos apenas a organizar móveis. Os fornecedores de colocation vendem densidade por rack. A infraestrutura local ainda existe quando os dados não podem sair do campus.

Taxa de transferência de armazenamento, pontos de verificação e chips exigentes

Ninguém coloca o sistema de ficheiros paralelos na capa do folheto.

Os dados de treino precisam de chegar rápido o suficiente para que as GPUs não fiquem ociosas. Os checkpoints precisam de ser guardados para que uma falha não comprometa uma semana inteira. Os pesos do modelo precisam de ser carregados antes de uma réplica de serviço estar ativa. A taxa de transferência de armazenamento — e não apenas a capacidade — é o estrangulamento silencioso. Pode gastar uma fortuna em aceleradores e sobrecarregá-los com um array otimizado para máquinas virtuais.

O padrão é familiar: um cluster brilhante, uma fila de tarefas e uma espera de E/S encarando como uma fatura inconveniente. Agrupar a computação sem agrupar o caminho de dados é o que leva a uma ociosidade muito dispendiosa. Mantenha os chips alimentados ou admita que comprou uma escultura.

Software, orquestração e a pouco glamorosa camada de operações

O hardware é a celebridade. Os programadores fazem o trabalho.

Um data center de IA é inútil se as tarefas não conseguirem encontrar GPUs, se duas equipas não puderem partilhar um cluster sem quezílias, se um rank com defeito não puder ser substituído, se o firmware sofrer derrapagens até que a infraestrutura falhe em câmara lenta. Orquestração, observabilidade, limitação de energia — a camada operacional pouco glamorosa, que é a forma como se sabe que tudo isto importa.

Tenho um carinho especial por esta camada. Além disso, quando uma placa de rede mal configurada simula um problema de arrefecimento durante uma tarde inteira... descobre-se isso da pior forma possível.

Quando um nó falha durante a execução

Um nó falha. As janelas de alteração ainda colidem com as execuções de treino que ignoram o seu calendário. Agenda grandes tarefas em conjunto, isola os pools de inferência e escreve runbooks para falhas que parecem "a tarefa está lenta" até parecerem "a tarefa falhou". A redundância ainda importa — energia, refrigeração, caminhos, armazenamento —, mas o modo de falha é menos organizado do que o antigo slide de 90% de disponibilidade. Inferência: réplica, esvaziar o nó com problemas, continuar a responder. O treino exige checkpoints, não otimismo.

Localização, água, rede elétrica e vizinhos

Não se instala uma destas perto de uma casa de campo só pela vista.

A ligação à rede elétrica é muitas vezes o verdadeiro processo de seleção do local. O terreno é fácil em comparação com uma subestação e uma concessionária de serviços públicos que servem outros clientes. A água para refrigeração, se utilizada, torna-se um problema para os vizinhos assim que a chuva começa a aparecer. Ruído. Impacto visual. Calor junto à vedação divisória. Os comités de planeamento revelam as suas opiniões sobre "a nuvem" no momento em que esta necessita de um campo e de um rio.

A latência puxa no sentido oposto. A inferência beneficia da proximidade com os utilizadores e das interligações. A formação pode ser realizada em mercados de energia mais baratos e climas mais amenos. A indústria fala como se existisse um local perfeito. Não existe. Existe um meio-termo, que se resolve com um comunicado de imprensa.

Calor residual e a fornalha indesejada

Os folhetos adoram esta parte. Canalizar o calor residual para habitações, piscinas, estufas; é uma frase bonita. Por vezes, o circuito de aquecimento do distrito é genuíno. Por vezes, o campus está no lugar errado e o calor ainda assim dissipa-se no ar. Sou cético em relação à versão do folheto; não sou cético em relação à física.

Quem precisa de um (e quem deve alugar em vez disso)?

A maioria das pessoas não precisa de ser proprietária de um destes salões.

A lista sem rodeios:

• Hiperescaladores, porque o produto é a frota

• Nos laboratórios, quando o tempo de espera na fila é o ponto de estrangulamento ou os dados não conseguem sair, podemos fazê-lo

• Um banco, grupo hospitalar, governo ou fabricante com um conjunto de dados secreto — seja em infraestrutura própria ou num data center privado — pode ser racional, mesmo que seja trabalhoso

Todos os outros deveriam alugar. Colocation com densidade ideal para IA. Uma reserva na nuvem. Um cluster gerido. Obtém os aceleradores sem ter de se tornar um operador de usina elétrica. O encanto dissipa-se na primeira vez que alguém pergunta quem está de serviço para o circuito de refrigeração às 3 da manhã.

Admito que há um certo orgulho envolvido. Ser proprietário do cluster dá a sensação de possuir os meios de previsão. Depois chega a conta da luz e o orgulho desaparece.

Para que serve o edifício?

Então, o que é um Data Center de IA? É um campus especializado de alta densidade onde aceleradores, energia, refrigeração, infraestrutura e armazenamento são organizados em torno da formação e da execução de modelos — não se trata de TI de uso geral com um GPU num canto. Parece um armazém. Funciona como uma central elétrica que realiza cálculos matemáticos.

Se não se lembrar de mais nada: os chips ficam com a fama; a subestação, o fluido refrigerante e a rede decidem se estes chips foram uma boa ideia. O treino e a inferência podem partilhar o mesmo teto; ainda assim, exigem diferentes formas. A maioria das organizações deveria alugar. Algumas deveriam construir. Os vizinhos vão reparar de qualquer maneira.

A nuvem sempre teve um edifício. Hoje em dia, o edifício tem opiniões.

Exemplo prático: Uma célula de treino com duas grelhas, onde as imagens não podem sair

Cenário

Tomos é o responsável pela infraestrutura da Kestrel Precision, um fabricante com 400 colaboradores em West Midlands. Já têm um pequeno espaço dedicado a servidores locais: ERP, partilha de ficheiros, máquinas virtuais, o ambiente misto com que este artigo começou. Refrigeração a ar. Ethernet comum. Uma SAN perfeitamente adequada para discos de escritório.

A equipa de visão computacional precisa de treinar um modelo de inspeção em destiladores de fábrica. Os destiladores não podem sair do local. Mostram um processo que a empresa não disponibilizará num servidor na cloud, nem mesmo num servidor privado. A solução do departamento de compras consiste em quatro servidores com aceleradores duplos e um slide intitulado "o nosso centro de dados de IA". Os servidores serão instalados em dois bastidores existentes, uma vez que existe espaço disponível, e o espaço era o principal fator limitante.

Não é. Em duas semanas, as GPUs parecem estar ocupadas e, de repente, deixam de funcionar silenciosamente. Os trabalhos tornam-se extremamente lentos quando um ponto de verificação é atingido no SAN. Um nó falha à décima primeira hora e a execução simplesmente... desaparece. A Tomos não deixou de comprar chips. Comprou um monte de estações de trabalho caras, todas no mesmo código postal. O edifício era ainda um centro empresarial.

Não precisam de um campus, de uma nova subestação ou de um rio. Precisam de uma pequena célula que se comporte como um centro de dados de IA em miniatura: energia que os bastidores realmente suportem, dissipação de calor sem danificar os chips, uma rede que comunique o processo de treino, armazenamento capaz de gerar um ponto de verificação e um manual de procedimentos para quando um nó falha. Como as imagens não podem ser transferidas, alugar um data center a quarenta minutos de distância não é a solução. A solução é adaptar dois bastidores.

Do que a célula necessita

• Um orçamento energético medido nesta linha, a partir das PDUs, e não da lista de desejos das GPUs. Se a capacidade ociosa não for suficiente para alimentar os quatro servidores sob carga de formação, a conversa termina aí e consideram um data center com maior densidade de servidores, e não um milagre

• Nunca foi exigido o arrefecimento do ar com esta densidade: permutadores de calor na porta traseira, se o pavilhão os suportar, ou um pequeno circuito de líquido, se houver espaço. Caso contrário, os servidores não são instalados

• Uma malha dedicada de alta largura de banda entre os quatro nós, e não a rede Ethernet do escritório. Se o fornecedor tiver apenas um switch de 10 Gb no catálogo, não se trata de um cluster

• Armazenamento local rápido para pontos de verificação e fragmentos de formação, não para o SAN da VM

• Um agendador, um intervalo de ponto de verificação e um caminho de reinicialização escrito. O hardware é a estrela. Esta camada é o trabalho

• Uma caixa de inferência isolada para a linha de produção, separada da comunicação de treino, porque o processamento exige latência de cauda e isolamento, e não uma comunicação coletiva

• Permissão para registar o consumo de energia, os clocks da GPU, os eventos de throttling e o tempo real de execução das tarefas. Se não puderem inspecionar estes dados, fotografarão as GPUs e não verificarão os switches

Exemplo de instrução

Tomos descreve-o no relatório de instalações, em linguagem simples:

Não lhe chamem campus de IA. Construam uma célula de formação de dois bastidores no salão existente para quatro servidores com aceleradores duplos. As imagens de fábrica permanecem no local. O sucesso será: os quatro nós completarem uma receita de treino e inspeção de 12 épocas sem limitação térmica, gravarem um ponto de verificação em minutos, e não em dezenas de minutos, e retomarem a partir desse ponto de verificação quando interrompemos um processo intencionalmente. O arrefecimento deve manter as GPUs nas suas frequências de treino. A rede deve ser uma malha partilhada por estes quatro servidores, e não um caminho através da infraestrutura do escritório. O armazenamento deve alimentar os chips. Se os permutadores de calor com portas traseiras não couberem, digam isso e parem. Não informem um PUE para dois racks num salão misto. Esse número seria apenas para inglês ver.

Em seguida, inclui isso no próprio treino:

Faça checkpoint a cada 30 minutos no pool rápido local. Se um jogador perder o jogo, reinicie a partir do último checkpoint completo. Não espere no SAN. Não continue a treinar enquanto os relógios estiverem a zero devido ao calor. Registe a ocorrência e pare para que possamos ver a avaria.

Uma boa hora parece isto: todas as oito GPUs com clocks de treino, ficheiro de checkpoint guardado, tarefa ainda em sincronia. Uma má hora parece isto: ventoinhas a toda a velocidade, clocks reduzidos, checkpoint com 2% gravado ao fim de dez minutos, e alguém no escritório a dizer "o cluster está a funcionar". Funcionar não significa treinar.

Como testar

Elaboram o teste antes da adaptação, que é precisamente o objetivo de não confiar numa demonstração.

• A mesma receita de 12 épocas, as mesmas 120.000 amostras de inspeção, oito produções

• O tempo é o tempo real até à conclusão de uma receita, incluindo qualquer reinicialização, medido desde o envio da tarefa até ao último ponto de verificação da época 12

• Uma nota sobre o aquecimento: as frequências da GPU permanecem na meta de treino durante toda a execução. Um evento de throttling é considerado uma falha, mesmo que a tarefa seja concluída eventualmente

• Uma análise do armazenamento: tempo de gravação do ponto de verificação, mediana e pior tempo, a partir do registo de tarefas

• Uma análise detalhada do processo: o trabalho não está em espera coletiva enquanto houver pessoas suficientes. Se não conseguem ver essa espera, a instrumentação não é feita

• Em duas das oito partidas, um jogador perde a classificação num ponto específico, propositadamente, para testar o caminho de reinício

• A inferência é um teste separado de 200 imagens, desde a linha de produção até à área de serviço delimitada. O sucesso na formação não conta como sucesso no serviço

• Registam a potência dos racks proveniente das PDUs em amostras de 15 minutos, para que ninguém tenha de inventar um megawatt

Aceitação para chamar a célula de "pronta para IA": 8 de 8 receitas concluídas; 0 em 8 apresentam limitação térmica; ambas as execuções interrompidas são retomadas; os pontos de verificação permanecem em minutos. Se não conseguirem isso, ainda terão uma sala de servidores com placas gráficas sofisticadas.

Resultado

Resultado ilustrativo, de um teste fictício de oito corridas, e não de um número publicado pela Kestrel.

Pressupostos: quatro servidores de aceleração dupla em dois bastidores; um modelo de inspeção; 120.000 imagens fixas; oito execuções de uma receita fixa de 12 épocas; o tempo real inclui reinicializações até à conclusão da receita; limitação significa uma redução registada no tempo de treino; o tempo do ponto de verificação é o tempo de gravação, e não o tempo desejado; a potência do bastidor é medida por amostras de PDU, e não por PUE do campus.

Antes da modernização, as GPUs estavam em bastidores comuns com refrigeração a ar, ligados à rede Ethernet do escritório e à SAN das máquinas virtuais:

• Foram concluídos 5 de 8 testes na primeira tentativa. Tempo médio de execução entre estes cinco testes: 14 horas

• Em 3 de 8 tentativas, foi necessário reiniciar após uma paragem por volta da 11ª hora (duas após um nó falhar com um ponto de verificação desatualizado, e uma após um ponto de verificação preencher o SAN). Tentativa imediata, sem espera noturna no relógio: 11 horas perdidas, mais uma segunda tentativa de 14 horas, ou seja, 25 horas para completar a receita nestes três casos

• Tempo médio para finalizar uma receita, considerando todas as oito receitas, incluindo as reinicializações: 18 horas. (Cinco receitas demoraram 14 horas e três demoraram 25 horas. A mediana das oito receitas continua a ser de 14 horas, o que mascararia as reinicializações. Por esta razão, a média é aqui o parâmetro de comparação.)

• O controlo térmico foi registado em 7 de 8 execuções. Tempo médio com relógio reduzido: 3 horas numa tentativa de 14 horas

• Verificação da gravação: mediana de 22 minutos

• Eliminar os inimigos em formação não era um teste que conseguissem passar. Não tinham um manual de procedimentos. As duas mortes acidentais foram a conclusão

• Pico de carga de TI nos dois bastidores durante o treino: cerca de 18 kW. A fileira tinha a potência necessária. Não tinha o sistema de refrigeração nem a tela

Após permutadores de calor na parte traseira destes dois bastidores, uma malha dedicada entre os quatro nós, um pequeno pool NVMe para pontos de verificação, checkpoint de 30 minutos e um manual de reinicialização:

• 8 em 8 concluídos à primeira tentativa. Tempo médio de execução: 9 horas

• Limitação térmica: 0 de 8

• Tempo de gravação do ponto de verificação: mediana de 90 segundos. Pior tempo da série: 3 minutos

• As duas eliminações deliberadas de jogadores de patente foram retomadas a partir do último ponto de controlo de 30 minutos. Tempo de jogo adicional nestas duas tentativas: cerca de 40 minutos cada, incluindo o diagnóstico, totalizando aproximadamente 9 horas e 40 minutos. Média em oito rondas de 9 horas

• A carga máxima de TI continua a ser de cerca de 18 kW. Os mesmos chips. Comportamento do edifício diferente

Nesta amostra, o tempo médio para finalizar uma receita desceu de 18 horas para 9 horas, ou 9 horas por receita, totalizando 72 horas em oito execuções. A taxa de sucesso à primeira tentativa passou de 5 em 8 para 8 em 8. A taxa de aceleração desceu de 7 em 8 para 0 em 8. Este último número é o que revela se compraram aceleradores ou pisa-papéis. Não vão chamar a esta mudança de tempo uma poupança de 50% na produção. Oito execuções é um conjunto pequeno e fácil de analisar.

Estes números são uma estimativa exemplificativa baseada no teste declarado, numa pequena amostra, um modelo e um pavilhão misto. Não representam um PUE (Power Usage Effectiveness - Eficiência de Utilização de Energia), nem um megawatt para o campus, e não provam que a Kestrel deva construir um centro de formação em campo aberto. A análise dos registos decorreu dentro do período de 9 horas; não esconderam isso. O valor de 18 kW é uma leitura arredondada da PDU (Personal Device Unit - Unidade de Distribuição de Energia), e não uma fatura de eletricidade. Não converteram as 72 horas num custo, porque a tarifa de eletricidade da fábrica criaria uma justificação comercial falsa.

A verificação do saque era separada e mais pequena: 200 imagens de linha para a área cercada, todas no local. Isso é inferência, não é treino. Misturar os dois teria sido o erro do ginásio híbrido em miniatura.

O que pode dar errado?

• O departamento de compras continua a chamar quatro servidores de "centro de dados de IA". O rótulo esconde a infraestrutura, e a próxima compra será de mais GPUs para o mesmo corredor problemático

• Os permutadores de calor da porta traseira estão instalados e ninguém coloca o lado da água em funcionamento. Os ventiladores continuam a gritar. Os relógios continuam a baixar de horário

• A malha consiste num único switch sem caminho alternativo. Uma falha num link e o "cluster" volta a ser composto por quatro postos de trabalho

• Os pontos de verificação permanecem na SAN porque o pool NVMe estava na "fase dois". A fase dois não chega antes do próximo nó inativo

• Citam um PUE para dois racks num auditório misto. O clima, os limites e o resto da fileira ERP tornam esta proporção uma fantasia

• Formação e serviço partilham a mesma essência. Uma inundação no ponto de verificação faz esperar a linha de produção. A latência da cauda é o produto ali, não a densidade

• Um nó falha e alguém o trata como um chamado de disponibilidade em vez de uma reinicialização de ponto de verificação. As equipas de operações corporativas e de IA não se entendem durante uma tarde inteira

• Podiam ter alugado uma gaiola, mas as imagens não podem sair. Esquecer esta restrição leva-os a uma conversa na nuvem da qual terão de se desvencilhar

Resumo prático

O que é um Data Center de IA, neste formato, não é um armazém nem uma fatura de GPU. É a célula que permite aos aceleradores completar a execução: energia que podem armazenar, calor que dissipa, uma infraestrutura, um ponto de controlo e alguém responsável quando um componente falha. A Kestrel não precisava de um campus. Precisava de dois racks para parar de fingir. A maioria das equipas deveria alugar este tipo de infraestrutura. Algumas poucas, com um conjunto de dados secreto e um ambiente que suporte o calor, deveriam construir uma célula e recusar o slide.

Perguntas frequentes

O que é um Centro de Dados de IA?

Um centro de computação de alta densidade onde a energia, refrigeração, rede e armazenamento são otimizados para treino paralelo e disponibilização de modelos, e não para filas organizadas de servidores de uso geral. Está concebido para que um grande número de aceleradores possa treinar e disponibilizar modelos sem sobrecarga, falhas na rede ou espera por disco. Um armazém empresarial comum é um ambiente diversificado. Um centro de IA é uma monocultura cuja unidade de valor é o acelerador, como GPUs ou chips do tipo TPU. Parece um armazém e funciona como uma central elétrica que realiza cálculos matemáticos.

Qual a diferença entre um centro de dados com IA e um centro de dados normal?

Os data centers tradicionais estão otimizados para cargas de trabalho mistas e tempo de atividade em vários serviços de pequena dimensão. Os sites de IA invertem esta lógica: a densidade aumenta, a rede torna-se uma estrutura essencial para o treino e o armazenamento precisa de manter os checkpoints em movimento, caso contrário, os aceleradores ficam inativos. As operações empresariais pensam em tickets e janelas de mudança. As operações de IA pensam em filas de tarefas e na má sensação quando um nó falha no final de uma longa execução. Ambos poderiam ainda ser chamados de data centers. O nome apenas esconde a infraestrutura.

Porque é que os centros de dados de IA consomem tanta energia?

O hardware de destaque não é um CPU sofisticado. É a bandeja de aceleradores: GPUs ou outros chips de IA, agrupados em servidores, depois em bastidores e, por fim, em filas que partilham uma malha de elevada largura de banda. A densidade por rack é a grande sacada: menos racks, cada um deles um pequeno forno. Os megawatts de carga de TI surgem quando um salão se enche, embora inventar um valor típico não valha a pena. O fator limitante é muitas vezes a subestação, e não a lista de desejos de GPUs.

Como são arrefecidos os centros de dados de IA?

Os suportes de alta densidade dissipam o calor de uma forma que o ar nunca foi realmente concebido para lidar. É possível aumentar a pressão do ar com permutadores de calor na porta traseira, corredores mais quentes e sistemas de contenção inteligentes. De seguida, entra em cena o arrefecimento líquido: arrefecimento direto do chip, circuitos de refrigeração e imersão em alguns projetos. Um acelerador que limita o seu desempenho é um que já pagou e não pode utilizar em pleno. O PUE (Power Usage Effectiveness - Eficiência por Unidade de Desempenho) ainda importa, porque cada watt gasto em ventoinhas e bombas é um watt que não foi para a GPU. A água também entra nesta história: algumas plantas bebem aos poucos, outras absorvem em grandes quantidades.

Porque é que o funcionamento em rede é tão importante como as GPUs?

O treino é uma conversa: milhares de aceleradores a trocar gradientes, parâmetros e fragmentos de um modelo em perfeita sincronia. Se a infraestrutura oscilar, todo o processo fica paralisado no nó mais lento. É por isso que os centros de IA se preocupam tanto com redes de alta largura de banda, baixa latência, infraestruturas semelhantes ao InfiniBand ou Ethernet na mesma função, e topologias que não se desfazem quando um link falha. A inferência preocupa-se com a latência de cauda, ​​muitos pedidos menores e isolamento. Neste contexto, a infraestrutura é o restaurante.

Para que serve um Centro de Dados de IA: para treino ou para inferência?

A formação é uma campanha: montar um cluster, alimentá-lo com dados, realizar verificações rigorosas e executá-lo durante horas ou semanas. A inferência é uma montra: modelos já treinados, agora a responder, com latência que importa. Os campi de treino priorizam a potência, o espaço e a densidade. Os sites de inferência priorizam a latência e a presença. Os ambientes híbridos existem porque o capital não é infinito, por vezes um único ambiente com dois circuitos de refrigeração. Um acelerador um pouco mais antigo perto do cliente pode superar um sofisticado a um continente de distância.

Porque é que o armazenamento é importante num data center de IA?

Os dados de treino precisam de chegar rápido o suficiente para que as GPUs não fiquem ociosas. Os checkpoints precisam de ser guardados para que uma falha não comprometa uma semana inteira. Os pesos do modelo precisam de ser carregados antes de uma réplica de serviço estar ativa. A taxa de transferência de armazenamento, e não apenas a capacidade, é o estrangulamento silencioso. Pode gastar uma fortuna em aceleradores e sobrecarregá-los com um array otimizado para máquinas virtuais.

O que acontece quando um nó falha durante a execução?

Um acelerador inoperacional num processo de treino altamente acoplado pode paralisar todo o conjunto de tarefas. A formação exige pontos de verificação, não otimismo. A inferência utiliza o nó com problemas, mantém uma réplica a responder e permanece ativa. As janelas de alteração ainda entram em conflito com as execuções de treino que não se importam com o seu calendário. A redundância ainda é importante para a energia, refrigeração, caminhos e armazenamento, mas o modo de falha é menos organizado do que o antigo slide de disponibilidade de 90%.

Qual o impacto de um centro de dados com IA na rede elétrica, no abastecimento de água e nos vizinhos?

A ligação à rede elétrica é muitas vezes o verdadeiro desafio no processo de seleção do local. O terreno é mais fácil de encontrar do que uma subestação e uma empresa de energia que serve outros clientes. A água para refrigeração, se utilizada, torna-se um problema para os vizinhos assim que a chuva aumenta, para além do ruído, do impacto visual e do calor junto à vedação divisória. A infra-estrutura pode ser melhor aproveitada em mercados de energia mais baratos e climas mais amenos. A infraestrutura beneficia da proximidade com outros utilizadores. Não existe um local perfeito. Existe um meio-termo, que pode ser alcançado com um comunicado de imprensa.

Preciso de ter um centro de dados de IA próprio ou devo alugar?

A maioria das pessoas não precisa de ser proprietária de um destes data centers. Os hiperescaladores constroem porque o produto é a frota. Os laboratórios constroem quando o tempo de espera na fila é o ponto de estrangulamento ou quando os dados não podem ser transferidos. Um banco, hospital, governo ou fabricante com um conjunto de dados confidenciais pode justificar a instalação numa infraestrutura própria ou num data center privado. Todos os outros devem alugar: um data center preparado para IA, uma reserva na nuvem ou um cluster gerido. Obtém os aceleradores sem se tornar um operador de central elétrica.

Referências

1. IEA - www.iea.org

2. LBNL - datacenters.lbl.gov

3. A Rede Verde - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Instituto de Tempo de Atividade - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Encontre as últimas novidades em IA na Loja Oficial de Assistentes de IA

Sobre nós