A sua equipa de dados está a produzir dashboards incríveis, toda a gente adora, mas depois a equipa financeira alerta para a fatura mensal de 5000 $. Parece-lhe familiar? Se sim, não está definitivamente sozinho. O Databricks é uma plataforma fantástica para análise de dados e IA, mas sejamos honestos, o seu sistema de preços pode ser confuso e levar a um verdadeiro choque se não tiver cuidado.
Este guia está aqui para esclarecer a confusão em torno dos preços do Databricks. Vamos explicar como tudo funciona, o que é realmente uma "DBU", os custos ocultos a ter em atenção e algumas medidas práticas que pode tomar para controlar as suas despesas.
O que é o Databricks?
Antes de entrarmos nos números, vamos recapitular rapidamente o que é o Databricks. Pense nele como um espaço de trabalho tudo-em-um para dados que funde os conceitos de um data warehouse e um data lake em algo a que chamam "lakehouse".
Basicamente, oferece aos engenheiros de dados, cientistas e analistas um único local para trabalharem em conjunto em tudo, desde o processamento de dados pesado (ETL) à construção e treino de modelos de machine learning. É um serviço na nuvem que funciona sobre o fornecedor de nuvem que já utiliza: Amazon Web Services (AWS), Microsoft Azure ou Google Cloud Platform (GCP).
Como funcionam os preços do Databricks? Conhecer a DBU
O cerne dos preços do Databricks é a Unidade Databricks (DBU). Uma DBU é apenas uma unidade de poder de processamento, e é-lhe faturado o número de DBUs que utiliza, ao segundo.
image is broken, please reupload the imageUma captura de ecrã da página oficial de preços do Databricks, destacando os diferentes planos e taxas de DBU. Isto dá aos leitores uma visão direta da estrutura de preços do Databricks.
Mas aqui está a coisa mais importante que precisa de saber: na verdade, está a receber duas faturas separadas.
Quando utiliza o Databricks, paga por:
-
O próprio Databricks: Paga-lhes pelas DBUs que os seus clusters de computação utilizam. O preço de uma DBU muda dependendo do tipo de trabalho que está a fazer e do plano de subscrição que tem.
-
O seu Fornecedor de Nuvem (AWS, Azure ou GCP): Também paga ao seu fornecedor de nuvem por todo o hardware em que o Databricks corre. Isto significa as máquinas virtuais, o armazenamento e a rede.
Este sistema de duas faturas apanha muitas pessoas de surpresa. O preço que vê no site do Databricks é apenas para o software deles. O seu custo total real será sempre mais alto.
"Custo Total = (DBUs Consumidas × Taxa de DBU) + Custos de Infraestrutura na Nuvem"
Os fatores chave que influenciam os seus preços no Databricks
A sua fatura final depende de algumas variáveis-chave. Dominá-las é o primeiro passo para gerir os seus custos.
Influência do fornecedor de nuvem
As taxas de DBU são ligeiramente diferentes dependendo se corre o Databricks na AWS, Azure ou GCP. Muitas vezes são bastante próximas, mas vale a pena notar que o Azure Databricks é um serviço próprio da Microsoft. Isto pode significar uma melhor integração com outras ferramentas do Azure, mas por vezes a um preço ligeiramente mais alto. A AWS e o GCP são geralmente muito competitivos nos seus preços.
Níveis: Standard, Premium e Enterprise
O Databricks tem diferentes níveis de subscrição que lhe dão acesso a mais funcionalidades.
-
Standard: O plano básico. Está a ser descontinuado no Azure, por isso não é tão comum em novas configurações.
-
Premium: Este é o nível mais popular. Adiciona funcionalidades úteis como controlos de acesso baseados em funções e registos de auditoria.
-
Enterprise: Este nível adiciona funcionalidades extra de segurança e conformidade necessárias em indústrias altamente regulamentadas.
Como deve adivinhar, a taxa de DBU para o seu trabalho aumenta à medida que sobe de nível.
Tipo de computação: O maior impacto na sua fatura
Este é o que realmente afeta as pessoas. O Databricks oferece diferentes tipos de 'computação' para diferentes tarefas, e os seus preços são totalmente diferentes.
-
Jobs Compute: É para as suas tarefas automatizadas e agendadas, como pipelines de ETL. Estes clusters são ativados para uma tarefa específica e desligados quando esta termina. É, de longe, a opção mais económica.
-
All-Purpose Compute: É para trabalho interativo, como quando a sua equipa está a explorar dados em notebooks. Estes clusters podem ser partilhados e permanecem ligados até que alguém os desligue manualmente. Esta opção é muito, muito mais cara.
Para colocar em perspetiva, executar exatamente o mesmo código num cluster All-Purpose pode custar 3 a 4 vezes mais em DBUs do que executá-lo como uma tarefa automatizada num cluster Jobs.
| Tipo de Computação | Ideal Para | Custo Relativo |
|---|---|---|
| Jobs Compute | ETL automatizado, relatórios agendados | $ |
| All-Purpose Compute | Análise interativa, exploração de dados | $$$ |
Preços do Azure Databricks: Uma análise completa
Para tornar isto um pouco mais real, vamos olhar para os preços do Azure Databricks. Os números mudam um pouco de nuvem para nuvem, mas a ideia geral é a mesma em todo o lado.
image is broken, please reupload the imageUma captura de ecrã da página de preços do Azure Databricks. Isto visualiza a repartição de custos para os preços do Databricks num fornecedor de nuvem específico.
Taxas de DBU pay-as-you-go por carga de trabalho
Aqui estão alguns exemplos de taxas pay-as-you-go para o popular nível Premium no Azure. Repare na enorme diferença de preço entre o Jobs Compute e o All-Purpose Compute.
| Carga de Trabalho | Taxa de DBU do Nível Premium |
|---|---|
| Jobs Compute | $0.30/DBU-hora |
| All-Purpose Compute | $0.55/DBU-hora |
| SQL Compute | $0.22/DBU-hora |
| SQL Pro Compute | $0.55/DBU-hora |
| SQL Serverless | $0.70/DBU-hora |
Atenção: Os preços são apenas de referência e podem variar por região. O SQL Serverless inclui os custos da máquina virtual.
Não se esqueça dos custos das máquinas virtuais
Além da taxa de DBU, tem de pagar pelas máquinas virtuais do seu fornecedor de nuvem. Esta é a parte da fatura que muitas vezes é ignorada.
Por exemplo, um cluster SQL Compute "Pequeno" no Azure custa $2,64 por hora em DBUs. Mas a máquina virtual em que corre custa mais $3,89 por hora. Portanto, o seu custo horário real para esse cluster é na verdade de $6,53. Se orçamentar apenas o custo das DBUs, pode facilmente errar por mais do dobro.
Descontos com uso comprometido
Se a sua carga de trabalho for bastante estável, pode obter alguns bons descontos. O Azure oferece Unidades de Compromisso Databricks (DBCUs), que pode comprar antecipadamente por um período de um ou três anos. Estes planos podem reduzir até 37% das taxas de DBU pay-as-you-go, mas exigem que se comprometa financeiramente a longo prazo.
Desafios comuns e como otimizar os seus gastos
Agora que sabemos como funciona a faturação, vamos falar sobre por que os custos sobem tanto e o que pode fazer a esse respeito.
Porque os custos podem disparar
-
A Surpresa das Duas Faturas: Este é um clássico. Uma equipa orçamenta os custos de DBU que vê no site do Databricks e depois tem um choque quando a fatura separada de todas as VMs e armazenamento chega do seu fornecedor de nuvem.
-
Clusters Inativos: Os clusters All-Purpose ficam felizes por estarem ligados o dia todo (e a aumentar a sua fatura), mesmo que ninguém os esteja a usar. Tem de lhes dizer para se desligarem automaticamente.
-
Choque Desenvolvimento vs. Produção: Um cientista de dados pode explorar dados usando um caro cluster All-Purpose. Quando esse código está pronto para produção, deve ser movido para um cluster Jobs, que é mais barato. Mas muitas vezes, esse último passo é esquecido.
Estratégias práticas para otimização de custos
A boa notícia é que pode controlar estes custos. Aqui estão algumas das formas mais eficazes de o fazer:
-
Mover Cargas de Trabalho para Jobs Compute: Esta é a maior vitória para a maioria das equipas. Se uma tarefa corre de forma agendada e não precisa de uma pessoa a observá-la, pertence ao Jobs Compute. Só isto pode reduzir o custo de DBU para essa tarefa em mais de 60%.
-
Definir Encerramento Automático Agressivo: Vá às definições de todos os seus clusters interativos e faça com que se desliguem após um curto período de inatividade, como 15 ou 30 minutos.
-
Usar Computação Serverless: Para tarefas que correm aleatoriamente ou têm grandes picos de uso, as opções Serverless podem ser mais baratas porque não está a pagar para manter um cluster inativo em segundo plano.
-
Usar Instâncias Spot: Para tarefas que não são de missão crítica, pode configurar os seus clusters para usar Instâncias Spot (AWS), VMs Spot (Azure) ou VMs Preemptible (GCP). Isto pode poupar-lhe até 90% nos custos de hardware na nuvem.
-
Dimensionar Corretamente os Seus Clusters: Não dê a um cluster mais poder do que ele precisa. Comece com o menor tamanho que faz o trabalho e deixe que a funcionalidade de escalonamento automático do Databricks adicione mais poder apenas quando for absolutamente necessário.
Este vídeo fornece um guia detalhado sobre como rastrear e controlar eficazmente os seus custos do Databricks, tanto ao nível do espaço de trabalho como da conta.
O valor de preços previsíveis vs. complexos
Todo este quebra-cabeças de custos do Databricks levanta uma questão maior sobre as ferramentas de IA em geral: preços complicados tornam muito difícil orçamentar. Plataformas poderosas com faturação baseada no uso são ótimas, mas podem tornar a previsão das suas despesas mensais um pesadelo.
Para algo tão importante como o suporte ao cliente, precisa de previsibilidade. É por isso que plataformas como a eesel AI foram concebidas com preços fixos e simples. Em vez de cobrar por cada ticket resolvido, o que significa que os seus custos aumentam à medida que o volume de suporte cresce, a eesel AI oferece planos mensais diretos. Isto permite-lhe automatizar o suporte e ajudar os seus agentes sem se preocupar com uma fatura surpresa no final do mês.
image is broken, please reupload the imageUma captura de ecrã do site da eesel AI, enfatizando o seu modelo de preços simples e de taxa fixa como um contraste aos preços complexos do Databricks.
Assuma o controlo dos seus preços no Databricks
Existe uma razão pela qual o Databricks é líder em dados e IA. É uma ferramenta incrivelmente poderosa. Mas esse poder vem com um modelo de preços que tem de gerir ativamente. Ao compreender a DBU, o sistema de duas faturas e a enorme diferença de custo entre os tipos de computação, pode evitar os problemas mais comuns.
Comece a pôr em prática as dicas de otimização de que falámos. Mude as cargas de trabalho para Jobs Compute, ative o encerramento automático e certifique-se de que os seus clusters têm o tamanho certo. Com este conhecimento, pode gerir a sua fatura do Databricks com confiança, mostrar o seu valor aos líderes da sua empresa e voltar a focar-se no que realmente importa: encontrar insights nos seus dados.
Assuma o controlo dos seus custos de IA
Se acha que preços previsíveis e transparentes são essenciais para as suas ferramentas de IA, veja como a eesel AI traz essa mesma simplicidade à automação do suporte ao cliente. Pode começar a usar em minutos, não em meses.
Perguntas frequentes
A DBU (Unidade Databricks) é a unidade central de poder de processamento pela qual é faturado. A sua taxa muda com base no seu nível de subscrição e no tipo de computação que utiliza, impactando diretamente o preço total do Databricks. Lembre-se, isto cobre apenas o software do Databricks, não a infraestrutura de nuvem subjacente.
O sistema de "duas faturas" significa que paga ao Databricks pelas DBUs e, separadamente, paga ao seu fornecedor de nuvem (AWS, Azure, GCP) pelas máquinas virtuais, armazenamento e rede. Este custo de infraestrutura na nuvem, muitas vezes ignorado, aumenta significativamente o preço total do Databricks, por vezes duplicando as estimativas iniciais.
Embora as taxas de DBU possam variar ligeiramente entre AWS, Azure e GCP, o modelo de preços central do Databricks permanece consistente. O Azure Databricks é um serviço próprio da Microsoft, o que pode oferecer uma integração mais profunda, mas por vezes a um preço ligeiramente diferente do AWS ou GCP.
O maior fator é o tipo de computação. O Jobs Compute, usado para tarefas automatizadas, é significativamente mais económico. O All-Purpose Compute, para trabalho interativo, pode custar 3 a 4 vezes mais em DBUs, tornando crucial o uso do Jobs Compute para cargas de trabalho de produção agendadas para otimizar os preços do Databricks.
As estratégias-chave incluem mover cargas de trabalho agendadas para o Jobs Compute, definir um encerramento automático agressivo para clusters interativos e dimensionar corretamente os seus clusters. Utilizar instâncias spot para tarefas não críticas também pode reduzir drasticamente a contribuição da sua infraestrutura na nuvem para os preços do Databricks.
Sim, para cargas de trabalho consistentes, pode frequentemente garantir descontos através de planos de uso comprometido, como as Unidades de Compromisso Databricks (DBCUs) do Azure. Estas permitem-lhe comprar uso antecipadamente por períodos de um ou três anos, reduzindo potencialmente o seu preço pay-as-you-go do Databricks numa percentagem significativa.
