O DataOps está crescendo continuamente em organizações que entendem a necessidade de acessar e controlar os dados usados para alimentar mecanismos de análise e aprendizado de máquina.
Assim como o DevOps, o DataOps trata de colocar algo em produção. Com DevOps, é código; com DataOps, são dados.
Este ano, as organizações fizeram menos perguntas sobre o que é DataOps porque sua definição geral é amplamente compreendida. Menos óbvio pode ser o valor comercial que ele oferece, especialmente se abordar o DataOps como outra tecnologia a ser implementada.
“Existem muitas ferramentas, sistemas e tecnologias disponíveis, mas o desafio é encontrar aquele que atenda às suas necessidades organizacionais”, disse Sush Apshankar, líder de soluções de análise e IA/ML da empresa de consultoria e pesquisa tecnológica global ISG. “A segunda parte são as pessoas. Você precisa construir essa mentalidade de dados em primeiro lugar e depois colocar as pessoas certas na equipe.”
É importante ressaltar que o DataOps não apenas ajuda a garantir que os dados necessários estejam disponíveis. Também garante a entrega atempada desses dados e que os dados são devidamente controlados.
“As equipes de DataOps devem se concentrar em simplificar e otimizar os pipelines de dados atuais e inserir seu pessoal, arquitetura, melhores práticas, designs e padrões em todos os novos esforços de desenvolvimento de dados”, disse Dan Sutherland, diretor sênior de consultoria de tecnologia da consultoria global Protiviti.
O que está caindo pelas rachaduras de dados
Algumas equipes de DataOps estão construindo pipelines de dados robustos para fornecer valor comercial tangível, enquanto outras ainda estão lutando para acertar.
Os projetos de dados e IA são notoriamente lentos para progredir da idealização à realização. Geralmente, não há caminho ou padrão consistente para as empresas seguirem além de carregar os dados em um data lake existente e descobrir como encontrar, filtrar, limpar e aproveitar esses dados. Enquanto isso, os departamentos de TI geralmente recebem backup de solicitações operacionais de alta prioridade, para que a empresa possa alavancar sua própria equipe para concluir o trabalho sem um caminho claro e definido para a conclusão.
Dan Sutherland
Uma segunda questão é que algumas organizações não entendem o valor de DataOps, por isso não tem o orçamento e o pessoal necessários para ter sucesso. Os problemas comuns enfrentados pela maioria das organizações incluem a falta de classificação para elementos de dados críticos, nenhum inventário confiável único de ativos de dados disponíveis e definições de dados mínimas ou inconsistentes. Não há padrão definido, disciplina, metodologia ou consistência para desenvolvimento, implantação e operacionalização de dados e ativos de IA, disse Sutherland.
“Os princípios do DataOps garantem que haja um inventário preciso e atualizado de todos os dados e ativos e processos relacionados à IA, e qualquer novo projeto deve aderir aos padrões e atualizar esse inventário de acordo”, disse ele.
É claro que os engenheiros de dados construindo pipelines de dados precisam do apoio de outras funções para fornecer valor comercial, o que normalmente inclui uma combinação de diretor de análise (CAO), diretor de dados, diretor digital, cientistas de dados, analistas de dados e arquitetos de dados.
Sush Apshankar
“O número um é como ele se integra aos seus sistemas existentes e como você casa os KPIs de tecnologia com os KPIs de negócios?” disse Apshankar.
Alguns exemplos de KPIs de tecnologia são o tempo de inatividade do sistema, o número de tickets gerados e a rapidez com que o sistema foi ativado. Os KPIs de negócios incluem se as pessoas estão realmente usando e como isso ajuda a reduzir tempo e custo, disse Apshankar.
Em suma, o DataOps necessariamente preenche as lacunas entre disponibilizar os dados em primeiro lugar e gerar valor comercial positivo com eles.
Tendências futuras de DatOps
O DataOps necessariamente preenche as lacunas entre disponibilizar os dados em primeiro lugar e gerar valor comercial positivo com eles.
O mais maduro As equipes de DataOps adotam uma mentalidade de DevOps de melhoria contínua, que pode envolver muitos processos e práticas. Embora os pipelines de dados acelerem o acesso aos dados e tornem o trabalho com dados mais confiável, eles não são ativos “definidos e esquecidos”, embora possam automatizar algumas tarefas. O desempenho do pipeline pode diminuir se a interconectividade do sistema for frágil, os dados não forem entregues em tempo hábil ou um recurso necessário vacilar ou mudar.
“A maioria dos projetos de dados, análises e IA falham porque a operacionalização é tratada como uma reflexão tardia”, disse Sutherland. “A equipe deve evangelizar o valor comercial do DataOps para a organização e monitorar todos os projetos novos e de aprimoramento para garantir que o DataOps seja parte integrante do desenvolvimento e implantação de cada iniciativa.”
Alguns dos conjuntos de habilidades que Sutherland acredita que as organizações devem desenvolver incluem o seguinte:
Entenda as tecnologias e plataformas nativas da nuvem.
Mantenha-se a par de novos produtos e melhorias de produtos
Desenvolva habilidades em metodologias de ciclo de vida de desenvolvimento de software ágil relacionadas a dados e IA, desenvolvimento, testes de unidade e estruturas de integração.
Desenvolva habilidades em reutilização e automação.
Aproveite o desenvolvimento colaborativo de dados Ferramentas que permitem que eles trabalhem de forma mais eficaz com arquitetos de dados, engenheiros de dados e cientistas de dados.
As equipes de DataOps precisam possuir muitas das habilidades que as equipes de DevOps já possuem, o que é um dos motivos para considerar os desenvolvedores como os principais candidatos a engenheiros de dados. Assim como o DevOps, o DataOps garante a entrega pontual de um produto de qualidade; nesse caso, isso é usar dados para análise e dados de treinamento para aprendizado de máquina.
Contrate mais fácil, mais rápido e mais eficiente.
Nosso sistema testa e avalia a lógica de programação e o código fonte dos seus candidatos e retorna automaticamente para você com o perfil do profissional e o dashboard dos resultados.
Dan Sutherland
Sush Apshankar