Estamos no meio de um renascimento de dados. Hoje, não se trata apenas de instrumentação de dados, mas também de aprender como tornar o DataOps uma vantagem comercial real para toda a organização. Os dados se tornaram uma parte inextricável dos produtos, usados para melhorar a qualidade das experiências do usuário. O acesso confiável aos dados e a integridade desses dados são essenciais para impulsionar a inovação e o sucesso dos negócios.
Mas, como em qualquer processo, surgirão problemas. Haverá pipelines que quebram ou dados que não são instrumentados corretamente. A questão então se torna: como as equipes podem identificar problemas mais rapidamente e melhorar continuamente? Como a jornada em direção à integridade dos dados pode se tornar uma iteração e melhoria?
Operações de dados as equipes não são estranhas à automação – pipelines automatizados de CI/CD e infraestrutura como código (IaC) são uma grande parte de seu conjunto de habilidades. Mas existem alguns componentes de automação que são menos difundidos em todo o DataOps, que podem ajudar a promover a integridade dos dados e incentivar uma cultura de melhoria.
Tudo começa com uma abordagem diferente para a automação – uma abordagem human-in-the-loop (HITL). A automação human-in-the-loop permite que partes de um processo sejam totalmente automatizadas, ao mesmo tempo em que permite que os humanos interajam em pontos críticos para agir, tomar decisões e decidir o caminho a seguir.
Aqui estão cinco maneiras de usar a automação human-in-the-loop para impulsionar a melhoria contínua e alcançar a integridade ideal dos dados.
Crie uma interrupção de problemas melhor e mais cedo
Como é a vida, inevitavelmente as coisas quebram, surgem problemas e as equipes precisam intervir para remediar. O objetivo deve ser permitir uma melhor interrupção desses problemas quando eles ocorrerem, identificando problemas mais cedo e reunindo as partes interessadas certas com mais facilidade e rapidez.
A automação da HITL pode ajudar as equipes não apenas a identificar problemas com antecedência, mas também iniciar a resposta a incidentes e coordenar as equipes e as partes interessadas. Idealmente, os fluxos de trabalho automatizados podem ser acionados a partir de um sinal de entrada; por exemplo, de uma ferramenta de observabilidade como DataDog ou BigPanda. Uma resposta a incidentes pode ser iniciada automaticamente, acionando mais automação, como criar tíquetes, iniciar uma reunião no Zoom, criar um canal Slack e reunir os membros certos da equipe.
Ao reunir instantaneamente as pessoas certas, a equipe pode investigar de forma colaborativa e entender mais rapidamente o estado do problema. A automação HITL deve permitir que as equipes executem scripts adicionais para agir e corrigir conforme necessário.
Incorpore a melhoria no processo por meio do fluxo de trabalho de autodocumentação
Muitas empresas hoje estão perguntando: “Como podemos ter certeza de que temos esse loop totalmente integrado, até o ponto de coleta?” A comunicação entre as equipes é fundamental para esse esforço. Mas mesmo antes que as equipes possam colaborar em melhorias, elas precisam entender o estado atual de seus dados para que, se, por exemplo, uma equipe descobrir que um relatório não está fornecendo o que é necessário, haja uma maneira realmente limpa de recuperar essa comunicação a equipe de DataOps para melhorar a instrumentação em primeiro lugar.
A automação HITL pode melhorar os fluxos de trabalho do DataOps documentando automaticamente todas as ações humanas e de máquinas ao longo de um processo. Por estar conectado por meio de APIs a todas as ferramentas e serviços de uma equipe, um fluxo de trabalho autodocumentado absorve cada ação e cria uma trilha de auditoria. Essa trilha de auditoria é a base pela qual as equipes podem entender com mais precisão não apenas a integridade de seus dados, mas também como as equipes estão implementando e executando processos.
Traga os dados humanos para a vanguarda da melhoria
As equipes de DataOps desempenham um papel importante para garantir que os dados corretos estejam sendo coletados. No entanto, muitas pessoas ainda estão usando sistemas que são muito manuais. Eles podem ter uma boa compreensão de seus dados de log e monitoramento, mas ainda não têm uma boa noção dos dados humanos em sua organização – quais processos e fluxos de trabalho as pessoas estão executando.
Entender como os humanos executam os processos é tão importante quanto entender os problemas de tecnologia. O fluxo de trabalho de autodocumentação descrito acima deve incluir documentação de dados humanos, desde scripts executados manualmente até conversas do Slack ou do Teams e, idealmente, até mesmo atualização automática de tickets para que até mesmo a manutenção de um sistema de registro se torne menos manual. Somente observando o quadro completo – de dados humanos e de máquina juntos – as equipes podem encontrar áreas de melhoria em sua automação, comunicação e fluxos de trabalho.
Faça uma abordagem incremental
Não deixe o “perfeito” ser o inimigo do “feito”. Toda grande transformação que vi começou com uma equipe pequena, um grande mandato e um forte apoio da equipe executiva. Adicionar toneladas de novas tecnologias e contratar mais pessoas pode não ser a bala de prata de que as equipes precisam.
Em vez disso, as equipes devem olhar primeiro para a experiência que possuem internamente – as pessoas, a tecnologia e os processos. Em seguida, comece adotando uma abordagem incremental. A HITL promove automação incremental e acessível, permitindo que as equipes codifiquem primeiro o conhecimento institucional, analisem, aprendam e depois comecem a automatizar peças em pequenos lotes.
Mergulhar de cabeça em uma abordagem totalmente automatizada pode deixar as equipes em um estado pior do que nada. A automação é uma jornada – aprendemos fazendo, registrando dados humanos e de máquina e, em seguida, usando insights como nosso guia, começamos a encontrar valor real em pequenas doses de automação. Esses pequenos passos podem causar um enorme impacto e, com o tempo, agregar um valor comercial substancial.
Compre para os padrões da indústria e construa para as lacunas
Como mencionei acima, as equipes devem primeiro começar avaliando seus recursos atuais. Quais conjuntos de habilidades e tecnologia eles já possuem e como eles podem usar esses recursos para atingir suas metas de dados? Ao mesmo tempo, muitas equipes que iniciam sua jornada de automação enfrentam desafios – falta de recursos de desenvolvimento, scripts que vivem na máquina de uma pessoa, dificuldade em reunir todos os dados humanos e da máquina em uma linha do tempo registrada.
Para ajudar as equipes de dados a implementar a automação HITL de maneira eficaz e confiável, o investimento em uma plataforma pronta para uso pode ajudar a preencher as lacunas que as equipes e as organizações têm. As plataformas devem permitir a automação por meio de interfaces de baixo código, ao mesmo tempo em que fornecem personalização no nível do código. Essa combinação permite que as equipes comprem de acordo com os padrões do setor enquanto constroem as lacunas – não gerenciar a plataforma significa que os recursos de desenvolvimento podem se concentrar na expansão e melhoria da automação.
As plataformas devem permitir que as equipes se conectem facilmente às APIs e se adaptem às APIs personalizadas. A mudança contínua de processos e ferramentas de DevOps coexistem com APIs que mudam rapidamente. Portanto, as plataformas de automação mais promissoras devem gerenciar a complexidade das APIs, permitindo que os usuários se concentrem na intenção, não na mecânica das APIs personalizadas. As tecnologias de automação devem lidar perfeitamente com identidade, autenticação, paginação e armazenamento em cache.
Encontre alavancagem com a automação HITL e impulsione o impacto nos negócios
À medida que os dados se tornam cada vez mais arraigados nos ciclos de vida do produto e na experiência do usuário, a automação é a chave para uma inovação mais rápida, qualidade do produto e confiabilidade aprimorada. Criar uma cultura de melhoria contínua e implementar tecnologia como a automação HITL, que promove a integridade dos dados em todo o ciclo de vida do produto, é onde vejo a maior alavancagem para as organizações.
Para saber mais sobre tópicos nativos da nuvem, participe do Fundação de computação nativa em nuvem e a comunidade nativa da nuvem em KubeCon+CloudNativeCon América do Norte 2022 – 24 a 28 de outubro de 2022.