Arquitetura Data Mesh: um guia completo
A gestão dos dados pode ser um processo trabalhoso e complexo, especialmente em grandes organizações que concentram um volume alto. Foi a partir disso que a arquitetura data mesh surgiu, sendo uma maneira mais prática e eficiente de fazer o gerenciamento.
Mas você sabe como ela funciona, as suas vantagens ou por que ela não deveria ser usada por empresas pequenas? Continue lendo este artigo para saber isso e muito mais.
O que é arquitetura data mesh?
É uma estrutura que organiza e segmenta dados por setores de negócio. Um exemplo é o armazenamento separado de informações relacionadas ao setor de marketing e jurídico.
Isso permite que as empresas tenham maior controle dos dados armazenados, excluindo duplicidades, além de facilitar a acessibilidade, disponibilidade e escalabilidade no espaço de armazenamento.
Vale ressaltar que ela é um processo, uma abordagem, que as empresas costumam adotar. Não existe uma 'ferramenta única' de Data Mesh, mas sim um ecossistema de ferramentas que sustentam seus pilares.
Entenda os princípios do data mesh
O conceito da arquitetura pode parecer simples, mas tem que seguir alguns princípios que vamos explicar a seguir.
Arquitetura de dados descentralizada orientada ao domínio;
Dados disponibilizados como produto;
Infraestrutura para disponibilizar os dados como self-service;
Governança federada.
1. Arquitetura de dados descentralizada orientada ao domínio
A arquitetura deve ser descentralizada, a fim de facilitar o gerenciamento e também a divisão em domínios.
2. Dados disponibilizados como produto
A disponibilização dos dados como produto facilita a descentralização da gestão e a disponibilização do dado com foco na usabilidade e valor de negócio.
Isso traz diversos benefícios que proporcionam mais confiabilidade e qualidade nos dados armazenados, desenvolvimento contínuo e também facilidade na administração.
3. Infraestrutura para disponibilizar os dados como self-service
Um dos princípios que fazem a arquitetura data mesh ser tão popular é a facilidade no autoatendimento para a utilização dos dados armazenados. Dessa forma, o armazenamento se torna muito mais fácil (já que diferentes pessoas podem fazê-lo), assim como sua utilização.
4. Governança federada
A governança federada (gestão de dados que equilibra a autonomia local dos departamentos corporativos com as diretrizes centrais) permite que cada domínio de negócio tenha autonomia para gerir os dados, ao mesmo tempo que traz algumas diretrizes centrais, de forma que traga unidade dentro da empresa.
Ou seja, ela garante a interoperabilidade entre os domínios corporativos, que são independentes e que mesmo assim permite a comunicação entre os dados porque seguem padrões globais.
Quais as vantagens da arquitetura data mesh?
Apesar de recente (criada em 2019 por Zhamak Dehghani), ela veio para sanar diversos contratempos que outras formas de gestão de dados tinham, como a descentralização e duplicação de dados. Veja as principais vantagens a seguir.
Colaboração entre profissionais
Um dos fatores que faz com que essa arquitetura seja tão popular entre organizações é a alta colaboração que profissionais tem. Dessa forma, trabalhadores de uma mesma área conseguem dividir facilmente o conhecimento com outros dos mesmo departamento.
Alta produtividade
O fato dos dados de um mesmo domínio estarem agrupados faz com que sua utilização seja muito mais fácil e frequente. Isso ajuda colaboradores a entrarem em contato constantemente, aumentando o domínio nas informações e melhorando a produtividade.
Visibilidade de dados
Data mesh proporciona empresas a terem ampla visibilidade dos dados armazenados, já que existe a segmentação por setor.
Diminuição na duplicação dos dados
O tópico anterior tem impacto direto com este, já que a arquitetura data mesh proporciona conhecimento sobre as informações armazenadas, diminuindo a repetição.
Descentralização
A descentralização por si só já é um benefício, mas traz outra vantagem: a flexibilidade. Com ela, qualquer pessoa que esteja envolvida naquele departamento ou projeto pode facilmente consultar e utilizar os dados que são armazenados.
Governança centralizada
Ao mesmo tempo que existe a descentralização da estrutura, a governança é centralizada. Isso permite que, mesmo que separados por domínios, ainda exista uma conexão entre os dados, tornando-os acessíveis aos outros departamentos.
Análise de dados aprimorada
Por agrupar informações de domínios semelhantes, a análise dos dados se torna muito mais aprimorada, não apenas em qualidade, mas também na economia de tempo.
Tomada de decisões assertiva
A análise de dados aprimorada é um ótimo recurso para uma melhor tomada de decisões já que possibilita que gestores e tomadores de decisões sejam data driven, ou seja, tenham atitudes e resoluções baseadas em dados.
E como implementar o data mesh?
Não existe uma maneira exata para implementar uma arquitetura data mesh nas empresas. Na verdade, existem diferentes processos que fazem com que ela se consolide. Veja os principais a seguir.
Faça uma análise geral dos dados existentes
É preciso compreender quais tipos de dados existem para poder criar uma estratégia de armazenamento e operação. Assim, entendendo o que já existe dentro da organização, é possível decidir a melhor maneira de fazer a separação.
Crie um planejamento
Assim que são conhecidos os dados, é necessário criar um planejamento de como eles serão separados e armazenados. Desenvolva a melhor estratégia que se adequa a sua empresa e aos departamentos existentes, e se possível, pense no futuro, em possíveis cenários que podem vir.
Implemente as ferramentas certas
Apesar de não existir um software específico que implemente a arquitetura dentro da sua organização, ainda assim existem algumas que colaboram com a tarefa.
A ManageEngine possui diversas ferramentas que podem ajudar os gestores mais exigentes a deixar sua empresa de acordo com o data mesh.
O ADManager Plus é uma ferramenta de gestão do Active Directory. Essencial para a governança de Identidades, garantindo acesso granular aos domínios de dados (RBAC), auxiliando na arquitetura data mesh.
O ServiceDesk Plus é uma ferramenta de gerenciamento de serviços corporativos (ESM) que atua na orquestração de serviços, permitindo que as requisições de infraestrutura para novos domínios fluam de maneira self-service.
Eduque os colaboradores
Os profissionais são aqueles que estão em contato todos os dias com a arquitetura e suas ferramentas. Por esse motivo, é essencial ter o apoio e a compreensão de todos.
Treinamentos constantes, assim como a mudança cultural dentro da empresa são fundamentais para que os processos sejam seguidos e funcionem.
Qual a diferença entre data mesh, data lake, data warehouse e silo de dados?
Muitos confundem esses conceitos e mesmo que pareçam iguais, existem grandes diferenças entre eles. Veja elas a seguir.
Data lake vs. Data mesh
Ao contrário do data mesh, que possui repositórios descentralizados, os repositórios dos data lakes são centralizados e armazenam um alto volume de dados brutos. Por isso, o data lake é ideal para a análise de big data.
Data warehouse vs. Data mesh
Data warehouse é um repositório centralizado (assim como o data lake), porém, ao contrário do anterior, ele armazena dados estruturados e/ou semiestruturados, sendo ideal para power BI.
Silo de dados vs. Data mesh
Diferente dos silos de dados, que são barreiras isoladas e muitas vezes acidentais que impedem a colaboração, o Data Mesh é uma descentralização intencional e governada, onde a separação existe para dar agilidade, não para esconder informações.
Por que a arquitetura data mesh não é ideal para pequenas empresas?
Esse tipo de organização é de alta ajuda para diferentes tipos de empresa. Mas isso não significa que ela é ideal para empresas pequenas, especialmente aquelas com número reduzido de colaboradores.
Por se tratar de um processo extenso que abrange toda empresa, aquelas que são menores podem não se beneficiar de todas as vantagens que a arquitetura oferece exatamente por terem poucos funcionários.
Imagina ter que gastar tempo e dinheiro implementando uma abordagem complexa para não ter todos os benefícios que ela fornece? Especialmente porque algumas poucas mudanças de hábito entre os profissionais presentes pode trazer benefícios semelhantes.
Conclusão
Como vimos, a arquitetura data mesh pode trazer inúmeros benefícios quando bem aplicada. Além disso, o processo de implementação pode ser muito mais fácil quando utilizadas ferramentas práticas e de qualidade.
Além das já citadas, o Log360 é uma ferramenta de segurança que pode acrescentar ao seu processo de data mesh. Com auditoria de dados, detecção de anomalias e análise de usuário e entidade (UEBA) ele pode ser a solução ideal para garantir a segurança e manter a conformidade dentro da sua arquitetura.
Já o Analytics Plus, a ferramenta de análise de dados da ManageEngine, permite que gestores tenham insights poderosos sobre todo o ambiente de TI. A análise de serviços, projetos e banco de dados melhora a tomada de decisões e otimiza processos.
Todos as ferramentas da ManageEngine possuem um teste gratuito de 30 dias.
Nota: Encontre a revenda da ManageEngine certa. Entre em contato com a nossa equipe de canais pelo e-mail latam-sales@manageengine.com.
Importante: a ManageEngine não trabalha com distribuidores no Brasil.