Introduction to Data Mesh - Zhamak Dehghani

Introdução

Visão geral da seção: Nesta seção, Zhamak apresenta a si mesma e ao tópico que será discutido.

• Zhamak é diretora de tecnologias emergentes na ThoughtWorks, América do Norte.

• O tópico a ser discutido é o Data Mesh.

Capacidades necessárias para o Data Mesh

Visão geral da seção: Nesta seção, Zhamak fala sobre as capacidades necessárias para implementar o Data Mesh.

• É necessário ter um sistema em frente às capacidades básicas, como trabalho com metal, rede CI/CD e armazenamento de blocos de dados.

• Os usuários devem poder solicitar essas capacidades de forma automatizada e com menos atrito.

• Além disso, é necessário criar novas capacidades para atender às necessidades do Data Mesh.

• É preciso criar novos níveis de abstração e automação para facilitar a gestão declarativa do ciclo de vida dos produtos de dados.

• São necessárias novas capacidades para executar operações no nível mesh, como conectar produtos de dados ou executar consultas semânticas.

Nova ordem mundial habilitada pelo Data Mesh

Visão geral da seção: Nesta seção, Zhamak fala sobre a nova ordem mundial habilitada pelo Data Mesh.

• A nova ordem mundial requer uma nova série de valores e descentralização ou auto-soberania dos domínios.

• Os domínios devem estar no controle dos seus dados e modelos.

• É necessário habilitar a interoperabilidade entre os domínios.

• Os produtos de dados vão e vem, se dividem e convergem, portanto, é preciso ter uma governança que possa lidar com isso.

• É importante automatizar todas as políticas criadas e aproveitar a plataforma.

Modelagem e modelos canônicos

Visão geral da seção: Nesta seção, o palestrante discute a importância de empresas construírem plataformas de dados grandes e escaláveis. Ele enfatiza que as empresas precisam definir o que constitui qualidade e segurança dos dados para garantir que essas plataformas possam ser dimensionadas com sucesso.

Responsabilidade pela qualidade e segurança dos dados

• Em vez de ter responsabilidade pela qualidade, as empresas devem construir grandes plataformas de dados.

• Uma vez bem-sucedidas na construção dessas plataformas, elas são responsáveis por definir o que constitui qualidade e segurança dos dados.

• No entanto, muitas vezes falham em dimensioná-las adequadamente.

• As empresas precisam incorporar a definição do que é qualidade e segurança dos dados nas plataformas.

• É responsabilidade dos proprietários de produtos do domínio produzir dados com grandes volumes e ritmo rápido para atender às garantias acordadas.

Fracasso na escala da plataforma

• As empresas falham em escalar a plataforma para atender às garantias acordadas.

• A resposta para esses pontos de fricção é frequentemente padronização.

• Mudar de um ativo para um produto requer mudança na medida do sucesso.

• O número aqui pode se referir a um número diverso de consumidores.

• As conexões são representativas de alguém usando seus dados e obtendo valor a partir deles.

Mudança de paradigma

Visão geral da seção: Nesta seção, o palestrante discute como a mudança para uma abordagem de "data mesh" pode ajudar as empresas a superar os desafios associados à construção e dimensionamento de grandes plataformas de dados.

Desafios com plataformas tradicionais

• As plataformas tradicionais têm um grande número de pontos problemáticos.

• É necessário pensar fora da caixa para superar esses problemas.

• A gestão e coleta de grandes dados precisam ser feitas diferentemente.

Abordagem do data mesh

• O data mesh é uma mudança paradigmática na forma como as empresas lidam com seus dados.

• O objetivo é trazer o plano operacional e analítico juntos em uma plataforma automatizada.