Sai Hadoop, entra Spark Domando o Big Data no dia a dia Allan - PowerPoint PPT Presentation

Sai Hadoop, entra Spark Domando o Big Data no dia a dia Allan Oliveira | allan @chaordic .com.br

tópico 1 Emails personalizados

Campanha Redução de Preço

Campanha Indecisos

O Desafio dos Emails Personalizados

Pageviews +600 milhões

Usuários +42 milhões

tópico 2 Evolução de uma arquitetura de emails personalizados

Evolução da arquitetura A base de tudo

Evolução da arquitetura A base de tudo

Evolução da arquitetura A base de tudo

Evolução da arquitetura O início da história

Evolução da arquitetura O início da história

Evolução da arquitetura O início da história

Evolução da arquitetura O início da história

Evolução da arquitetura O início da história

Evolução da arquitetura O início da história

Evolução da arquitetura O início da história

Evolução da arquitetura O início da história

Evolução da arquitetura O início da história

Evolução da arquitetura O início da história

Evolução da arquitetura Quando o Hadoop chegou

Evolução da arquitetura Quando o Hadoop chegou

Evolução da arquitetura Quando o Hadoop chegou

Evolução da arquitetura Quando o Hadoop chegou

Evolução da arquitetura Quando o Hadoop chegou

Evolução da arquitetura Quando o Hadoop chegou

tópico 3 gasm

Sparkgasm! Uma só plataforma para todos os seus problemas

Sparkgasm! Uma só plataforma para todos os seus problemas

Sparkgasm! Uma só plataforma para todos os seus problemas

Sparkgasm! Uma só plataforma para todos os seus problemas

Sparkgasm! Uma só plataforma para todos os seus problemas

Sparkgasm! Como Spark é mais rápido que Hadoop 6.75 1 82.5 11

tópico 4 As dificuldades ao se usar o Spark

Hadoop-client O presente de grego para o Spark

Bugs do Spark

Bugs do Spark

operação necessita investimento

tópico 5 Ignition: o nosso aprendizado

Projetos open-source da Chaordic Ignition-Template github.com/chaordic/ignition-template Job Runner: Job/Setup Advanced Cluster Examples Organization Control Ignition-Core github.com/chaordic/ignition-core Cluster Utilitary Multi-Setup Management & Functions Runner Job Execution

montando um cluster robusto

Algoritmo Escolher a melhor máquina na melhor AZ cujo preço spot não é muito volátil; ● Levantar o cluster; ● Fazer um teste de sanidade no cluster; ● ● Rodar o Job (1 ou infinitas vezes); Quando falhar, refazer teste de sanidade; ● Recriar cluster caso teste de sanidade falhe, usando uma AZ/máquina diferente. ●

organizando projetos

Setups Puro I/O Mail Builder Non-realtime Realtime Setup Setup Setup

Setups Puro I/O Mail Builder Non-realtime Realtime Setup Setup Setup Jobs Sem efeitos colaterais! User Mail Entities Campaign A History Builder Job Update Job Job Job

Setups Puro I/O Mail Builder Non-realtime Realtime Setup Setup Setup Jobs Sem efeitos colaterais! User Mail Entities Campaign A History Builder Job Update Job Job Job Reusable Libraries Realtime Mail-team library Chaordic library Ignition-core Setup

como a não-saída é tão importante quanto a saída

Validated Rec Products Success Success Success Failed Product Product Product Product Reason Validated Base Success Success Failed Product Failed Product Products Product Product Reason Reason Success! (Email)

Reason: numberOfValidRecommendationsIsLessThanMinimum Validated Rec Products Failed Product Failed Product Failed Product Failed Product Reference Reason Reason Reason Reason Validated Base Products Success Success Failed Product Failed Product Reference Product Product Reason Reason Failure (Email Reason)

lidando com dados mal-comportados

Dado normal

Dados enviesados

Outliers: os vilões

Tratando outliers rdd.groupByKey()

Tratando outliers rdd.groupByKey()

Tratando outliers rdd.groupByKey() rdd.groupByKeyAndTake(max)

Batches near-realtime com Secor, Kafka e S3 S3 http://github.com/pinterest/secor

Venha aprender junto com a gente! monkeys . chaordic .com.br allan @chaordic.com.br github.com/ chaordic #QCONBIGDATA