PySpark e Elasticsearch - construindo projetos com dados

Rating 5.0 out of 5 (1 ratings in Udemy)

What you'll learn

O que é PYSPARK
O que é SPARK
Instalando o SPARK em um ambiente Windows, configurando
Instalando o ANACONDA
Instalando a JDK
Entendendo o ecossistema : Apache Spark + Anaconda + JAVA
Entendendo o conceito de NÓ, CLUSTER
Conhecendo os módulos e pacotes do PYSPARK
O que é SparkContext
Entendo o que é RDD (Resilient Distributed Dataset)
Trabalhando com Spark Dataframe
Compreendendo as diferenças entre transformações e ações, …

Rating 5.0 out of 5 (1 ratings in Udemy)

What you'll learn

O que é PYSPARK
O que é SPARK
Instalando o SPARK em um ambiente Windows, configurando
Instalando o ANACONDA
Instalando a JDK
Entendendo o ecossistema : Apache Spark + Anaconda + JAVA
Entendendo o conceito de NÓ, CLUSTER
Conhecendo os módulos e pacotes do PYSPARK
O que é SparkContext
Entendo o que é RDD (Resilient Distributed Dataset)
Trabalhando com Spark Dataframe
Compreendendo as diferenças entre transformações e ações, operações com PYSPARK
Operações: collect, count, parallelize, getNumPartitions, textFile, first, filter, cache, Show, take
Aprendendo o que é uma função Lambda
Operações: flatMap, map, reduceByKey, sortBY, join, leftOuterjoin, rightOuterjoin, select, groupBy, orderBy
Monitoramento de jobs com SPARK UI
O que é SparkSession
Leitura de arquivos externos
SPARK SQL
Leitura de dados em JSON
Elasticsearch sobre o seu mecanismo criado para análise de dados e busca
Entender como é realizada a combinação de muitos tipos de buscas — estruturadas, não estruturadas
Compreender Elasticsearch usa APIs RESTful e JSON padrão
Aprendizado sobre Elasticsearch, Logstash e Kibana
Elasticsearch banco de dados NoSQL
Logstash ferramenta para ingestão de dados
Kibana ferramenta para criação de visualização de dados e Dashboards
Canvas utilizado para criação de infográficos, documentos e projetos gráficos com os dados
Compreender sobre como são armazenados os documentos
Entender a estrutura JSON de armazenamento
Entender sobre índices, tipos de documentos, documentos e campos
Entendimento do que são shards, conhecimento sobre partição de índices, conhecimento sobre réplica de shards
O que é um NÓ
Como utilizar e o que significa um Request Body
Como funciona a busca URI
Trabalhando com as aplicações Discover, Viazualize

Description

Você está prestes a adentra em um dos treinamentos mais requisitados, que possuem duas grandes necessidades do mercado, o tratamento de dados em um ambiente No SQL e o trabalho destes dados em uma estrutura com processamento distribuído, estamos falando do uso do PySpark com SPARK e do ecossistema Elasticsearch.

Inicialmente vamos abordar todas as funcionalidades do uso do PySpark, que vem a ser a utilização da linguagem Python dentro do SPARK, que é conhecido pela sua grande velocidade no tratamento dos dados e pela geração de pipelines com dados executando em memória. O PySpark permitira que você leia dados de forma estruturada, semi-estruturada e não-estruturada, aprenderemos a utilizar os chamados RDDs e Dataframes. Ainda veremos o uso de SPARK SQL e SPARK STREAMING.

Já no uso do Elasticsearch, prepare-se para adentrar em um ambiente de estrutura de dados bem moderno e com características bem peculiares. Nele será possível a ingestão de dados pelo uso do Logstash, a exibição e tratamento dos dados no uso do KIBANA e ainda um ambiente que permite que mesmo que os dados sejam gravados em formato de documento, você poderá utilizar tudo que conhece de SQL com execução de scripts para esta finalidade.

não perca a chance de começar hoje mesmo e estar por dentro destas tecnologias que estão dominando o mercado.

Então venha e comece!

Duration 6 Hours 58 Minutes

Paid

Self paced

Intermediate Level

Portuguese (Brazil)

Rating 5.0 out of 5 (1 ratings in Udemy)

Go to the Course
We have partnered with providers to bring you collection of courses, When you buy through links on our site, we may earn an affiliate commission from provider.