Plan du site  
français  English
pixel
pixel

Analyse du Big Data avec Pig, Hive, et Impala

x 4px;">

Analyse du Big Data avec Pig, Hive, et Impala

6 crédits ECTSÀ partir de la fin de la B.Sc.

Introduction

L'analyse du Big Data permet aux entreprises de prendre de meilleures décisions.

Au cours de cette option d'analyse du Big Data, vous obtenez les compétences pour élaborer des stratégies concurrentielles axées sur l'analyse des données.

Vous apprenez à utiliser une approche globale articulée autour du cycle de vie des données en appliquant des méthodes de modélisation des données sophistiquées à vos projets d'analyse du Big Data.

Cette formation vous apporte les connaissances pour exploiter Pig et Hive afin de préparer et d'analyser de grands ensembles de données dans Hadoop.

La productivité est accrue en évitant un codage MapReduce de niveau inférieur dans le sens où les programmeurs nettoient, filtrent et imposent une structure et interrogent des données pour obtenir plus d'informations de valeur.

Cela permet de meilleures décisions. Les requêtes à faible latence sont exécutées avec Impala et Shark.

Où se situe cette spécialisation dans les Cursus SUPINFO


Objectifs

  • Manipuler des ensembles de données complexes stockés dans Hadoop sans avoir à écrire de code complexe avec Java
  • Automatiser le transfert des données dans le stockage Hadoop avec Flume et Sqoop
  • Filtrer les données avec les opérations Extract–Transform–Load (ETL) avec Pig
  • Interroger plusieurs ensembles de données pour une analyse avec Pig et Hive


Contenu de la Spécialisation

  • 1. L’écosystème Hadoop

    1.1. Vue d’ensemble de Hadoop
    1.2. Analyser les composants Hadoop
    1.3. Définir l’architecture Hadoop
  • 2. Explorer HDFS et MapReduce

    2.1. Stocker les données dans HDFS
    2.2. Traitement parallèle avec MapReduce
    2.3. Automatiser le transfert des données
  • 3. Exécuter les flux de données avec Pig

    3.1. Décrire les caractéristiques d’Apache Pig
    3.2. Structurer les données non structurées
  • 4. Réaliser ETL avec Pig

    4.1. Transformer les données avec les opérateurs relationnels
    4.2. Filtrer les données avec Pig
  • 5. Manipuler les données avec Hive

    5.1. Exploiter les avantages métier de Hive
    5.2. Organiser les données dans Hive
    5.3. Concevoir la disposition des données pour la performance/i>
  • 6. Extraire de la valeur métier avec HiveQL

    6.1. Réaliser des jointures sur des données non structurées
    6.2. Repousser les limites de HiveQL
    6.3. Déployer Hive en production
    6.4. Rationaliser la gestion du stockage avec HCatalog
  • 7. Interagir avec les données Hadoop en temps réel

    7.1. Traitement parallèle avec Impala
  • 8. Lancer le framework Shark

    8.1. Réduire le temps d’accès aux données avec Shark
    8.2. Interroger les données Hive avec Shark
    8.3. Planification des stratégies de sauvegarde, de récupération et de sécurité

Ressources

Pour les Advanced Members (Inscrits à un cursus ou titulaires du statut)

Ces ressources sont une sélection utile d'un ensemble très riche de plus de 20.000 livres et vidéos de cours issus des plus grandes maisons d'édition et des meilleurs experts internationaux mis en accès illimité à la disposition des inscrits à SUPINFO International University disposant du statut "Advanced Member". Toute personne inscrite à un cursus SUPINFO dispose automatiquement de ce statut.Si vous n'êtes pas déjà authentifié sur les sites des bibliothèques de ressources SUPINFO, soit avec vos identifiants dédiés soit en passant par Open Campus, l'usage des liens ci-dessous ne vous donnera accès qu'à un aperçu des ouvrages. Devenez Advanced Member

Vous maitrisez le cours : Certifiez vous et obtenez des crédits ECTS

Suivez un Cursus SUPINFO

En vue d'obtenir un titre Bac+2 d'Associate of Science (A.Sc.) en fin de 2ème année, le titre A.Sc. peut être complété par une année de Bachelor of Science (titre B.Sc. Bac+3), puis par deux années de Master* Of Science (M.Sc. Bac+5)

Obtenez une certification et des crédits ECTS* à l'issue de cette spécialisation

Grâce à l'enseignement de SUPINFO que vous venez de suivre, vous aurez la possibilité de vous certifier en vous inscrivant à l'une de nos session d'évaluation.

Vous contribuez : publications remarquées de la communauté

Découvrez prochainement des articles, publications et vidéos des membres de la communauté SUPINFO. Ils vous permettront ainsi d'en apprendre d'avantage sur le cours et d'aller plus loin de votre apprentissage.

Vous souhaitez soumettre du contenu de qualité ?
N'hésitez pas à entrer en contact avec le full professor de la matière concernée pour lui faire part de votre demande.

A propos de SUPINFO | Contacts & adresses | Enseigner à SUPINFO | Presse | Conditions d'utilisation & Copyright | Respect de la vie privée | Investir
Logo de la société Learning Tree International, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Cisco, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société IBM, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Sun-Oracle, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Apple, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Intel, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Accenture, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société SAP, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Prometric, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo du IT Academy Program par Microsoft, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management

SUPINFO International University
Ecole d'Informatique - IT School
École Supérieure d'Informatique de Paris, leader en France
La Grande Ecole de l'informatique, du numérique et du management
Fondée en 1965, reconnue par l'État. Titre Bac+5 certifié au niveau I.
SUPINFO International University is globally operated by EDUCINVEST Belgium - Avenue Louise, 534 - 1050 Brussels