> Toutes nos certifications > Data Warehousing with BigQuery: Storage Design, Query Optimization, and Administration
Nouvelle formation

Formation : Data Warehousing with BigQuery: Storage Design, Query Optimization, and Administration

Cours officiel, préparation aux examens de certification Google Cloud

Data Warehousing with BigQuery: Storage Design, Query Optimization, and Administration

Cours officiel, préparation aux examens de certification Google Cloud
Télécharger le programme Partager cette formation

Télécharger le programme Partager cette formation

Avec cette formation, vous découvrirez les composants internes de BigQuery et les bonnes pratiques de conception, d’optimisation et d’administration de votre Data Wharehouse. Vous découvrirez l’architecture BigQuery et comment concevoir un stockage et des schémas optimaux pour l’ingestion et les modifications de données. Vous apprendrez des techniques pour améliorer les performances de lecture, optimiser les requêtes, gérer les charges de travail et utiliser les outils de journalisation et de surveillance et aussi différentes méthodes pour sécuriser les données, etc.


Inter
Intra
Sur mesure

Cours pratique en présentiel ou en classe à distance

Réf. DWQ
Prix : 2850 € H.T.
  3j - 21h00
Pauses-café et
déjeuners offerts




Avec cette formation, vous découvrirez les composants internes de BigQuery et les bonnes pratiques de conception, d’optimisation et d’administration de votre Data Wharehouse. Vous découvrirez l’architecture BigQuery et comment concevoir un stockage et des schémas optimaux pour l’ingestion et les modifications de données. Vous apprendrez des techniques pour améliorer les performances de lecture, optimiser les requêtes, gérer les charges de travail et utiliser les outils de journalisation et de surveillance et aussi différentes méthodes pour sécuriser les données, etc.

Objectifs pédagogiques
À l’issue de la formation, le participant sera en mesure de :
  • Décrire les principes de base de l’architecture BigQuery
  • Implémenter des modèles de conception de stockage et de schéma pour améliorer les performances
  • Utiliser DML et planifier des transferts de données pour ingérer des données
  • Appliquer les meilleures pratiques pour améliorer l’efficacité de la lecture et optimiser les performances des requêtes
  • Gérer la capacité et automatiser les charges de travail
  • Comprendre les modèles par rapport aux anti-modèles pour optimiser les requêtes et améliorer les performances de lecture
  • Utiliser des outils de journalisation et de surveillance pour comprendre et optimiser les modèles d’utilisation
  • Appliquer les meilleures pratiques de sécurité pour gérer les données et les ressources
  • Créer et déployer plusieurs catégories de modèles de machine learning avec BigQuery ML

Public concerné
Data analyst, data scientist, data engineer et développeurs qui effectuent des travaux à grande échelle nécessitant des connaissances avancées de BigQuery pour optimiser les performances.

Prérequis
Avoir suivi le cours « Google Cloud Platform Big Data and Machine Learning Fundamentals » Réf. GCV ou avoir des connaissances équivalentes.
Vous recevrez par mail des informations permettant de valider vos prérequis avant la formation.

Programme de la formation

Principes de base de l’architecture BigQuery

  • Expliquer les avantages du stockage en colonne.
  • Comprendre comment BigQuery traite les données.
  • Découvrir les principes de base du service de shuffling de BigQuery pour améliorer l’efficacité des requêtes.

Optimisations de stockage et de schéma

  • Comparer les performances de différents schémas.
  • Partitionner et regrouper les données pour de meilleures performances.
  • Améliorer la conception du schéma à l’aide de champs imbriqués et répétés.
  • Décrire les meilleures pratiques supplémentaires telles que l’expiration des tables et des partitions.

Ingestion de données

  • Ingérer des données par lots et en continu.
  • Interroger des sources de données externes.
  • Planifier les transferts de données.
  • Comprendre comment utiliser l’API Storage Write.

Modification des données

  • Écrire des instructions DML.
  • Résoudre les problèmes de performances et les goulots d’étranglement courants de DML.
  • Identifier les Slowly Changing Dimensions (SCD) dans vos données et effectuer des mises à jour.

Améliorer les performances de lecture

  • Explorer le cache de BigQuery.
  • Créer des vues matérialisées.
  • Travailler avec BI Engine pour accélérer vos requêtes SQL.
  • Utiliser l’API Storage Read pour un accès rapide au stockage géré par BigQuery.
  • Expliquer les écueils liés à l’utilisation de sources de données externes.

Optimisation et dépannage des requêtes

  • Interpréter les détails d’exécution de BigQuery et le plan de requête.
  • Optimiser les performances des requêtes en utilisant les méthodes suggérées pour les instructions et les clauses SQL.
  • Démontrer les meilleures pratiques pour les fonctions dans les cas d’utilisation métier.

Gestion de la charge de travail et tarification

  • Définir un emplacement BigQuery.
  • Expliquer les modèles de tarification et les estimations de tarification.
  • Comprendre les réservations de créneaux, les engagements et les affectations.
  • Identifier les meilleures pratiques pour contrôler les coûts.

Journalisation et surveillance

  • Utiliser Cloud Monitoring pour afficher les métriques BigQuery.
  • Explorer le BigQuery Admin Panel.
  • Utiliser les Cloud Audit Logs.
  • Utiliser les tables INFORMATION_SCHEMA pour obtenir des informations sur vos entités BigQuery.

Sécurité dans BigQuery

  • Explorer la découverte de données à l’aide de Data Catalog.
  • Découvrir la gouvernance des données à l’aide de l’API DLP et Data Catalog.
  • Créer des stratégies IAM (par exemple, des vues autorisées) pour sécuriser les ressources.
  • Sécuriser les données avec des classifications (par exemple, des politiques au niveau des lignes).
  • Comprendre comment BigQuery utilise le chiffrement.

Automatisation des charges de travail

  • Planifier des requêtes.
  • Utiliser des scripts et des procédures stockées pour créer des transformations personnalisées.
  • Décrire comment intégrer les charges de travail BigQuery à d’autres produits de big data Google Cloud.

Apprentissage automatique dans BigQuery

  • Décrire certaines des différentes applications de BigQuery ML.
  • Créer et déployer plusieurs catégories de modèles de machine learning avec BigQuery ML.
  • Utiliser AutoML Tables pour résoudre des problèmes commerciaux à forte valeur.


Certification
Nous vous recommandons de suivre cette formation si vous souhaitez préparer la certification "Google Cloud Professional Data Engineer".
Comment passer votre examen ?

Méthodes et moyens pédagogiques
Méthodes pédagogiques;
Animation de la formation en français. Support de cours officiel en anglais et au format numérique. Bonne compréhension de l’anglais à l’écrit.

Modalités d'évaluation
Le formateur évalue la progression pédagogique du participant tout au long de la formation au moyen de QCM, mises en situation, travaux pratiques…
Le participant complète également un test de positionnement en amont et en aval pour valider les compétences acquises.

Solutions de financement
Pour trouver la meilleure solution de financement adaptée à votre situation : contactez votre conseiller formation.
Il vous aidera à choisir parmi les solutions suivantes :
  • Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
  • Le dispositif FNE-Formation
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • France Travail sous réserve de l’acceptation de votre dossier par votre conseiller France Travail.
  • Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
  • Le dispositif FNE-Formation
  • L’OPCO (opérateurs de compétences) de votre entreprise.
  • France Travail sous réserve de l’acceptation de votre dossier par votre conseiller France Travail.

Horaires
En présentiel, les cours ont lieu de 9h à 12h30 et de 14h à 17h30.
Les participants sont accueillis à partir de 8h45. Les pauses et déjeuners sont offerts.
Pour les stages pratiques de 4 ou 5 jours, quelle que soit la modalité, les sessions se terminent à 16h le dernier jour.

Dates et lieux
Sélectionnez votre lieu ou optez pour la classe à distance puis choisissez votre date.
Classe à distance