Vous êtes ici : Formations en Ligne Gratuites » Catalogue » workbooks » BDF100 - Hortonworks Data Platform Administration - Mise en Place de l'Infrastructure

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision		Révision précédente
elearning:workbooks:hdp:start [2020/09/15 08:56] – adminelearning:workbooks:hdp:start [2020/09/17 08:26] (Version actuelle) – admin
Ligne 5: Ligne 5:
 Dernière mise-à-jour : ~~LASTMOD~~ Dernière mise-à-jour : ~~LASTMOD~~
  
-============Hortonworks Data Platform Administration - Mise en Place de l'Infrastructure======+======BDF100 - Hortonworks Data Platform Administration - Mise en Place de l'Infrastructure======
  
-Cette infrastructure doit être mise en place sur des serveurs bare metal avec les caractéristiques suivantes :+=====Contenu du Module=====
  
-  * XEON-SATA-2-64 Server - 8c/16t - Intel Xeon D-1540 - 64GB DDR4 ECC 2133MHz - 4x 2To HDD SATA Soft RAID+ **BDF100 - Hortonworks Data Platform Administration - Mise en Place de l'Infrastructure** 
 +    * Contenu du Module 
 +    * Pré-requis 
 +      * Matériel 
 +      * Logiciels 
 +      * Internet 
 +    * Mise en Place de l'Infrastructure 
 +      * Connexion au Serveur Cloud 
 +        * Linux, MacOS et Windows 10 muni du client ssh 
 +        * Windows 7 et Windows 10 sans client ssh 
 +      * Configuration de Votre Serveur 
 +        * Téléchargement de la VM de base 
 +        * Importer la VM CentOS_7_8.ova 
 +        * Configurer le transfert de port pour la VM sur nic1 
 +        * Créer le Réseau Privé Hôte 192.168.56.0/24 
 +        * Configurer nic2 en Réseau Privé Hôte 
 +        * Augmenter le nombre de vcpus sur la VM 
 +        * Augmenter la RAM de la VM 
 +        * Désactiver EHCI sur la VM 
 +        * Démarrer la VM 
 +        * Editer le fichier /etc/hosts 
 +        * Se connecter à la VM 
 +        * Devenir root 
 +        * Editer le fichier /etc/hosts 
 +        * Augmenter le nombre de fichiers qui peuvent être ouverts en même temps 
 +        * Désactiver et arrêter le pare-feu 
 +        * Désactiver SELinux 
 +        * Changer la valeur de VM Swappiness à 10 
 +        * Installer NTP puis Activer et démarrer le serveur NTP 
 +        * Désactiver Transparent Huge Page 
 +        * Configurer le réseau 
 +        * Arreter la VM 
 +        * Supprimer la redirection de port de la VM 
 +        * Se placer dans le répertoire /home/desktop/VirtualBox\ VMs/ 
 +        * Cloner 6 fois la VM CentOS_7_8 
 +        * Déplacer les VMs dans /home/desktop/Downloads 
 +        * Importer les VMs 
 +        * Modifier les noms de clones 
 +        * Configurer la redirection de ports sur chaque VM 
 +      * Configurer la VM master1 
 +      * Configurer la VM master2 
 +      * Configurer la VM master3 
 +      * Configurer la VM worker1 
 +      * Configurer la VM worker2 
 +      * Configurer la VM worker3 
 +      * Prendre des Snapshots 
 +      * Démarrer les Machines Virtuelles 
 +      * Se Connecter aux Machines Virtuelles 
 +    * Se connecter en mode graphique au serverXX.ittraining.network 
 +    * Utiliser la console Ambari 
 +      * Get Started 
 +      * Install Options 
 +      * Confirm Hosts 
 +      * Choose Services 
 +      * Assign Masters 
 +      * Assign Slaves and Clients 
 +      * Customize Services 
 +      * Review 
 +      * Install, Start and Test
  
-Dans le parc, les serveurs numéros 41 et plus sont compatibles. +=====Prérequis=====
  
-Le serveur 40 est le serveur de référence. Remplacez XX par le numéro de votre serveur.+==== Matériel====
  
-=====Configuration de Votre Serveur=====+  * Un poste (MacOS, Linux, Windows(tm) ou Solaris(tm)), 
 +  * Clavier AZERTY FR ou QWERTY US, 
 +  * 4 Go de RAM minimum, 
 +  * Processeur 2 cœurs minimum, 
 +  * Un casque ou des écouteurs, 
 +  * Un micro (optionnel).
  
-====Connexion à votre serveur====+====Logiciels====
  
-Connectez-vous au serverXX en utilisant ssh :+  * Si Windows(tm) - Putty et WinSCP, 
 +  * Navigateur Web Chrome ou Firefox. 
 + 
 +====Internet==== 
 + 
 +  * Un accès à Internet **rapide** (4G minimum) **sans** passer par un proxy, 
 +  * Accès **débloqué** aux domaines suivants : https://my-short.link, https://itraining.center, https://ittraining.io, https://ittraining.institute, https://ittraining.support. 
 + 
 +=====Mise en Place de l'Infrastructure===== 
 + 
 +====Connexion au Serveur Cloud==== 
 + 
 +**Pendant la durée de la formation**, vous disposez d'un serveur dédié **XEON-SATA-2-64 Server - 8c/16t - Intel Xeon D-1540 - 64GB DDR4 ECC 2133MHz - 4x 2To HDD SATA Soft RAID**, pré-installé, pré-configuré et hébergé dans le cloud. Ce serveur est muni de VirtualBox.  
 + 
 +Vous allez commencer par créer six machines virtuelles **CentOS 7** et les configurer selon le tableau ci-dessous : 
 + 
 +^ Machine Virtuelle ^ Nom d'hôte ^ Interface 1 ^  Interface 2 ^ 
 +| master1 | master1.ittraining.loc | 10.0.2.15 | 192.168.56.2 | 
 +| master2 | master2.ittraining.loc | 10.0.2.15 | 192.168.56.3 | 
 +| master3 | master3.ittraining.loc | 10.0.2.15 | 192.168.56.4 | 
 +| worker1 | worker1.ittraining.loc | 10.0.2.15 | 192.168.56.5 | 
 +| worker2 | worker2.ittraining.loc | 10.0.2.15 | 192.168.56.6 | 
 +| worker3 | worker3.ittraining.loc | 10.0.2.15 | 192.168.56.7 | 
 + 
 +Les noms d'utilisateurs et les mots de passe seront : 
 + 
 +^ Utilisateur ^ Mot de Passe ^ 
 +| trainee | trainee | 
 +| root | fenestros | 
 + 
 +===Linux, MacOS et Windows 10 muni du client ssh=== 
 + 
 +Ouvrez un terminal ou CMD et tapez la commande suivante :
  
 <code> <code>
-$ ssh desktop@serverXX.ittraining.network +$ ssh -l desktop serverXX.ittraining.network
-desktop@serverXX.ittraining.network's password: +
 </code> </code>
 +
 +<code>
 +> ssh -l desktop serverXX.ittraining.network
 +</code>
 +
 +où **XX** représente le numéro de votre serveur dédié. Entrez ensuite le mot de passe qui vous a été fourni.
 +
 +===Windows 7 et Windows 10 sans client ssh===
 +
 +Ouvrez **putty** et utilisez les informations suivantes pour vous connecter à votre serveur dédié :
 +
 +  * Host Name --> serverXX.ittraining.network
 +  * Port --> 22
 +
 +Au prompt, connectez-vous en tant que **desktop** avec le mot de passe qui vous a été fourni.
 +
 +=====Configuration de Votre Serveur=====
  
 ====Téléchargement de la VM de base==== ====Téléchargement de la VM de base====
Ligne 202: Ligne 313:
 <code> <code>
 [root@centos7 ~]# nmcli connection add con-name ip_enp0s8 ifname enp0s8 type ethernet ip4 192.168.56.2/24 gw4 10.0.2.2 [root@centos7 ~]# nmcli connection add con-name ip_enp0s8 ifname enp0s8 type ethernet ip4 192.168.56.2/24 gw4 10.0.2.2
-Connection 'ip_fixe' (0e8456ba-23c9-4fb4-a6fd-58d2f7af5048) successfully added.+Connection 'ip_enp0s8' (0e8456ba-23c9-4fb4-a6fd-58d2f7af5048) successfully added.
 [root@centos7 ~]# nmcli connection up ip_enp0s8 [root@centos7 ~]# nmcli connection up ip_enp0s8
 </code> </code>
Ligne 394: Ligne 505:
  
 <code> <code>
-[root@master1 ~]# wget https://www.dropbox.com/s/df9chv5u787oaju/ambari-2.7.4.0-centos7.tar.gz+[root@master1 ~]# wget https://www.dropbox.com/s/ze6iv91jnkti0o6/ambari-2.7.4.0-centos7.tar.gz
 [root@master1 ~]# wget https://www.dropbox.com/s/a64kmict0ptmjd3/HDP-3.1.4.0-centos7-rpm.tar.gz [root@master1 ~]# wget https://www.dropbox.com/s/a64kmict0ptmjd3/HDP-3.1.4.0-centos7-rpm.tar.gz
 [root@master1 ~]# wget https://www.dropbox.com/s/v1c3mhigwalv54c/HDP-UTILS-1.1.0.22-centos7.tar.gz [root@master1 ~]# wget https://www.dropbox.com/s/v1c3mhigwalv54c/HDP-UTILS-1.1.0.22-centos7.tar.gz
Ligne 1415: Ligne 1526:
 </code> </code>
  
-=====Prise de Snapshots=====+=====Prendre des Snapshots=====
  
 Avant de poursuivre, prenez une instantanée de chaque VM : Avant de poursuivre, prenez une instantanée de chaque VM :
  
 <code> <code>
-desktop@serverXX:~/Downloads$ VBoxManage snapshot master1 take "snapshot1" --description "Fresh install"+desktop@serverXX:~$ VBoxManage snapshot master1 take "snapshot1" --description "Fresh install"
 0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100% 0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%
 Snapshot taken. UUID: 24bcd65c-b648-4e30-a46a-7f41e47a33e3 Snapshot taken. UUID: 24bcd65c-b648-4e30-a46a-7f41e47a33e3
-desktop@serverXX:~/Downloads$ VBoxManage snapshot master2 take "snapshot1" --description "Fresh install"+desktop@serverXX:~$ VBoxManage snapshot master2 take "snapshot1" --description "Fresh install"
 0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100% 0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%
 Snapshot taken. UUID: a6442d0e-828f-4db4-9a99-42819e131271 Snapshot taken. UUID: a6442d0e-828f-4db4-9a99-42819e131271
-desktop@serverXX:~/Downloads$ VBoxManage snapshot master3 take "snapshot1" --description "Fresh install"+desktop@serverXX:~$ VBoxManage snapshot master3 take "snapshot1" --description "Fresh install"
 0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100% 0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%
 Snapshot taken. UUID: a4370cc7-96db-478a-b46f-ebf8e86d22b9 Snapshot taken. UUID: a4370cc7-96db-478a-b46f-ebf8e86d22b9
-desktop@serverXX:~/Downloads$ VBoxManage snapshot worker1 take "snapshot1" --description "Fresh install"+desktop@serverXX:~$ VBoxManage snapshot worker1 take "snapshot1" --description "Fresh install"
 0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100% 0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%
 Snapshot taken. UUID: 13b665ff-d808-4c7c-9f1d-11dbe0df61bc Snapshot taken. UUID: 13b665ff-d808-4c7c-9f1d-11dbe0df61bc
-desktop@serverXX:~/Downloads$ VBoxManage snapshot worker2 take "snapshot1" --description "Fresh install"+desktop@serverXX:~$ VBoxManage snapshot worker2 take "snapshot1" --description "Fresh install"
 0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100% 0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%
 Snapshot taken. UUID: 832b0513-48c9-449f-845d-facd9b1b2298 Snapshot taken. UUID: 832b0513-48c9-449f-845d-facd9b1b2298
-desktop@serverXX:~/Downloads$ VBoxManage snapshot worker3 take "snapshot1" --description "Fresh install"+desktop@serverXX:~$ VBoxManage snapshot worker3 take "snapshot1" --description "Fresh install"
 0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100% 0%...10%...20%...30%...40%...50%...60%...70%...80%...90%...100%
 Snapshot taken. UUID: b219559d-ecc9-4938-815e-6da06d762b7a Snapshot taken. UUID: b219559d-ecc9-4938-815e-6da06d762b7a
 </code> </code>
 +
 +=====Démarrer les Machines Virtuelles=====
 +
 +Démarrez les VMs :
 +
 +<code>
 +desktop@serverXX:~$ VBoxManage startvm master1 --type headless
 +desktop@serverXX:~$ VBoxManage startvm master2 --type headless
 +desktop@serverXX:~$ VBoxManage startvm master3 --type headless
 +desktop@serverXX:~$ VBoxManage startvm worker1 --type headless
 +desktop@serverXX:~$ VBoxManage startvm worker2 --type headless
 +desktop@serverXX:~$ VBoxManage startvm worker3 --type headless
 +</code>
 +
 +=====Se Connecter aux Machines Virtuelles=====
 +
 +En utilisant une première connexion SSH, tapez la commande suivante pour vous connecter à la machine **master1** :
 +
 +<code>
 +desktop@serverXX:~$ ssh -l trainee master1.ittraining.loc
 +</code>
 +
 +En utilisant une deuxième connexion SSH, tapez la commande suivante pour vous connecter à la machine **master2** :
 +
 +<code>
 +desktop@serverXX:~$ ssh -l trainee master2.ittraining.loc
 +</code>
 +
 +En utilisant une troisième connexion SSH, tapez la commande suivante pour vous connecter à la machine **master3** :
 +
 +<code>
 +desktop@serverXX:~$ ssh -l trainee master3.ittraining.loc
 +</code>
 +
 +En utilisant une quatrième connexion SSH, tapez la commande suivante pour vous connecter à la machine **worker1** :
 +
 +<code>
 +desktop@serverXX:~$ ssh -l trainee worker1.ittraining.loc
 +</code>
 +
 +En utilisant une cinquième connexion SSH, tapez la commande suivante pour vous connecter à la machine **worker2** :
 +
 +<code>
 +desktop@serverXX:~$ ssh -l trainee worker2.ittraining.loc
 +</code>
 +
 +En utilisant une sixième connexion SSH, tapez la commande suivante pour vous connecter à la machine **worker3** :
 +
 +<code>
 +desktop@serverXX:~$ ssh -l trainee worker3.ittraining.loc
 +</code>
 +
 +=====Se connecter en mode graphique au serverXX.ittraining.network=====
 +
 +Téléchargez le client **X2Go** ( [[https://wiki.x2go.org/doku.php/download:start]] ) et installez-le. Créez une nouvelle connexion **XFCE** pour votre serveur :
 +
 +{{ :elearning:workbooks:hdp:x2go1.png?direct&600 |}}
 +
 +Connectez-vous au serverXX :
 +
 +{{ :elearning:workbooks:hdp:x2go.png?direct&600 |}}
 +
 +Ouvrez le navigateur Firefox et saisissez l'URL http://master1.ittraining.loc:8080. Entrez l'utilisateur **admin** et le mot de passe **admin** et cliquez sur le bouton **SIGN IN** :
 +
 +{{ :elearning:workbooks:hdp:hdp.png?&600 |}}
 +
 +Vous êtes maintenant dans la console d'Ambari :
 +
 +{{ :elearning:workbooks:hdp:hdp1.png?direct&600 |}}
 +
 +=====Utiliser la console Ambari=====
 +
 +Cliquez sur le bouton **LAUNCH INSTALL WIZARD** :
 +
 +{{ :elearning:workbooks:hdp:hdp2.png?direct&600 |}}
 +
 +====Get Started====
 +
 +Saisissez le nom **HDP_ittraining** en tant que CLUSTER NAME et cliquez sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp3.png?direct&600 |}}
 +
 +Dans la liste des systèmes d'exploitation, supprimez tous les OS **sauf** redhat7 :
 +
 +{{ :elearning:workbooks:hdp:hdp4.png?direct&600 |}}
 +
 +Ouvrez ensuite le fichier **/root/repositories** dans la VM **master1** :
 +
 +<code>
 +[root@master1 ~]# cat repositories
 +http://master1.ittraining.loc/HDP/centos7/3.1.4.0-315/
 +http://master1.ittraining.loc/HDP-GPL/centos7/3.1.4.0-315/
 +http://master1.ittraining.loc/HDP-UTILS/centos7/1.1.0.22/
 +http://master1.ittraining.loc/ambari/centos7/2.7.4.0-118
 +</code>
 +
 +Copiez ensuite les URLs à partir du fichier **repositories** et collez-les aux emplacements prévus dans la console puis cliquez sur le bouton **NEXT**:
 +
 +{{ :elearning:workbooks:hdp:hdp5.png?direct&600 |}}
 +
 +====Install Options====
 +
 +Entrez la liste des serveurs dans l'emplacement prévu. Notez ici l'utilisation d'une expression régulière **[1-3]** :
 +
 +{{ :elearning:workbooks:hdp:hdp6.png?direct&600 |}}
 +
 +Choisissez l'option **Perform manual registration and do not use SSH** :
 +
 +{{ :elearning:workbooks:hdp:hdp7.png?direct&600 |}}
 +
 +====Confirm Hosts====
 +
 +Validez la boîte d'avertissement et cliquez sur le bouton **REGISTER AND CONFIRM**. L'assistant résout les expressions régulières dans les nom d'hôtes et vous demande de confirmer. Cliquez donc sur le bouton **OK** :
 +
 +{{ :elearning:workbooks:hdp:hdp8.png?direct&600 |}}
 +
 +Cliquez sur le bouton **OK** de la boîte d'avertissement **Before You Proceed** :
 +
 +{{ :elearning:workbooks:hdp:hdp9.png?direct&600 |}}
 +
 +L'assistant initialise chaque noeud du cluster puis vérifie que les pré-requis pour continuer sont satisfaits :
 +
 +{{ :elearning:workbooks:hdp:hdp10.png?direct&600 |}}
 +
 +Pour consulter la liste des pré-requis en cas de problème, cliquez sur le lien **Click here to see the check results** :
 +
 +{{ :elearning:workbooks:hdp:hdp11.png?direct&600 |}}
 +
 +====Choose Services====
 +
 +Fermez la fenêtre **Host checks** et cliquez sur le bouton **NEXT**. Choisissez maintenant les services que vous souhaitez ajouter. Pour effectuer une installation minimaliste dans un premier temps, ne cochez que **HDFS**, **YARN + MapReduce2** et **ZooKeeper** puis cliquez sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp12.png?direct&600 |}}
 +
 +Notez qu'en cas de dépendance manquante, l'assistant vous le rappelle :
 +
 +{{ :elearning:workbooks:hdp:hdp14.png?direct&600 |}}
 +
 +Cliquez sur le bouton **OK**. L'assistant vous affiche une fenêtre **Limited Functionality Warning** pour vous avertir des fonctionalités limitées dues au fait qu'**Apache Ranger** et **Apache Atlas** n'ont pas été sélectionnés. Cliquez simplement sur le bouton **PROCEED ANYWAY** chaque fois :
 +
 +{{ :elearning:workbooks:hdp:hdp15.png?direct&600 |}}
 +
 +====Assign Masters====
 +
 +L'assistant vous propose maintenant la possibilité d'équilibrer la charge sur les serveurs dont il a connaissance. Modifiez la valeur du **Metrics Collector** à **master3.ittraining.loc** puis cliquez sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp16.png?direct&600 |}}
 +
 +====Assign Slaves and Clients====
 +
 +L'assistant vous propose maintenant d'assigner des composants à chaque hôte. Les hôtes ayant des composants maître sont marqués avec une étoile. Cochez **Client** pour chaque hôte puis cliquez sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp17.png?direct&600 |}}
 +
 +====Customize Services====
 +
 +Ensuite l'assistant vous demande de spécifier les mots de passe que souhaitez utiliser pour **Grafana** et **Activity Explorer**. Saisissez le mot de passe **fenestros** dans chaque cas puis cliquez sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp18.png?direct&600 |}}
 +
 +L'assistant vous permet ensuite de modifier les emplacements par défaut des répertoires pour chacune des applications à installer. Cliquez simplement sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp19.png?direct&600 |}}
 +
 +L'assistant vous permet ensuite de modifier les noms des comptes par défaut pour chacune des applications à installer. Cliquez simplement sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp20.png?direct&600 |}}
 +
 +L'assistant vous permet ensuite de modifier les configurations par défaut pour chacune des applications à installer. Notez ici qu'il y a un avertissement en rouge pour la configuration avancée :
 +
 +{{ :elearning:workbooks:hdp:hdp21.png?direct&600 |}}
 +
 +Cliquez donc sur la cloche en rouge :
 +
 +{{ :elearning:workbooks:hdp:hdp22.png?direct&600 |}}
 +
 +Puis sur le bouton **EDIT**. entrez le mot de passe **fenestros** puis cliquez sur le bouton **NEXT** :
 +
 +{{ :elearning:workbooks:hdp:hdp23.png?direct&600 |}}
 +
 +====Review====
 +
 +L'assitant vous propose maintenant un résumé de vos choix ainsi que la possibilité de télécharger un fichier de template à utiliser pour re-créer un cluster identique par la suite en cliquant sur le bouton **GENERATE BLUEPRINT** : 
 +
 +{{ :elearning:workbooks:hdp:hdp24.png?direct&600 |}}
 +
 +====Install, Start and Test====
 +
 +Téléchargez le template puis cliquez sur le bouton **DEPLOY** :
 +
 +{{ :elearning:workbooks:hdp:hdp25.png?direct&600 |}}
 +
 +A l'issu du déploiement, un résumé de la situation vous informe d'éventuelles erreurs :
 +
 +{{ :elearning:workbooks:hdp:hdp26.png?direct&600 |}}
 +
 +En cas d'erreurs, il vous est possible de consulter les détails de celles-ci :
 +
 +{{ :elearning:workbooks:hdp:hdp27.png?direct&600 |}}
 +\\
 +\\
 +{{ :elearning:workbooks:hdp:hdp28.png?direct&600 |}}
 +
 +Une fois les erreurs corrigées, il convient de déployer de nouveau le cluster :
 +
 +{{ :elearning:workbooks:hdp:hdp30.png?direct&600 |}}
 +
 +Cette fois, le résumé ne doit pas montrer d'erreurs :
 +
 +{{ :elearning:workbooks:hdp:hdp31.png?direct&600 |}}
 +
 +En validant le déploiement, vous arrivez sur le console de gestion :
 +
 +{{ :elearning:workbooks:hdp:hdp32.png?direct&600 |}}
 +\\
 +\\
 +
  
 ----- -----

Piste :

Menu