Plan du site  
pixel
pixel

Articles - Étudiants SUPINFO

Install spark standalone and cluster

Par Zhihao WANG Publié le 04/02/2020 à 16:02:03 Noter cet article:
(0 votes)
Avis favorable du comité de lecture

This article describes the Spark for Mac stand-alone installation and Spark cluster installation. Steps: Install scala Download the spark archive and extract it Modify spark configuration file Configure environment variables Verify installation

Install scala

http://www.scala-lang.org/download/

Download the spark archive and extract it

Download the spark installation package in the official website http://mirror.bit.edu.cn/apache/spark/ Enter the directory where the installation package storage and unzip it

tar -zxvf  spark-2.0.1-bin-hadoop2.7.tgz

Enter the conf folder and rename spark-env.sh.template to spark-env.sh

mv spark-env.sh.template spark-env.sh

Download the spark archive and extract it

Download the spark installation package in the official website http://mirror.bit.edu.cn/apache/spark/ Enter the directory where the installation package storage and unzip it

tar -zxvf  spark-2.0.1-bin-hadoop2.7.tgz

Enter the conf folder and rename spark-env.sh.template to spark-env.sh

mv spark-env.sh.template spark-env.sh

Modify spark configuration file

Modify spark-env.sh file to add information

vi spark-env.sh	
//add the following information
export SCALA_HOME=/Users/yangyibo/Software/scala
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_92.jdk/Contents/Home
export SPARK_MASTER_IP=192.168.100.176
export SPARK_WORKER_MEMORY=512m 
export master=spark://192.168.100.176:7070

Modify slaves.template to add information

vi slaves.template
//add the following information
master

Configure environment variable

Mac modifies the .bash_profile file, which is the environment profile for the current user of the mac /etc/profile is the environment profile of the current system (Linux, the system can modify this) The path of the .bash_profile file is under the current user Open a new terminal and enter the command

vi .bash_profile
//add the following information

export SPARK_HOME=/Users/yangyibo/Software/spark-2.0.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

Modify slaves

The cluster installation is the same as the stand-alone installation. The only difference is you need to modify slaves.template to add information.

vi slaves.template
//add the following information in the work node
10168.100.23
10168.100.24
10168.100.25

Copy the configured stand-alone version of spark to the work node

scp -rp /opt/apps/scala-2.11.7 root@work1IP:/opt/apps
scp -rp /opt/apps/jdk/current root@work1IP:/opt/apps
scp -rp /opt/apps/spark-2.2.1 root@work1IP:/opt/apps

Verify installation

Now you can check the results Enter the sbin directory of the installation package and execute the start-all.sh script

./start-all.sh

This may happen at this time, we can ignore it directly

localhost: ssh: connect to host localhost port 22: Connection refused

Now we can verify the operation through the jps command.

abel-MBP: sbin wzh$ jps
43505
68825
69066 Master
69085 Jps

Open the Spark Master page to view the cluster status Stop spark Enter the sbin directory of spark and execute the command

$ ./stop-all.sh

If you want to attach a worker node to the spark cluster that has been started, follow the cluster configuration and enter the sbin directory: Start a slave via start-slave.sh script

sh start-slave.sh spark://192.168.100.xx:7077

Introduction au markdown Ecrit avec Supinfo-Articles.com

A propos de SUPINFO | Contacts & adresses | Enseigner à SUPINFO | Presse | Conditions d'utilisation & Copyright | Respect de la vie privée | Investir
Logo de la société Cisco, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société IBM, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Sun-Oracle, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Apple, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Sybase, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Novell, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Intel, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Accenture, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société SAP, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Prometric, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Toeic, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo du IT Academy Program par Microsoft, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management

SUPINFO International University
Ecole d'Informatique - IT School
École Supérieure d'Informatique de Paris, leader en France
La Grande Ecole de l'informatique, du numérique et du management
Fondée en 1965, reconnue par l'État. Titre Bac+5 certifié au niveau I.
SUPINFO International University is globally operated by EDUCINVEST Belgium - Avenue Louise, 534 - 1050 Brussels