Spark大数据分析平台搭建

首先安装虚拟机并启动root用户，更改两个主机的用户名，一个是master，一个是slave，接着创建hadoop用户。

两台主机的IP地址分别为：

1 2	master 192.168.85.130 slave 192.168.85.131

安装jdk

从hadoop用户名登录ubuntu
登录Java Downloads | Oracle下载jdk
将下载好的jdk复制到usr/java目录下，解压到root中

su root
cd /usr
mkdir java
cp ... /usr/java
tar -zxvf ...

修改/etc/profile文件，加入

JAVA_HOME=/usr/java/jdk-18.0.1
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin/
export PATH JAVA_HOME=CLASSPATH

然后执行

1	source /etc/profile

java-version能正常显示，则成功
配置后需重启电脑才能继续使用

安装ssh，首先进入root

su root
sudo apt-get install ssh
su hadoop
ssh master(slave)
exit
cd ~/.ssh
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

master主机执行

1 2	scp ~/.ssh/id_rsa.pub hadoop@slave:/home/hadoop/ ssh slave

能够正常连接说明安装成功

Hadoop下载

Index of /apache/hadoop/common/hadoop-2.10.1 (bit.edu.cn)

su root
sudo tar -zxvf /home/hadoop/Downloads/hadoop-2.10.1.tar.gz -C /usr/local
sudo mv /usr/local/hadoop-2.10.1/ /usr/local/hadoop
sudo chown -R hadoop:hadoop /usr/local/hadoop/
/usr/local/hadoop/bin/hadoop

之后把/usr/local/hadoop/etc/hadoop中的slaves文件改为slave

之后把/usr/local/hadoop/etc/hadoop里的core-site.xml文件中的中间加上下面

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>

之后把/usr/local/hadoop/etc/hadoop里的hdfs-site.xml文件中的中间加上下面

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

接着在命令行打开

1
2
3

cd /usr/local/hadoop/etc/hadoop
cp mapred-site.xml.template mapred-site.xml 
sudo chown -R hadoop:hadoop /usr/local/hadoop/

然后修改mapred-site.xml文件中的中间加上下面

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

然后修改yarn-site.xml文件中的中间加上下面

<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

然后命令行执行：

cd /usr/local
sudo tar -zcf ./hadoop.tar.gz ./hadoop/
su hadoop
scp ./hadoop.tar.gz hadoop@slave:/home/hadoop/hadoop.tar.gz

把文件传到spark2

然后打开spark2

1
2
3

su root
sudo tar -zxf /home/hadoop/hadoop.tar.gz -C /usr/local/
sudo chown -R hadoop:hadoop /usr/local/hadoop/

打开spark1

1 2	cd /usr/local/hadoop/ bin/hdfs namenode -format有报错

修改/usr/local/hadoop/etc/hadoop中的hadoop-env文件
最后一行加上
export JAVA_HOME=/usr/java/jdk-18.0.1
spark2同样加上
export JAVA_HOME=/usr/java/jdk-18.0.1
然后回到spark1执行bin/hdfs namenode -format成功