大数据培训零基础教学 Hadoop模式与搭建的相关问题_hadoop基础知识培训
大数据培训零基础教学 Hadoop模式与搭建的相关问题由刀豆文库小编整理，希望给你工作、学习、生活带来方便，猜你可能喜欢“hadoop基础知识培训”。
大数据培训零基础教学 Hadoop模式与搭建的相关问题
刚刚结束了大数据Hadoop的相关教学，诚如前辈所言，确实是最重要且最难的一部分课程。在老师事先打好预防针的前提下，可以说是聚精会神，全身关注的完成了这部分知识的学习，当然后期仍然需要投入大量的时间进行巩固性学习和挖掘。大数据培训课上，理论和操作性的知识点很多，尤其在近期学习的Hadoop集群的搭建问题上，小细节，小难点拼频频出现，所以，今天集中总结以下笔记，希望对各位同学有所帮助。ps：以下不涉及完全分布式，只说明单机版和伪分布式。
一、hadoop本地模式和伪分布式模式之间的区别
1.单机(非分布式)模式。这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。
2.伪分布式运行模式。这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运
行
中的各
类
结
点
:(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)。请注意分布式运行中的这几个结点的区别：从分布式存储的角度来说，集群中的结点由一个NameNode和若干个DataNode组成,另有一个SecondaryNameNode作为NameNode的备份；从分布式应用的角度来说，集群中的结点由一个JobTracker和若干个TaskTracker组成，JobTracker负责任务的调度，TaskTracker负责并行执行任务。TaskTracker必须运行在DataNode上，这样便于数据的本地计算。JobTracker和NameNode则无须在同一台机器上。一个机器上，既当namenode，又当datanode,或者说既是jobtracker,又是tasktracker。没有所谓的在多台机器上进行真正的分布式计算，故称为“伪分布式”。二，hadoop本地模式的搭建
1.首先需要一台客户机。
2.安装jdk。
1)首先在客户机根目录root文件夹下建立tools文件夹：root> mkdir tools。
2)用远程连接工具连接客户机，拖拽压缩包到客户机 root/tools/目录下
3)解压jdk到/etc/local下：tar-zxvf jdk-8u152-linux-x64.tar.gz-C /usr/local/
3.安装hadoop
1)拖拽压缩包到客户机root/rools 目录下。
2)解压hadoop到etc/local/下：tar-zxvf hadoop-2.7.2.tar.gz-C /usr/local/。
4.配置环境变量
hadoop> vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_152
export HADOOP_HOME=/usr/local/hadoop-2.7.2/
export CLASSPATH=.；JAVA_HOME/lib/dt.jar；JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bi
PATH；HADOOP_HOME/bin；
HADOOP_HOME/sbin/；
5.hadoop version
java –version。以上两项，都能正常显示除版本号，即为环境搭建成功，以上步骤为本地模式搭建成功！
三，hadoop伪分布式模式的搭建（以上五部到配置环境搭建成功为基础）
1..配置集群
1）配置：hadoop-env.sh。Linux 系统中获取jdk 的安装路径：/usr/local/jdk1.8.0_15
并
修
改
JAVA_HOME
路
径
为
：
export JAVA_HOME=/opt/module/jdk1.8.0_144
2）配置：core-site.xml
fs.defaultFS
hdfs://hadoop101:9000
hadoop.tmp.dir
/opt/module/hadoop-2.7.2/data/tmp
3）配置：hdfs-site.xml
dfs.replication
4）启动集群。格式化namenode（第一次启动时格式化，以后就不要总格式化）[qianfeng@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode –format。启动namenode。[qianfeng@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode。
启
动
datanode。
[qianfeng@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
5）查看集群是否成功。[qianfeng@hadoop101 hadoop-2.7.2]$ jps。13586 NameNode。13668 DataNode。13786 Jps。//正常应该启动这三个进程
6）查看产生的log日志。当前目录：/usr/local/hadoop-2.7.2/logs>ls。
hadoop-qianfeng-datanode-hadoop.qianfeng.com.log
hadoop-qianfeng-datanode-hadoop.qianfeng.com.out hadoop-qianfeng-namenode-hadoop.qianfeng.com.log hadoop-qianfeng-namenode-hadoop.qianfeng.com.out SecurityAuth-root.audit
cat hadoop-qianfeng-datanode-hadoop101.log
以上步骤即为伪分布式搭建成功！
最好，想留下几句话，告诫未来可能来到好程序员的学弟学妹们:没有攻不下的山头，没有打不赢的仗。成大事者从不说“不”，分秒必争，用有限的时间赢得一个机会，五个月的时光足以成就脱胎换骨的你！
Hadoop之父与英特尔研究院院长分享大数据心得作者：IT专家网出处：IT专家网2014-12-12 13:42“数据铸就价值，激情源于碰撞”来自英特尔中国研究院院长吴甘沙与Hadoop之父Doug Cut......
【八斗学院】最新Hadoop大数据简历,Hadoop工程师简历
八斗学院3年大数据开发经验求职意向：大数据开发工程师个人信息姓名：八斗学院 工作地点：北京 电话：*** 邮箱：55723447@qq.ccom 性别： 男 生日：1992.10.26 学历：本科 微信：5572......
在合肥零基础Java大数据培训机构怎么选合肥之淝水，从历史中缓缓流淌而来，愈醇愈香，芬芳四溢。近年来，计算机相关技术岗位的需求在不断提升，大家对计算机技术的要求也越来越高。......
2018年最新Hadoop大数据开发学习路线图来源：八斗学院Hadoop发展到今天家族产品已经非常丰富，能够满足不同场景的大数据处理需求。作为目前主流的大数据处理技术，市场上很多公司......
无论是在个人生活中还是在组织管理中，方案都是一种重要的工具和方法，可以帮助我们更好地应对各种挑战和问题，实现个人和组织的发展目标。方案能够帮助到我们很多，所以方案到底该......
