Hadoop常见错误总结_hadoop的概念总结
Hadoop常见错误总结由刀豆文库小编整理，希望给你工作、学习、生活带来方便，猜你可能喜欢“hadoop的概念总结”。
Hadoop常见错误总结 2010-12-30 13:55 错误1：bin/hadoop dfs 不能正常启动，持续提示：
INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000.Already tried 0 time(s).原因：由于 dfs 的部分文件默认保存在tmp文件夹，在系统重启时被删除。解决：修改core-site.xml 的 hadoop.tmp.dir配置文件路径：/home/hadoop/tmp。
错误2：hadoop出现了一些问题。用$ bin/hadoop dfsadmin-report 测试的时候，发现dfs没有加载。显示如下：
Configured Capacity: 0(0 KB)Present Capacity: 0(0 KB)DFS Remaining: 0(0 KB)DFS Used: 0(0 KB)DFS Used%: ?% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Miing blocks: 0 查看日志：
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/hadoop/data: namenode namespaceID = 2033006627;datanode namespaceID = 1589898341 经分析，是由于namenode namespaceID = 2033006627;和datanode namespaceID = 1589898341 不一致造成原因。
修改了namenode namespaceID = 1589898341 可以使用，但是重启之后，又不可以用了。
最后解决方案：删除hadoop用户下的name文件夹，data文件夹，tmp文件夹，temp文件里的内容，然后重新执行namenode命令。重启电脑之后，正常。
错误3：File /home/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1 出现此错误，一般发生在datanode与namenode还没有进行连接，就开始往hdfs系统上put数据了。稍等待一会，就可以了。
也可以使用：hadoop dfsadmin –report命令查看集群的状态。错误4：
每次启动总有部分datanade不能去全部启动，查看日志文件，显示为： ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.net.UnknownHostException: zgchen-ubutun: zgchen-ubutun at java.net.InetAddre.getLocalHost(InetAddre.java:1426)。分析：这是由于datanode 找不到服务host引起的。
解决：通过查找/etc/hostname 找到hostname；比如：ubuntu。然后找到/etc/hosts，添加：127.0.1.1 ubuntu 错误5：
java.lang.OutOfMemoryError: GC overhead limit exceeded 分析：这个是JDK6新添的错误类型。是发生在GC占用大量时间为释放很小空间的时候发生的，是一种保护机制。解决方案是，关闭该功能，可以添加JVM的启动参数来限制使用内存：-XX:-UseGCOverheadLimit 添加位置是：mapred-site.xml 里新增项：mapred.child.java.opts 内容：-XX:-UseGCOverheadLimit java.lang.OutOfMemoryError: Java heap space 出现这种异常，明显是jvm内存不够得原因，要修改所有的datanode的jvm内存大小。
Java-Xms1024m-Xmx4096m 一般jvm的最大内存使用应该为总内存大小的一半，我们使用的8G内存，所以设置为4096m，这一值可能依旧不是最优的值。（其实对于最好设置为真实物理内存大小的0.8）
错误6：Too many fetch-failures Answer: 出现这个问题主要是结点间的连通不够全面。1)检查、/etc/hosts 要求本机ip 对应 服务器名
要求要包含所有的服务器ip + 服务器名 2)检查.h/authorized_keys 要求包含所有服务器（包括其自身）的public key 错误7：处理速度特别的慢 出现map很快 但是reduce很慢 而且反复出现 reduce=0% Answer: 结合第二点，然后修改可用内存大小。
conf/hadoop-env.sh 中的export HADOOP_HEAPSIZE=4000 错误8：能够启动datanode，但无法访问，也无法结束的错误
在重新格式化一个新的分布式文件时，需要将你NameNode上所配置的dfs.name.dir这一namenode用来存放NameNode 持久存储名字空间及事务日志的本地文件系统路径删除，同时将各DataNode上的dfs.data.dir的路径 DataNode 存放块数据的本地文件系统路径的目录也删除。如本此配置就是在NameNode上删除/home/hadoop/NameData，在DataNode上删除/home/hadoop/DataNode1和/home/hadoop/DataNode2。这是因为Hadoop在格式化一个新的分布式文件系统时，每个存储的名字空间都对应了建立时间的那个版本（可以查看/home/hadoop /NameData/current目录下的VERSION文件，上面记录了版本信息），在重新格式化新的分布式系统文件时，最好先删除NameData 目录。必须删除各DataNode的dfs.data.dir。这样才可以使namedode和datanode记录的信息版本对应。
注意：删除是个很危险的动作，不能确认的情况下不能删除！做好删除的文件等通通备份！
错误9：java.io.IOException: Could not obtain block: blk_***469_1100 file=/user/hive/warehouse/src_20100924_log/src_20100924_log 出现这种情况大多是结点断了，没有连接上。或者
mapred.tasktracker.map.tasks.maximum 的设置 超过 cpu cores数目，导致出现获取不到文件。
错误10：Task Id : attempt_201010291615_0001_m_000234_0, Status : FAILED Error: java.io.IOException: No space left on device Task Id : attempt_201010291615_0001_m_000240_0, Status : FAILED java.io.IOException: Spill failed 磁盘空间不够，应该分析磁盘空间df-h 检查是否还存在磁盘空间。错误11:Task Id : attempt_201011011336_0007_m_000001_0, Status : FAILED org.apache.hadoop.hbase.client.RegionOfflineException: region offline: lm，1288597709144 网上说，将/hbase删除；重启hbase后，可以正常应用了。但是我找不到/hbase目录，只好自己重新删除掉一些hadoop文件，重新生成文件管理系统。
还有一个可能是，配置错了/hbase/conf/hbase-env.sh的HBASE_CLASSPATH，这个默认是不配置的，所以可以不配置。
错误12：org.apache.hadoop.hbase.TableNotFoundException: org.apache.hadoop.hbase.TableNotFoundException: lm 找不到表，hbase启动了，检查一下是否存在需要的Htable。
钢筋常见错误一、基础常见错误1、基础梁接头位置不对，按楼层框架梁接头位置设置，且没有错开（基础梁与框架梁的受力正好相反，接头亦然）。2、筏板钢筋接头在施工缝处预留长度不够，且......
文都国际教育官方网站：http://www.daodoc.com/SAT常见错误总结以下是文都国际教育小编将平时练习的错题进行整理，将其中因为失误造成的错题总结出来与大家分享，并且分析具体的......
背书常见错误总结介绍 《支付结算办法》（以下称《办法》）第二十九条规定：票据背书转让时，由背书人在票据背面签章、记载被背书人名称和背书日期。背书未记载日期的，视为在票据到......
一、输入命令时常见错误分析1、不能识别的命令谓词产生原因：（1）关键词拼写错误 （2）命令动词与短语、短语中各单词之间没有用空格隔开 （3）命令动词、短语中的英文单词、运算符号和标......
对方辩友显然已经跑题了。对方辩友为什么故意逃避我方问题呢？是不是已经同意我方观点了呢？第X次请教对方辩友，……”“我方已经很明白的回答了这个问题，鉴于时间关系，不再重复。......
