hadoop集群常见问题(持续更新中)
本文最后更新于29 天前,其中的信息可能已经过时,如有错误请发送邮件到2639131093@qq.com

hadoop

问题:

当在格式化的时候,第一条报错:

由此引发问题,在开启节点dfs.sh的时候:

解决方法:

进入你安装的hadoop目录,如我的是/export/servers,所以我需要进入/export

输入:

hdfs --daemon start journalnode

再次开启节点,不会报错了

hbase

问题

出现该问题,找不到变量名,两个包的组件出现了问题

解决

打开配置文件

vim hbase-env.sh

去掉‘#’

解决

hive

问题

hadoop和hive包的slf4j产生了冲突,当多个不同的 SLF4J 绑定同时存在于类路径中时,SLF4J 不知道应该使用哪个具体的日志实现。

解决

两种方法

1.删掉低版本的一个,cp高版本的一个到低版本的路径

2.更改低版本一个包的名称

演示第二种

根据我的路径,我将log4j-slf4j-impl-2.17.1.jar 更名为log4j-slf4j-impl-2.17.1.bak

mv /export/servers/hive/lib/log4j-slf4j-impl-2.17.1.jar  /export/servers/hive/lib/log4j-slf4j-impl-2.17.1.bak

问题

第二种问题,即上图报错

Exception in thread “main” java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

这种问题的思路:

  1. 系统找不到相关jar包
  2. 同一类型的 jar 包有不同版本存在,系统无法决定使用哪一个

解决

根据我们的查找,发现属于第二种情况,hadoop和hive存在不同版本的两个包,所以这里删除低版本的包,保留高版本的,然后将高版本包传给低版本

根据你的实际情况来定

在hadoop路径位于:

/export/servers/hadoop/share/hadoop/common/lib

在hive路径位于:

/export/servers/hive/lib

所以这里我删除下面这个,然后复制上面的到下面

[root@hadoop01 lib]# rm -rf  guava-19.0.jar 
[root@hadoop01 lib]# cp /export/servers/hadoop/share/hadoop/common/lib/guava-27.0-jre.jar /export/servers/hive/lib/

下图即成功

问题

下图的问题是因为hhadoop没有启动,解决问题不说了

问题

在元数据库初始化的时候,报错字符集错误

解决

根据报错提示,找到3215行,删除错误字符集即可

sqoop

问题

报错以下提示

解决

以下路径

[root@hadoop01 sqoop]# cd bin/
[root@hadoop01 bin]# pwd
/export/servers/sqoop/bin
[root@hadoop01 bin]# vim configure-sqoop

在以下全部数据前 加上‘#’

文末附加内容
暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇