上海古都建筑设计集团,上海办公室装修设计公司,上海装修公司高质量的内容分享社区,上海装修公司我们不是内容生产者,我们只是上海办公室装修设计公司内容的搬运工平台

【已解决】could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1

guduadmin11天前

hadoop分布式集群搭建时出现的问题

原始报错

put: File /user/hadoop/input/yarn-site.xml._COPYING_ could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node(s) are excluded in this operation.

解决方法

将VMare中的网络连接方式改变即可。如图将默认的NAT模式切换为桥接模式,然后重启Slvae虚拟机,关闭Master集群,重启Master集群。

【已解决】could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1,在这里插入图片描述,第1张

讲故事时间

我在网上搜到的大部分解决的都是类似报错,即

could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and no node(s) are excluded in this operation.

但请注意,这种报错显示的是0个datanode,而我的报错显示是有1个datanode,而这类问题大多删除一些文件后重新格式化Namenode即可,可惜并不适用我这种存在datanode的情况。

讲故事时间其二

我是再一次上Hadoop课程才又搞起了这个,但是与上次不同的是,这是我是在Ubuntu的环境下装了VMware,然后再在虚拟机上安装Ubuntu,即Slave节点。

最开始的其实用的是VirtualBox,但是那个总是无法主宿机ping通,网上和教材上都说改成桥接模式就没问题了(伏笔),奈何于我无用,无奈换了VMware,这次倒是没换桥接模式,直接用NAT模式就可以ping通,所以我开开心心继续了配置文件的修改,直到我查看了datanode状态,如图:

【已解决】could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1,在这里插入图片描述,第2张

嗯??我明明只有一个worker是Slave,怎么主机Master成了datanode了,其实我是前晚发现的这个问题,但是一直没有解决,那天设置把分布式的配置全部删除,然后用重跑了一遍伪分布式,然后重新配置了分布式,结果还是不行。

然后我就想,这大抵是个网络问题,然后我又想起来NAT的原理,那是对外封闭虚拟机的IP啊,然后我就想着试试换桥接模式行不行,修改倒是很快,改两个hosts,重启,完美运行了。

结语

成也NAT,败也NAT。

网友评论

搜索
最新文章
热门文章
热门标签