-
在hdfs中datanode的使用率之一达到了100%?平衡器无法运作
我对Hadoop hdfs有一些问题。 (Hadoop 2.7.3) 我有2个名称节点(1个活动节点,1个备用节点)和3个数据节点 -
使用Web API将文件上传到HDFS,但有时由于丢失“ HTTP 100 Continue”数据包而挂起
我使用<a href="https://hadoop.apache.org/docs/r1.0.4/webhdfs.html#CREATE" rel="nofollow noreferrer">WebHDFS REST API</a>将文件上 -
在Hadoop 3.1.0中,namenode正常运行,但datanode无效
在<strong> Hadoop 3.1.0 </strong>中,<code>namenode</code>正常工作,但是<code>datanode</code>无效,显示以下消息: -
如何确定副本应存储在HDFS中的何处
我正在尝试在由6个数据节点和1个名称节点组成的群集上实现HDFS。 尽管此实现的目的是根据我从 -
hadoop中某些数据节点上的IP映射错误
我在使用<code>/etc/hosts</code>使用本地域配置的7个节点上设置了hadoop。 看起来像这样 <pre><code>1.2.3.4 had -
在Windows 10主机Java API中访问VirtualBox gust redhat7.7形式的datanode
我试图在Windows上运行Java代码以使用redhat 7.7访问virtualbox 6.1中的Hadoop 3.1.3。 具有所有组件(NameNode -
无法从Java应用程序访问HDFS
我有一个clouder快速入门容器,我尝试使用Java应用程序获取HDFS下的文件列表; <pre><code>import org.apache -
hadoop + namenode有关无法放置足够副本的警告
我们有<code>hadoop</code>个群集,其中包含3台数据节点计算机 我们从第一个<code>namenode</code> 看到 -
jstat +理解更好的“完整垃圾收集时间”中的值
我们正在hadoop集群中的其中一台datanode计算机上运行以下<code>jstat</code> 我们可以看到“完全垃圾 -
无法在Mac上的hdfs hadoop版本3.2.1中添加文件
我正在使用mac并在其中安装hadoop 3.2.1版。由于以下错误,我无法将数据文件添加到hdfs。 <pre><code>at o -
AWS EMR Spark正在工作者节点上创建文件
我正在EMR上使用spark来处理数据。基本上,我从AWS S3读取数据,然后执行转换和转换后的工作,即将数据 -
Hadoop多节点群集-数据节点已成功启动但未出现在localhost:50070上
我是Hadoop的新手,我在三个虚拟机中使用centos 7,并且在多节点群集(1个主节点和2个从节点)上安装了H -
之前停止正在运行(运行)的实例后无法启动Hadoop,因为Datanode表示目录已锁定
我有一个运行Hadoop 1.2.1的群集,顶部是Giraph。服务器运行正常,但是当我停止它时,我无法使其再次运 -
hadoop集群+禁止Spark应用程序在特定数据节点上运行的任何方法
我们有Hadoop集群(<code>HDP 2.6.5</code>个具有ambari的集群,具有25个datanodes机器) 我们正在使用火花流 -
HDFS集群中的HDFS副本+和最小数据节点数
我们有仅2个数据节点机器的Hadoop集群 在<code>HDFS</code>配置中,我们将<code>Block replication</code>定义为 -
Hadoop守护程序,Datanode丢失
我尝试清除<code>/app/Hadoop/temp</code>目录,然后再次创建它,并在此datanode出现后,但是在再次启动终端时 -
HDFS死数据节点
我在HDP-3.1.0.0环境中工作,我使用的HDFS版本是3.1.1.3.1,群集由2个Namenode和4个Datanode组成。 重新启动HDP服 -
Hadoop在不使用IP的情况下无法访问数据节点
我有以下系统: <ul> <li> Windows主机</li> <li> Linux客户与Docker(在Virtual Box中)</li> </ul> 我已经在Docker -
DataNode堆使用情况
我在HDP-3.1.0.0环境中工作,我使用的HDFS版本是3.1.1.3.1,群集由2个Namenode和4个Datanode组成。 该集群 -
如何找到客户端正在从Hadoop接收数据的datanode
我刚刚开始大数据之旅,我创建了一个主,10个从属,客户端类型的体系结构,我想找到客户端从中接收 -
ambari +如何从数据复制中禁用新的datanode计算机
我们有245个工作计算机的ambari和HDP 2.6.4集群 每个工作人员都有(datanode组件和resource manager组件)</p -
Talend big data studio 7.3 连接到 HDP 3.0 问题
我正在尝试使用 talend 和 HDP 3.0 读取或数据到 hdfs,但是在尝试这样做时,我遇到了错误 talend 中的 -
namenode + hadoop namenode -recover
我们有 2 个名称节点(主动备用)和 12 个数据节点的 Hadoop 集群 所有 12 个数据节点机器都有用于 H -
从客户端应用程序写入的 Google Dataproc 将集群的内部 IP 用于 Datanodes
我已在 Google Cloud 上设置了 Dataproc 集群。 它已启动并正在运行,我可以从“浏览器”控制台中的 SSH 访 -
C# 通过 GetProperties 获取 ExtensionObject 中的值
所以我有点迷失在如何提取在 ExtensionDataObject 中接收到的数据,但让我们从乞讨开始吧。 我收到一 -
如何更改Hadoop datanode公共ip
我在 VM 上托管了 hadoop 集群,并且我正在尝试从 VM 外部访问它。 内部 VM 主机名是 192.168.0.131。 我的主 -
Hdfs Datanode 拒绝与 namenode
datanode日志是 <pre><code>2021-03-11 07:25:04,313 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool BP-1712216253-1 -
Datanode 未在 Windows 10 for Hadoop 3.1.3
我正在尝试在 Windows 10 上为 hadoop 3.1.3 启动 datanode 和 namenode,并且我将所需的 winutils.exe 和 hadoop.dll 保留 -
从 Ambari 控制台向正在运行的集群添加一个新的 DataNode
我正在尝试从 Ambari 控制台向正在运行的集群添加一个新的 DataNode。 主机>操作>添加新主机。 <块引用 -
数据节点自动关闭并出现错误“WARN datanode.DataNode: Exiting Datanode”
我收到以下数据节点错误,甚至资源管理器也会自动关闭 2021-05-05 01:13:32,029 WARN common.Storage: 添加存