-
如何在带有delta目录的配置单元中创建分区和还原的外部表?
我通过合并许多文件在HIVE中创建了分区表和存储桶表。由于某些原因,该表无法从HIVE进行访问,尽管其 -
Flume下沉到HDFS错误:java.lang.NoSuchMethodError:com.google.common.base.Preconditions.checkArgument
使用: <ul> <li> Java 1.8.0_231 </li> <li> Hadoop 3.2.1 </li> <li>水槽1.8.0 </li> </ul> 已在9000端口上创建了hdfs服 -
在hdfs中datanode的使用率之一达到了100%?平衡器无法运作
我对Hadoop hdfs有一些问题。 (Hadoop 2.7.3) 我有2个名称节点(1个活动节点,1个备用节点)和3个数据节点 -
Hive-两个读者问题有解决方案吗?
在hive托管表中执行合并操作后,我们在HDP版本的Hive表(Hive 3.1.0.3.1.0.0-78)中面临以下问题。 当我 -
Druid hadoop批处理主管:无法将类型id'index.hadoop'解析为SupervisorSpec的子项
我正试图启动一个Druid主管来提取存储在hadoop中的PArqurt数据。但是,我收到以下错误,但找不到有关它 -
Hodoop NameNode无法启动
当我使用start-all.cmd时,则datanode,resourcemanager,nodemanager正常工作,但namenode不工作! <pre><code>19/11/04 -
对HDFS的概念理解
我只是不明白为什么在hadoop文件系统中,hdfs中的文件只能一次写入,并且在任何时候都只能有一个写入 -
使用Web API将文件上传到HDFS,但有时由于丢失“ HTTP 100 Continue”数据包而挂起
我使用<a href="https://hadoop.apache.org/docs/r1.0.4/webhdfs.html#CREATE" rel="nofollow noreferrer">WebHDFS REST API</a>将文件上 -
ImportError:无法使用Anaconda python找到共享库:libhdfs3.so
使用以下版本的Python: <pre><code> (base) [xxxx@xxx-xxx-000 lib]# python Python 3.7.3 (default, Mar 27 2019, 22:11:17) -
错误:500,我从笔记本电脑上以hdfs上传文件时,我不知道为什么出现此对话框?
<a href="https://i.stack.imgur.com/LLQvq.png" rel="nofollow noreferrer">Error500</a> <a href="https://i.stack.imgur.com/G6g3T. -
块大小和RPC / IPC长度之间有什么关系?
NameNode登录我的HDFS实例,最近开始以<code>Requested data length 145530837 is longer than maximum configured RPC length 14421 -
在Spark中处理大量小数据批处理,并将它们写入HDFS
我目前有一个Hadoop集群设置,可通过Java / Springboot后端访问。后端使用Apache Spark从集群读取数据并进行分 -
可以在近RDBMS场景中使用哪些hadoop框架
我们正处于一个项目的分析阶段,在该项目中,我们将替换基于hdfs和用于报告和查看的配置单元的旧存 -
Kafka Connector HDFS Sink 5.3.1无法生成所有JSON记录 kafka-connect-standalone.properties quickstart-hdfs.properties
<h2>使用案例</h2> 我正在阅读一个已经创建的Kafka主题,在该主题上一个单独的集群正在生成一些键和值 -
使用flafka将相同的文本文件从数据源转换为HDFS
我正在开发以下架构: 1)flume agent_a将文本文件拖到数据源目录中,并在kafka主题中移动它们。 </ -
发生集群故障时,蛇咬是否可以重试?
最近,snakebite替代了hdfs cli。据我了解,如果由于集群问题导致命令失败,hdfs不会重试命令。 我的问题 -
HDFS-无法解析/.reserved/.inodes
无法使用cli客户端解析<code>/.reserved/.inodes</code>目录。 此错误会影响使用Hive Warehouse连接器的一个Sp -
是否可以将数据从一个HBASE数据库迁移到另一个HDFS集群中的另一个数据库?
我在两个集群(西方和东方)中都有一个HBASE数据库(带有N表)。两者都具有相同的数据库架构。西方 -
连续WARN hdfs.DFSClient:通过TensorFlow Dataset API读取HDFS中存储的TFRecords时为零
当我使用TensorFlow数据集API读取HDFS中存储的TFRecords文件时,以下警告信息将连续出现在终端中。 <pre>< -
在Hive中插入覆盖表时,从org.apache.hadoop.hive.ql.exec.StatsTask错误返回代码1
我在Hive表上执行插入覆盖(合并文件本身时)时出现以下错误。 <strong>错误</strong>:<code>return co -
您可以控制HortonWorks HDP 3.4.1托管表的hdfs文件大小吗?
当前正在测试集群,使用<code>"CREATE TABLE AS"</code>时,生成的托管表最终是一个文件〜1.2 GB,而从中 -
您可以通过此示例帮助我进行HDFS中的中间文件存储吗
假设您正在开发Hadoop的新处理组件(类似于MapReduce)。您需要确定执行程序时创建的中间文件的存储位 -
在Docker Swarm上部署Spark和HDFS无法启用数据本地性
我正在尝试使用Docker Swarm作为堆栈部署在小型集群上设置Spark + HDFS部署。我可以正常使用它,但是遇到 -
有没有一种方法可以将实木复合地板文件中的数据直接插入PostgreSQL数据库中?
我正在尝试还原一些以镶木地板格式保存的历史备份文件,我想从它们中读取一次并将数据写入PostgreSQL -
在Hive上使用Parquet增加写并行性
tl; dr-我正在Hive上将大量数据写入新的Parquet格式表中,但是该作业使用的reducer比指定的要少得多,因此 -
CAP定理如何应用于HDFS?
我刚刚开始阅读有关Hadoop的内容,并遇到了CAP定理。您能否说明一下CAP的哪两个组件适用于HDFS系统? -
为什么我的hadoop无法理解-chmod命令?
我正在尝试通过以下链接将配置单元安装到我的本地系统:<a href="https://www.dezyre.com/hadoop-tutorial/install-hiv -
在HDP群集中使用HDFS3库与Namenode连接时出错
将pyspark代码连接到Hadoop目录时出现错误。 <pre><code>>>> from hdfs3 import HDFileSystem >>> hdfs = -
在hadoop的同一分区中合并多个文件的最佳选择?
我有一个按event_date分区的表,由于某种原因,当我将数据插入到外部表中时,有些日期只有一个或两个 -
Hadoop(MapReduce)问题。请勿处理此错误
我正在将Linux用于大数据主题的大学项目。我使用要通过Hadoop分析的Intellij构建了一个jar。该项目包括3个