-
纱线日志+ blk_xxxxxx_xxxxxx不存在或不在建设中
我们有带有以下详细信息的spark集群(所有机器都是linux redhat机器) <pre><code>aLength</code></pre> 我们 -
Spark结构化流:意外错误:状态:STATUS_INVALID_HANDLE = 0xC0000008
我在Hortonworks集群(v 2.6.5)上以客户端模式在Yarn上运行了Spark结构化流(v 2.3.0)作业。该过程从Kafka主 -
“ hdfs dfs -getfacl” webhdfs rest api等效
WebHDFS REST API中是否有与<code>hdfs dfs -getfacl -R <Path></code>命令等效的命令? 我需要获取所有<cod -
Hadoop中的可用空间块放置策略
首先,我最近正在学习hadoop 我正在寻找一种不同于标准的块放置策略,因为据我所知,标准的块放置策 -
df.coalesce(1)是什么意思?
我在python中使用了spark,因此我需要保存包含火花结果的镶木地板文件 <pre><code>df .coalesce(1) .write .save -
如何在namenode上重新创建fsimage_xxxxxxx文件
我们有两个namenode机器(属于ambari的HDP集群) 由于停电,我们注意到以下内容 在一个名称节 -
Sqoop失败,并带有密码文件参数
我有一个sqoop脚本,可将数据从SAP HANA提取到Hive。当我将密码作为参数“ --password Password $$”输入时,sqoo -
在HttpFS中启用SSL(TLS)加密
我在让HttpFS与SSL配合使用方面遇到问题。我正在使用的hadoop版本是2.6.5。 我尝试使用环境变量<code>HTTPFS_S -
配置单元查询中反引号`符号的用法
以下Hive查询(Hive版本1.2.1000.2.6.5.1100-53)中出现错误。 SELECT * from`dbname.table_name`,其中columnname =' -
Nodemanager无法连接到资源管理器
我们一直在尝试在同一LAN上配置3台PC的3节点Apache Hadoop集群。 这3台PC分别命名为thomasshelby(管理 -
SparkStreaming的ds.saveAsTextFiles(output)在输出路径中带有_temporary
1。当我在集群中使用SparkStreaming的ds.saveAsTextFiles(output)时,我在输出路径中找到了_temporary目录! 2.如 -
如何删除多个HDFS目录中最近创建的文件?
我犯了一个错误,并向按日期划分的表中添加了几百个零件文件。我能够看到哪些文件是新文件(这些 -
PySpark HDFS数据流读取/写入
我有一个包含多个文件的HDFS目录,并且我想合并到一个目录中。我不想使用Spark DF来执行此操作,而是 -
如何在不制作任何csv文件的情况下编写HDFS?
我想抓取数据并将其加载到HDFS中。我发现了很多使用csv文件并将其移至HDFS的示例。我们是否不能像在传 -
Hadoop中Namenode的内存
<strong>环境</strong>:生产集群具有2个名称节点(即活动节点和备用节点),并且这些节点是Raid-1配置中 -
Pyspark FileSystem fs.listStatus(sc._jvm.org.apache.hadoop.fs.Path(path))仅返回第一个子目录
我想在Pyspark中递归地遍历给定的hdfs路径,而无需使用<code>hadoop fs -ls [path]</code>。我尝试了建议的解决方 -
HDFS序列文件重写/过滤
我有大约10_000个大小不同的HDFS序列文件-较小(兆字节)和较大(千兆字节)。我需要重写所有这些文件 -
HDFS删除除一个以外的所有文件夹
在HDFS中删除文件夹的标准命令如下: <pre><code>hadoop fs -rmdir -r /data/11.19 </code></pre> 删除2个文件夹 -
使用REST API为HDFS构建动态UI
出于科学目的,我们必须为Hadoop Data Lake构建UI。 我发现Hadoop为WebHDFS提供了REST API。不幸的是,标 -
如何使用Presto查询HDFS文件
我正在尝试像Apache Drill这样的Presto查询hdfs文件。我已经搜索了,但是由于缺少Presto资源而发现了任何东 -
如何使用Kafka Connect配置HdfsSinkConnector?
我正在尝试设置HdfsSinkConnector。这是我的worker.properties配置: <pre><code>bootstrap.servers=kafkacluster01.corp:909 -
在presto cli中执行删除查询后,select查询中是否存在任何问题?
我有presto蜂巢和hdfs设置,并且有一个表客户,其中有数据(数据存储在hdfs位置/presto/customer.avro中)。</p -
单列日期分区和目录YYYY / MM / DD层次结构分区之间的区别
我必须在Hadoop集群上存储10年的数据(每天1GB)。 我将数据存储为实木复合地板,并按日期对数 -
fsimage和hadoop中的快照有什么区别?
我是hadoop的新手。我想知道在hadoop中用于文件系统状态的<strong>快照</strong>和<strong> fsimage </strong>之间的 -
使用NiFi在HBase中提取json数据
我试图将存储在HDFS中的一个非常简单的XML文件写入HBase。我想将XML文件转换为json格式,并在HBase中为json -
在hdfs中,为什么节点看起来如此不可靠?
在<a href="https://data-flair.training/blogs/hadoop-hdfs-tutorial/" rel="nofollow noreferrer">this article</a>中,作者讨论了数 -
HADOOP-在运行时从hadoop文件系统导入文件
我有一个问题,我应该从hadoop文件系统中选择一个文件,但是如果我只放置路径(就像我对本地文件所 -
Hive中将源重命名为目标路径时出错
运行配置单元查询时收到以下错误: <pre><code> session.SessionState: Could not get hdfsEncryptionShim, it is only app -
我们如何使用Apache骆驼使用httpfs连接hdfs
我一直在使用骆驼来连接hdfs,并且一切正常。但是,我们已计划进行迁移,并且新服务器没有直接连接 -
触发流无法写入hdfs路径
我正在使用Java 1.8将spark-sql-2.4.1v与kafka 0.10.x一起使用。 <pre><code>Dataset<Row> dataSet= sparkSession