不可不知的资源管理调度器Hadoop Yarn
Yarn（Yet Another Resource Negotiator）是一个资源调度平台，负责为运算程序如Spark、Ma...
详解MapReduce（Spark和MapReduce对比铺垫篇）
MapReduce是Hadoop核心三剑客之一，设计思想来源于谷歌三篇论文之一的《分布式计算模型》。...
关于HDFS应知应会的N个问题 | 技术点
HDFS（Hadoop Distributed File System）分布式文件存储系统，主要为各类分布式计算框架如...
Hadoop调优 | NameNode主备宕机引发的思考
Hadoop调优
必须掌握的分布式文件存储系统—HDFS
HDFS（Hadoop Distributed File System）分布式文件存储系统，主要为各类分布式计算框架如...
重要 | Spark和MapReduce的对比，不仅仅是计算模型？
笔者将分上下篇文章进行阐述Spark和MapReduce的对比，首篇侧重于'宏观'上的对比，...
linux版本的jdk1.8+hadoop2.9.2下载地址
hadoop： 链接：https://pan.baidu.com/s/14AhhPYP8933tn-EfSX-i8Q 提取码：e90m...
hadoop之Name node is in safe mode
关闭虚拟机之后重启hadoop，想要用删除之前在hdfs运行的output文件，显示： hadoop之Name ...
hadoop之运行官方实例二--WordCount
1、在hadoop-2.9.2目录下新建一个wcinput：mkdir wcinput 2、在wcinput下新建一个文件：to...
hadoop完全分布式之rsync
rsync与scp的区别？ rsync主要用于备份和镜像，具有速度快、避免复制相同内容和支持符号链...
hadoop之运行官方实例一--grep
hadoop之HDFS概述
HDFS的定义？ Hadoop分布式文件管理系统。旨在对不同系统上的文件进行统一的管理。它是一个...
hadoop之hadoop目录结构
首先是bin目录下： 然后是etc：主要存放各种配置文件 include： native：本地库 sbin：存放...
hadoop伪分布式之配置历史服务器
1、配置mapred-site.xml <!--历史服务器地址--> <property> ...
hadoop伪分布式之配置yarn并运行MR程序（WordCount）
1、配置集群 （1）在yarn-env.sh中配置JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_...
pyspark读取pickle文件内容并存储到hive
在平常工作中，难免要和大数据打交道，而有时需要读取本地文件然后存储到Hive中，本文接下...
hadoop完全分布式之集群分发脚本
例如：循环复制文件到所有节点的相同目录下： 首先在centos01中的xiximayou用户下的/home目...
hadoop之java.io.IOException: Got error, status message , ack with firstBadLink as 192.168.*.* 50010
centos7中： 根据提示关闭相应主机的防火墙： 查看防火墙状态：systemctl status firewall...
hadoop之sbin/hadoop-daemon.sh:行165: /tmp/hadoop-xiximayou-datanode.pid: 权限不够
修改权限就好了： sudo chmod 777 /tmp/hadoop-xiximayou-datanode.pid
hadoop完全分布式之scp
1、克隆虚拟机之后目前有两个虚拟机 2、由于之前未配置jdk+hadoop就将centos01拷贝出c...
hadoop完全分布式之集群时间同步
找一个机器，作为时间服务器，所有的机器都和这台机器时间进行定时的同步，比如每隔十分钟...
hadoop伪分布式之配置文件说明
Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时。...
hadoop之完全分布式集群配置（centos7）
一、基础环境 现在我们有两台虚拟机了，再克隆两台： 克隆好之后需要做三件事：1、更改主机...
hadoop之hadoop基础介绍
hadoop是什么？ 是一个分布式基础架构，主要解决海量数据存储以及数据分析计算问题。 hado...
hadoop之环境搭建（centos7）
1、利用vmware安装centos7，并让主机和虚拟机系统间进行通信，可参考之前的 https://www.c...
算法设计模式多媒体技术正则表达式ElasticsearchFlinkHadoopIDE
受约束摘*day25Java常用类库置信lamda留存持续录入年后正则表达式303.17regularexpre匹多模适20130322基础理论pathmunge涵义reectok需要转义的特资源分享validationex简明魔法里弄形如源码实现完备actionscript