BigData Blog

我干了什么 究竟拿了时间换了什么

Spark学习,pyspark执行后默认启动Ipython

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u012560212/article/details/52748357 环境:Spark-1.6 + ubuntu12.04 LTS+python-2.7.3+...

Spark Streaming Dynamic Resource Allocation

Problem Statement DRA has already been implemented since Spark 1.2 . However the existing Spark DRA on Yarn implementation does not em...

HBase Split分析

 HBase Split分析 HBase split概述    HBasesplit是HBase根据一定的触发条件和一定的分裂策略将HBase的一个region进行分裂成两个子region并对父region进行清除处理的过程。Region是HBase中一个非常核心的组织单元,所有的regio...

hbase常用命令手记

进入hbase  shell命令行:hbase shell [hadoop@hdp01 hbase]$ hbase shell 2018-01-24 21:56:20,226 INFO [main] Configuration.deprecation: hadoop.native.lib is d...

Hive源码解析与开发实战笔记--讲师贾杰

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/china_demon/article/details/51821428 Hive实战 目录 Hadoop生态系统 日志分析系统 Hive介绍 Hive she...

Hadoop_Pseudo_Distributed

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/liberty1997/article/details/68973833 Hadoop-2.7.3 Pseudo Distributed on Archlinux...

总结:Hive,Hive on Spark和SparkSQL区别

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/MrLevo520/article/details/76696073 Hive on Mapreduce Hive的原理大家可以参考这篇大数据时代的技术h...

Flum+hdfs

关键字:flume、hdfs、sink、配置参数 Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下。 channeltype hdfs path 写入hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/flume/webdata/...

0125 Flume NG 简介及配置实战

Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不合理、核心...

解决kafka数据目录迁移后,flume无法正常调用Consumer的问题

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/hardyer/article/details/79310122     集群环境是CDH5.12,上周由于kafka原始的/var/local下的数据目录被灌满...