牛骨文教育服务平台(让学习变的简单)
博客笔记
15
2016-12
Hive一些参数设置 2016-12-15
在使用union all的时候,系统资源足够的情况下,为了加快hive处理速度,可以设置如下参数实现并发执行 set mapred.job.priority=VERY_HIGH; set hive.exec.parallel
16
2016-08
mysql黑窗口创建数据库 2016-08-16
创建数据库 // 如果要创建默认gbk字符集的数据库可以用下面的sql: create database msg DEFAULT CHARACTER SET gbk COLLATE gbk_chinese_ci; // 如下脚本创建数据库

			
				在windows下黑窗口中操作数据库
在windows下黑窗口中操作数据库 2017-08-12
在windows下黑窗口中操作数据库 配置环境变量 1.找到计算机图标,右键,点击属性,会看到如下效果 2.点击高级系统设置,看到如下效果后,点击环境变量
10
2015-06
MapReduce任务Shuffle Error错误 2015-06-10
1、错误描述 在运行MapReduce任务的时候,出现如下错误: Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#1         at org.ap
14
2015-05
[Hive]Hive调优:让任务并行执行 2015-05-14
业务背景 extract_trfc_page_kpi的hive sql如下: set mapred.job.queue.name=pms; set hive.exec.reducers.max=8; set mapred.reduce.tasks=8; set mapred.job.name=extract_trfc_page_kpi; insert overwrite tab

			
				总结:Hive性能优化上的一些总结
总结:Hive性能优化上的一些总结 2017-07-29
注意,本文百分之九十来源于此文:Hive性能优化,很感谢作者的细心整理,其中有些部分我做了补充和追加,要是有什么写的不对的地方,请留言赐教,谢谢
20
2017-02
mysql 黑窗口连接数据库以及常用数据类型 2017-02-20
//tee d:1.txt 可将操作保存在d盘的1.txt中 开始键+R打开运行输入cmd进入黑窗口 1.基本操作 1.连接 本地连接: mysql -u root -p回车 密码 远程连接
15
2014-09
Yarn在Shuffle阶段内存不足问题(error in shuffle in fetcher) 2014-09-15
最近在迁移job到新集群hadoop2.4,业务方在跑一个hql的时候shuffle阶段出现OOM,这个问题之前从来没有遇到过,看了一下相关日志和counter,看不出个所
18
2014-03
map和reduce 个数的设定 (Hive优化)经典 2014-03-18
一、 控制hive任务中的map数: 1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的
22
2015-04
Hive优化以及参数配置 2015-04-22
Hive优化 hive.optimize.cp=true:列裁剪hive.optimize.prunner:分区裁剪hive.limit.optimize.enable=true:优化LIMIT n语句hive.limit.row.max.size=1000000:hive.limit.optimize.limit