天翼云hadoop知识文档专栏是天翼云为开发者提供的互联网技术内容平台。内容涵盖hadoop相关内容资讯。开发者在hadoop专栏是可以快速获取到自己感兴趣的技术内容,与其他开发者们学习交流,共同成长。
根据hive的案例一增加需求一: 增加案例需求:1.1 查看track_log的分区1.2 建立一张会话信息表(session):1.3 创建临时表 session_info_tmp11.4 创建临时表session_info_tmp21
hadoop集群中主要进程有 master: NameNode, ResourceManager, slaves: DataNode, Node
日志记录了程序运行的过程,是一种查找问题的利器。 Hive中的日志分为两种 1. 系统日志,记录了hive的运行情况,错误状况。 2. Job 日志,
Hadoop的进程之间同信使用ssh方式,需要每次都要输入密码。为了实现自动化操作,需要配置ssh免密码登陆方式。(1)cd .ssh(2)ssh-keygen -t rsa 执行4次回车键(3)cp id_rsa.pub aut
一.心跳机制 1. hadoop集群是master/slave模式,master包括Namenode和Jobtracker,slave包括Datano
最近,在生产环境中,hdfs集群数据量已达到存储的90%,亟需对存储空间进行扩容。通过调研和实验,确定添加datanoe的存储目录比较适合我们的生产环境!在这里记录一下添加数据目录的过程。第一步:备份hdfs-site.xml配置文件第二步
hdp 2.6.4 扩容增加数据节点标签(空格分隔): 大数据平台构建一: 新增节点的数据系统初始二: 增加数据节点的步骤一:新增节点的数据系统初始1.1 系统主机名:1.2 新增节点关闭防火墙与selinux1.3 无密钥登录1.4 ZY
hadoop 2.2 hdfs 操作例子
2从hbase加载数据到hdfs 3hbase 到hbase
hbase client api 例子-2
hbase之前版本有些api已经deprecated了,下面是1.2的api,没有deprecated
HBase client api例子集合-1
2023-02-16 08:53:34
2023-04-21 03:11:35
2023-07-04 07:10:17
2023-05-15 10:01:56
2023-05-31 08:48:11
2024-09-25 10:14:48