Hadoop的进程之间同信使用ssh方式,需要每次都要输入密码。为了实现自动化操作,需要配置ssh免密码登陆方式。
(1)cd .ssh
(2)ssh-keygen -t rsa
执行4次回车键
(3)cp id_rsa.pub authorized_keys
hadoop 登录其他主机
(对方主机ip)192.168.3.167
(对方主机端口号)22
ssh -l root -p 22 192.168.3.167
2023-04-21 03:11:35 阅读次数:284
Hadoop的进程之间同信使用ssh方式,需要每次都要输入密码。为了实现自动化操作,需要配置ssh免密码登陆方式。
(1)cd .ssh
(2)ssh-keygen -t rsa
执行4次回车键
(3)cp id_rsa.pub authorized_keys
hadoop 登录其他主机
(对方主机ip)192.168.3.167
(对方主机端口号)22
ssh -l root -p 22 192.168.3.167
上一篇:将SQL文件导入Hive
Group By子句又称聚合查询,与MySQL或者Hive中的使用方式一样,但是需要注意一点在Select查询中如果有聚合查询,例如max,min等,与聚合查询出现的字段一定要出现在Group by中,否则语句报错。
HDFS 文件系统提供了相当多的shell 操作命令,大大方便了程序员和系统管理人员查看、修改HDFS 上的文件。
hadoop 分布式环境搭建处理
flinkcdc+hudi0.10+hive(自动同步分区+压缩)
Pexpect 是一个用来启动子程序并对其进行自动控制的 Python 模块。 Pexpect 可以用来和像 ssh、ftp、passwd、telnet 等命令行程序进行自动交互。
yarn安装MapReduce框架JAR上传的时候报错处理
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
java api访问hive操作示例
hive 的hiveserver2 服务端配置
主要是一个玩法的集成,使用apache kyuubi 简化spark 的使用,而且如果我们集成数据库存储格式也是很方便的
文章
25339
阅读量
3037097
2024-11-04 09:32:52
2024-09-25 10:14:48
2024-09-25 10:14:09
2024-09-25 10:13:57
2024-09-24 06:31:08
2024-06-17 10:03:58
2023-05-09 06:16:39
2023-02-16 08:53:34
2023-07-04 07:10:17
2023-05-31 08:48:11
2023-06-01 06:41:18
2024-09-25 10:14:48