Hudi对接OBS文件系统
- 使用安装客户端用户登录客户端安装节点。
- 配置环境变量。
source ${client_home}/bigdata_env
source ${client_home}/Hudi/component_env
- 修改配置文件：
vim ${client_home}/Hudi/hudi/conf/hdfs-site.xml
<property>
<name>dfs.namenode.acls.enabled</name>
<value>false</value>
</property>
- 如果是安全集群，使用以下命令用户进行用户认证，如果当前集群未启用Kerberos认证，则无需执行此命令。
kinit 用户名
- 启动spark-shell，执行下面的命令创建COW表存储到OBS中：
importorg.apache.hudi.QuickstartUtils._
importscala.collection.JavaConversions._
importorg.apache.spark.sql.SaveMode._
importorg.apache.hudi.DataSourceReadOptions._
importorg.apache.hudi.DataSourceWriteOptions._
importorg.apache.hudi.config.HoodieWriteConfig._
valtableName = "hudi_cow_table"
valbasePath = "obs://testhudi/cow_table/"
valdataGen = new DataGenerator
valinserts = convertToStringList(dataGen.generateInserts(10))
valdf = spark.read.json(spark.sparkContext.parallelize(inserts, 2))
df.write.format("org.apache.hudi").
options(getQuickstartWriteConfigs).
option(PRECOMBINE_FIELD_OPT_KEY,"ts").
option(RECORDKEY_FIELD_OPT_KEY,"uuid").
option(PARTITIONPATH_FIELD_OPT_KEY,"partitionpath").
option(TABLE_NAME,tableName).
mode(Overwrite).
save(basePath);
- 使用datasource查看表建立成功，数据正常。
valroViewDF = spark.
read.
format("org.apache.hudi").
load(basePath·"/ */* / */* ")
roViewDF.createOrReplaceTempView("hudi_ro_table")
spark.sql("select·from hudi_ro_table").show()
- 执行:q退出spark-shell命令行。
