今天在写表的时候发现没有把历史数据删除,所以要删除非本日日期的文件。
1、首先将非本日日期的文件输出到txt
hdfs dfs -ls /tmp/hive/tools/8bd379f1-6f5e-4d59-b3a3-ab8374837860/ | grep -v 2022-04-24 >./hdfs.txt
2、利用awk编写删除脚本
cat hdfs.txt | awk -F " " '{print "hdfs dfs -rm -r -skipTrash " $8}' > ./hdfs.sh
3、运行脚本
/bin/bash hdfs.sh