问题描述:
yarn开启ACL用户认证之后,日志只有在任务执行的时候能看到,SPARK任务跑完之后,在去看日志报User[yarn] is not authorized to view the logs for container的提示
解决方案:
主要是原因是我开启sentry认证之后,资源池的队列用ACL进行了管理,提交的时候都是以hive用户来提交的,在ACL中只加了root忘记加hive
和yarn,导到任务执行完之后,历史的日志是从本地转存到了HDFS,无权限进行访问导致的。
解决方案:
管理 ACL:yarn.admin.acl如入如下用户:
admin,root,hive,yarn,hdfs,spark,impala,tools
保存后重启Yarn服务即可。
然后就可以正常的看历史日志了。