SPARK 2.2.1 HIVEQL的人力资源系统的数据处理的案例与解读
本节给出一个简单的公司人力资源系统的数据处理案例。人力资源管理系统的管理内容组织结构如图3-10所示。
图 3 - 10
人力资源系统的数据源包含职工基本信息、部门基本信息、职工考勤信息、
职工工资清单等,数据文件存放在本地目录/usr/local/hrs。
1) 职工基本信息:存放职工的基本信息,包含职工姓名,职工id,职工性
别,职工年龄,入职年份,职位,所在部门id等信息;people.txt数据内容如下:
Michael,1,male,37,2014,developer,2
Andy,2,female,33,2016,manager,1
Justin,3,female,23,2016,recruitingspecialist,3
John,4,male,22,2017,developer,2
Herry,5,male,27,2017,developer,1
Brewster,6,male,37,2014,manager,2
Brice,7,female,30,2016,manager,3
Justin,8,male,23,2017,recruitingspecialist,3
John,9,male,22,2018,developer,1
Herry,10,female,27,2017,recruitingspecialist,3
2) 部门基本信息:存放部门信息,包含部门名