数据系统工程师岗位职责：应负责大数据系统/平台的运行和维护等工作。

数据系统工程师初级能力要求具体如下：

a) 专业知识：

1) 运维基础知识：

2) 硬件设备功能知识，

3) 服务器组网知识，

4) 服务器配置知识，

5) 操作系统安装知识，

6) 云计算及虚拟化部署知识，

7) Linux 系统基础操作知识，

8) 大数据组件安装知识，

9) 大数据集群配置知识，

10) 大数据组件基础操作知识，

11) 应用变更管理知识，

12) 代码仓库托管知识，

13) 功能持续集成知识，

14) 代码版本控制知识，

15) 管理平台操作知识，

16) 系统环境监控知识，

17) 常见故障排查知识，

18) 容灾备份知识。

b) 专业技能：

1) 能根据施工方案，进行需求沟通并确认设备参数;

2) 能参照施工方案，对大数据机架及大型设备进行机房空间规划并部署服务器;

3) 能根据组网规划方案，对各服务器或需联通网络设备进行组网布置;

4) 能根据现场设施及电力系统，对设备进行上电测试及点亮测试;

5) 能根据系统部署方案，安装集群环境、硬件环境、虚拟化环境所需的各类系统;

6) 能根据软件部署方案使用脚本部署产品或用原生方法安装各类大数据功能组件;

7) 能根据节点连接信息配置大数据集群;

8) 能根据集群功能对组件进行启动调试;

9) 能对现有大数据集群的各类组件进行应用变更或版本更迭;

10) 能根据上线计划，按时完成功能上线;

11) 能对提交代码的版本进行管理;

12) 能使用工具对集群的软硬件运行状态进行监控管理;

13) 能使用工具对大数据集群的各类组件、服务的运行状态进行监控管理;

14) 能使用工具对作业运行情况和资源占用进行监控管理;

15) 能根据故障报告，参与故障排查，处理故障问题;

16) 能根据容灾计划，定期备份和迁移关键数据。

c) 经验：

1) 累计从事本岗位工作 1 年以上。

数据系统工程师中级能力要求具体如下：

a) 专业知识：

1) 网络架构和规划，

2) 服务器底层配置知识，

3) 云计算及虚拟化知识，

4) 自动化脚本开发知识，

5) 集群配置知识，

6) 高可用及容灾知识，

7) 集群技术知识，

8) 安全访问控制知识，

9) 性能调优知识，

10) 故障排查知识，

11) 容灾管理知识。

b) 专业技能：

1) 能根据配置需求，规划及选型硬件配置设施;

2) 能根据机房环境和配置清单，制定工程实施方案;

3) 能根据物理硬件特性，制定组网规划方案;

4) 能根据硬件设备条件，进行底层及驱动配置;

5) 能根据现场施工情况进行故障处理指导;

6) 能根据应用需求，规划系统部署方案;

7) 能根据性能需求，对各运行系统进行配置和调优;

8) 能根据软件部署方案，编写自动化部署脚本，并完成部署;

9) 能根据集群组件进行高可用及容灾配置;

10) 能根据集群功能对各组件进行联通调试;

11) 能根据集群功能变更需求，制定组件升级及功能迁移方案;

12) 能对上线功能进行测试，评估上线可行性，制定上线计划;

13) 能对大数据平台中的各个组件使用权限进行管理;

14) 能编写脚本对集群软硬件、组件与服务、作业运行情况进行监控及管理操作;

15) 能对集群的运行性能、读写性能等指标进行调优;

16) 能根据故障报告，排查故障原因，处理故障问题，并编写自动化运维脚本;

17) 能制定容灾计划，对异常服务进行故障转移。

c) 经验：

1) 具备一定的数据运维相关项目经验;

2) 累计从事本岗位工作 3 年以上。

数据系统工程师高级能力要求具体如下：

a) 专业知识：

1) 安全施工规范，

2) 硬件产品知识，

3) 故障管理知识，

4) 权限安全规范，

5) 软件产品知识，

6) 联邦集群知识，

7) 异地多活知识，

8) 风险管理知识，

9) 应用变更知识，

10) 代码管理知识，

11) 权限管理知识，

12) 性能指标知识，

13) 负载均衡知识，

14) 故障分析方法，

15) 故障转移知识。

b) 专业技能：

1) 能根据安全施工规范，整体规划硬件设施安全方案;

2) 能审核及指导工程师规划和选型硬件配置设施;

3) 能根据产品特性，制定统一施工标准;

4) 能根据系统部署方案，与产品开发部门整体规划硬件承载、配置及扩展方案;

5) 能根据不同硬件设施，制定故障处理规范及流程;

6) 能根据权限安全规范，制定软件权限安全方案;

7) 能审核并指导工程师制定系统及软件部署方案;

8) 能根据产品特性，制定部署及升级策略;

9) 能根据集群组件特性制定高可用及容灾策略;

10) 能根据调试结果，制定部署优化方案;

11) 能评估应用变更风险，发布应用变更计划，管控变更流程，总结变更报告;

12) 能根据软件部署方式，制定各类组件应用变更或版本更迭方案;

13) 能制定代码管理规范并配置代码仓库管理系统;

14) 能制定各部门平台功能使用权限规范;

15) 能规划监控指标，制定监控管理规范;

16) 能开发监控脚本，并规划阈值;

17) 能对系统性能进行调优;

18) 能使用数据挖掘方法挖掘潜在故障;

19) 能对故障事故进行复盘，编写故障预防规范;

20) 能定期组织容灾演练。

c) 经验:

1) 具备数据运维相关项目经验;

2) 累计从事本岗位工作 5 年以上。