数据采集工程师岗位职责：应负责数据调研、采集、归类、预处理、归类存储等工作。

数据采集工程师初级能力要求具体如下：

a) 专业知识：

1) 网络爬虫知识，

2) 离线数据采集知识，

3) 实时数据采集知识，

4) 作业调度知识，

5) 文件系统数据存储知识，

6) 关系型数据库知识，

7) 非关系型数据库知识，

8) 数据清洗知识，

9) 数据 ETL 知识，

10) 数据库基础操作知识，

11) SQL 函数知识，

12) 结构化、半结构化与非结构化知识，

13) 分布式计算知识，

14) 内存计算知识，

15) 数据结构封装知识，

16) 关键业务指标知识，

17) OLAP 系统应用知识，

18) 数据检索知识，

19) 交互式计算知识，

20) 报表制作知识。

b) 专业技能：

1) 能根据业务需求进行网络、离线、实时数据采集;

2) 能根据调度策略使用框架设置调度作业;

3) 能根据存储策略进行数据存储;

4) 能根据业务需求对遗漏数据、噪音数据、不一致数据等进行清洗;

5) 能根据业务需求对不同数据源数据进行整合;

6) 能根据业务规则对数据格式进行转换;

7) 能根据数据归一性原则对数据进行单位、数值规约;

8) 能根据业务需求编写批量、实时数据计算作业;

9) 能根据数据特征计算数据标签并进行汇总;

10) 能根据数据指标规则计算关键业务指标;

11) 能根据数据平台构建联机事务分析系统并进行即席查询;

12) 能根据检索引擎创建索引库并进行数据检索;

13) 能使用交互式查询工具创建数据接口并提供对外服务接口;

14) 能使用交互式查询平台制作报表及展示图表。

c) 经验：

1) 累计从事本岗位工作 1 年以上。

数据采集工程师中级能力要求具体如下：

a) 专业知识：

1) 信息系统配置知识，

2) 数据监测与迁移知识，

3) 数据存储策略知识，

4) 常用算法与数据结构知识，

5) 数据画像知识，

6) 数据倾斜知识，

7) 大规模并行分析数据库知识，

8) 数据立方知识，

9) 查询引擎知识，

10) 数据分词知识。

b) 专业技能：

1) 能根据业务需求进行网络、离线、实时数据采集，并配置数据缓存及消息队列;

2) 能根据业务需求参与制定数据迁移方案;

3) 能制定调度策略;

4) 能制定存储策略并指导初级工程师存储数据;

5) 能根据业务需求编写批量、实时数据计算作业并优化作业参数;

6) 能根据业务规则设计相应标签库并进行标签管理;

7) 能根据业务规则设计相应数据指标计算算法;

8) 能根据业务规则对关系对象进行图计算;

9) 能使用大规模并行分析数据库优化联机事务分析系统性能;

10) 能使用计算引擎优化数据查询效率;

11) 能通过计算平台构建检索分析系统。

c) 经验：

1) 具备一定的采集相关项目经验;

2) 累计从事本岗位工作 3 年以上。

数据采集工程师高级能力要求具体如下：

a) 专业知识：

1) 数据采集与迁移策略，

2) 依赖调度原理知识，

3) 存储架构知识，

4) 数据算法设计，

5) 数据分区及缓存知识，

6) 外部程序管道知识，

7) 计算引擎优化知识，

8) 索引优化知识，

9) 数据加盐知识，

10) 驱动器与执行器知识。

b) 专业技能：

1) 能根据业务场景制定数据采集策略并监控采集情况;

2) 能根据业务场景制定数据迁移策略并监测迁移情况;

3) 能根据业务及性能需求设计消息传输及推送方案;

4) 能根据业务需求及依赖关系设计调度方案;

5) 能根据业务需求及存储应用设计存储策略;

6) 能根据业务需求设计离线或实时数据计算算法;

7) 能制定数据标签库管理及规范;

8) 能制定数据计算开发流程及规范;

9) 能制定数据查询操作流程及规范;

10) 能深入计算引擎对底层代码进行优化以提升查询性能;

11) 能制定对外数据接口规范及权限。

c) 经验：

1) 具备数据采集相关项目经验;

2) 累计从事本岗位工作 5 年以上。