數據采集工程師崗位職責：應負責數據調研、采集、歸類、預處理、歸類存儲等工作。

數據采集工程師初級能力要求具體如下：

a) 專業知識：

1) 網絡爬蟲知識，

2) 離線數據采集知識，

3) 實時數據采集知識，

4) 作業調度知識，

5) 文件系統數據存儲知識，

6) 關系型數據庫知識，

7) 非關系型數據庫知識，

8) 數據清洗知識，

9) 數據 ETL 知識，

10) 數據庫基礎操作知識，

11) SQL 函數知識，

12) 結構化、半結構化與非結構化知識，

13) 分布式計算知識，

14) 內存計算知識，

15) 數據結構封裝知識，

16) 關鍵業務指標知識，

17) OLAP 系統應用知識，

18) 數據檢索知識，

19) 交互式計算知識，

20) 報表制作知識。

b) 專業技能：

1) 能根據業務需求進行網絡、離線、實時數據采集;

2) 能根據調度策略使用框架設置調度作業;

3) 能根據存儲策略進行數據存儲;

4) 能根據業務需求對遺漏數據、噪音數據、不一致數據等進行清洗;

5) 能根據業務需求對不同數據源數據進行整合;

6) 能根據業務規則對數據格式進行轉換;

7) 能根據數據歸一性原則對數據進行單位、數值規約;

8) 能根據業務需求編寫批量、實時數據計算作業;

9) 能根據數據特征計算數據標簽并進行匯總;

10) 能根據數據指標規則計算關鍵業務指標;

11) 能根據數據平臺構建聯機事務分析系統并進行即席查詢;

12) 能根據檢索引擎創建索引庫并進行數據檢索;

13) 能使用交互式查詢工具創建數據接口并提供對外服務接口;

14) 能使用交互式查詢平臺制作報表及展示圖表。

c) 經驗：

1) 累計從事本崗位工作 1 年以上。

數據采集工程師中級能力要求具體如下：

a) 專業知識：

1) 信息系統配置知識，

2) 數據監測與遷移知識，

3) 數據存儲策略知識，

4) 常用算法與數據結構知識，

5) 數據畫像知識，

6) 數據傾斜知識，

7) 大規模并行分析數據庫知識，

8) 數據立方知識，

9) 查詢引擎知識，

10) 數據分詞知識。

b) 專業技能：

1) 能根據業務需求進行網絡、離線、實時數據采集，并配置數據緩存及消息隊列;

2) 能根據業務需求參與制定數據遷移方案;

3) 能制定調度策略;

4) 能制定存儲策略并指導初級工程師存儲數據;

5) 能根據業務需求編寫批量、實時數據計算作業并優化作業參數;

6) 能根據業務規則設計相應標簽庫并進行標簽管理;

7) 能根據業務規則設計相應數據指標計算算法;

8) 能根據業務規則對關系對象進行圖計算;

9) 能使用大規模并行分析數據庫優化聯機事務分析系統性能;

10) 能使用計算引擎優化數據查詢效率;

11) 能通過計算平臺構建檢索分析系統。

c) 經驗：

1) 具備一定的采集相關項目經驗;

2) 累計從事本崗位工作 3 年以上。

數據采集工程師高級能力要求具體如下：

a) 專業知識：

1) 數據采集與遷移策略，

2) 依賴調度原理知識，

3) 存儲架構知識，

4) 數據算法設計，

5) 數據分區及緩存知識，

6) 外部程序管道知識，

7) 計算引擎優化知識，

8) 索引優化知識，

9) 數據加鹽知識，

10) 驅動器與執行器知識。

b) 專業技能：

1) 能根據業務場景制定數據采集策略并監控采集情況;

2) 能根據業務場景制定數據遷移策略并監測遷移情況;

3) 能根據業務及性能需求設計消息傳輸及推送方案;

4) 能根據業務需求及依賴關系設計調度方案;

5) 能根據業務需求及存儲應用設計存儲策略;

6) 能根據業務需求設計離線或實時數據計算算法;

7) 能制定數據標簽庫管理及規范;

8) 能制定數據計算開發流程及規范;

9) 能制定數據查詢操作流程及規范;

10) 能深入計算引擎對底層代碼進行優化以提升查詢性能;

11) 能制定對外數據接口規范及權限。

c) 經驗：

1) 具備數據采集相關項目經驗;

2) 累計從事本崗位工作 5 年以上。