大數(shù)據(jù)開(kāi)發(fā)是指把各種數(shù)據(jù)源的數(shù)據(jù)有效聚合,分析和處理,并將分析結(jié)果用于更好的決策和業(yè)務(wù)規(guī)劃的過(guò)程。下面是大數(shù)據(jù)開(kāi)發(fā)求職簡(jiǎn)歷項(xiàng)目經(jīng)驗(yàn)范文，供大家參考。

范文1

項(xiàng)目名稱：xx業(yè)務(wù)實(shí)時(shí)分析平臺(tái)

項(xiàng)目周期：2021.02-至今(2年4個(gè)月)

參與角色：大數(shù)據(jù)開(kāi)發(fā)工程師

所屬公司：xx力創(chuàng)電子商務(wù)有限公司

描述

基于Flink框架搭建實(shí)時(shí)電商業(yè)務(wù)分析平臺(tái)，通過(guò)對(duì)業(yè)務(wù)數(shù)據(jù)和用戶行為數(shù)據(jù)的分析，實(shí)時(shí)了解商品的銷售情況，用戶行為等，為公司的銷售策略、活動(dòng)策略提供實(shí)時(shí)數(shù)據(jù)支撐，助力營(yíng)銷業(yè)務(wù)的數(shù)字化轉(zhuǎn)型。

職責(zé)

1. 參與項(xiàng)目組件選型，解決版本兼容性問(wèn)題。

2. 將MySQL的業(yè)務(wù)數(shù)據(jù)和日志服務(wù)器的用戶行為數(shù)據(jù)采集到Kafka的ods層；

3. 通過(guò)Flink-cdc監(jiān)控MySQL配置表，實(shí)現(xiàn)ods層的維度表動(dòng)態(tài)寫(xiě)入HBase。

4. 通過(guò)需求分析，進(jìn)行數(shù)據(jù)清洗，建立dwd層表。

5. 在dws層表需求連接HBase獲取維度時(shí)，進(jìn)行優(yōu)化，采用Redis旁路緩存，線程池和多客戶端的方式進(jìn)行異步IO讀取，最終寫(xiě)入Doris，以便后續(xù)實(shí)現(xiàn)需求和可視化。

6. 通過(guò)動(dòng)態(tài)傳參的方式配置job資源。

7. 進(jìn)行代碼優(yōu)化，解決由于數(shù)據(jù)傾斜導(dǎo)致的反壓。8.針對(duì)不同需求優(yōu)化大狀態(tài)的，解決大狀態(tài)導(dǎo)致的checkpoint超時(shí)問(wèn)題。

范文2

項(xiàng)目名稱：xx業(yè)務(wù)離線分析平臺(tái)

項(xiàng)目周期：2020.03-2021.02(11個(gè)月)

參與角色：大數(shù)據(jù)開(kāi)發(fā)工程師

所屬公司：xx力創(chuàng)電子商務(wù)有限公司

描述

該項(xiàng)目主要是對(duì)平臺(tái)網(wǎng)站用戶的各種行為（訪問(wèn)行為、加購(gòu)行為、下單行為等）進(jìn)行離線分析，統(tǒng)計(jì)每日活躍用戶數(shù)、新增用戶數(shù)、轉(zhuǎn)化率、留存率、GMV、熱門(mén)商品等指標(biāo)。

職責(zé)

1. 參與項(xiàng)目組件選型，解決版本兼容性問(wèn)題。

2. 數(shù)據(jù)調(diào)研，需求分析，通過(guò)維度建模理論完成業(yè)務(wù)總線矩陣，分層建立數(shù)倉(cāng)。

3. 對(duì)不同的數(shù)據(jù)源采用不同的采集框架，采集數(shù)據(jù)到HDFS。

4. 做好原始數(shù)據(jù)的保存，清洗數(shù)據(jù)，合理規(guī)劃分層，減少數(shù)據(jù)的重復(fù)計(jì)算。

5. 完成需求的指標(biāo)，采用DophinScheduler進(jìn)行定時(shí)調(diào)度。

6. 優(yōu)化項(xiàng)目，解決數(shù)據(jù)的零點(diǎn)漂移問(wèn)題，HDFS的小文件問(wèn)題，數(shù)據(jù)傾斜的問(wèn)題等。7.進(jìn)行數(shù)據(jù)質(zhì)量監(jiān)控和維護(hù)血緣關(guān)系。

范文3

項(xiàng)目名稱：在線教育離線分析平臺(tái)

項(xiàng)目周期：2018.11-2020.02(1年3個(gè)月)

參與角色：大數(shù)據(jù)開(kāi)發(fā)工程師

所屬公司：xx譽(yù)天智駿教育科技有限公司

描述

為了了解學(xué)生的學(xué)習(xí)情況，建立離線數(shù)據(jù)倉(cāng)庫(kù)，統(tǒng)計(jì)學(xué)生的學(xué)習(xí)進(jìn)度，考試情況，對(duì)知識(shí)點(diǎn)的掌握程度等需求。根據(jù)結(jié)果更好的調(diào)整教學(xué)方案，優(yōu)化教學(xué)流程，提高教學(xué)質(zhì)量。

職責(zé)

主要工作包括：

1. 從0-1搭建離線數(shù)倉(cāng)，確定框架，解決版本兼容性問(wèn)題。

2. 數(shù)據(jù)調(diào)研，需求分析，選擇與需求相關(guān)的業(yè)務(wù)過(guò)程，采用維度建模理論完成業(yè)務(wù)總線矩陣，確定維度，分層建立數(shù)倉(cāng)（ods層，dwd層，dim層，dws層，ads層）。

3. 對(duì)不同的數(shù)據(jù)源采用不同的采集框架，采集數(shù)據(jù)到HDFS。

4. 做好原始數(shù)據(jù)的保存，清洗數(shù)據(jù)，合理規(guī)劃分層，減少數(shù)據(jù)的重復(fù)計(jì)算。

5. 完成需求的指標(biāo)，采用Azkaban進(jìn)行定時(shí)調(diào)度。

6. 優(yōu)化項(xiàng)目，解決數(shù)據(jù)的零點(diǎn)漂移問(wèn)題，HDFS的小文件問(wèn)題，數(shù)據(jù)傾斜的問(wèn)題等。

7. 進(jìn)行數(shù)據(jù)質(zhì)量監(jiān)控和維護(hù)血緣關(guān)系。

8. 日常的維護(hù)與需求的開(kāi)發(fā)。

范文4

項(xiàng)目名稱：xx數(shù)據(jù)中臺(tái)

項(xiàng)目周期：2018.07-2020.11(2年4個(gè)月)

參與角色：大數(shù)據(jù)開(kāi)發(fā)

所屬公司：中移物聯(lián)網(wǎng)

描述

it+intellij IDEA(開(kāi)發(fā)工具)，節(jié)點(diǎn)500內(nèi)存128T存儲(chǔ)15PB(硬件環(huán)境)，Spring MVC+Mybaits+Vue+Gis+Redis+PostgreSQL+Hbase+Hive+Impala+Spark+Spark Streaming+Flume NG+Sqoop+Scala+Python+Java(軟件環(huán)境)。

職責(zé)

主要工作：

1. 數(shù)據(jù)中臺(tái)項(xiàng)目方案規(guī)劃討論驗(yàn)證。

2. 數(shù)據(jù)規(guī)范制定。

3. 底層模型創(chuàng)建。