大數(shù)據(jù)開發(fā)是指把各種數(shù)據(jù)源的數(shù)據(jù)有效聚合,分析和處理,并將分析結(jié)果用于更好的決策和業(yè)務(wù)規(guī)劃的過程。下面是大數(shù)據(jù)開發(fā)求職簡歷項目經(jīng)驗范文，供大家參考。
范文1
項目名稱：xx業(yè)務(wù)實時分析平臺
項目周期：2021.02-至今(2年4個月)
參與角色：大數(shù)據(jù)開發(fā)工程師
所屬公司：xx力創(chuàng)電子商務(wù)有限公司
描述
基于Flink框架搭建實時電商業(yè)務(wù)分析平臺，通過對業(yè)務(wù)數(shù)據(jù)和用戶行為數(shù)據(jù)的分析，實時了解商品的銷售情況，用戶行為等，為公司的銷售策略、活動策略提供實時數(shù)據(jù)支撐，助力營銷業(yè)務(wù)的數(shù)字化轉(zhuǎn)型。
職責(zé)
參與項目組件選型，解決版本兼容性問題。
將MySQL的業(yè)務(wù)數(shù)據(jù)和日志服務(wù)器的用戶行為數(shù)據(jù)采集到Kafka的ods層；
通過Flink-cdc監(jiān)控MySQL配置表，實現(xiàn)ods層的維度表動態(tài)寫入HBase。
通過需求分析，進(jìn)行數(shù)據(jù)清洗，建立dwd層表。
在dws層表需求連接HBase獲取維度時，進(jìn)行優(yōu)化，采用Redis旁路緩存，線程池和多客戶端的方式進(jìn)行異步IO讀取，最終寫入Doris，以便后續(xù)實現(xiàn)需求和可視化。
通過動態(tài)傳參的方式配置job資源。
進(jìn)行代碼優(yōu)化，解決由于數(shù)據(jù)傾斜導(dǎo)致的反壓。8.針對不同需求優(yōu)化大狀態(tài)的，解決大狀態(tài)導(dǎo)致的checkpoint超時問題。
范文2
項目名稱：xx業(yè)務(wù)離線分析平臺
項目周期：2020.03-2021.02(11個月)
參與角色：大數(shù)據(jù)開發(fā)工程師
所屬公司：xx力創(chuàng)電子商務(wù)有限公司
描述
該項目主要是對平臺網(wǎng)站用戶的各種行為（訪問行為、加購行為、下單行為等）進(jìn)行離線分析，統(tǒng)計每日活躍用戶數(shù)、新增用戶數(shù)、轉(zhuǎn)化率、留存率、GMV、熱門商品等指標(biāo)。
職責(zé)
參與項目組件選型，解決版本兼容性問題。
數(shù)據(jù)調(diào)研，需求分析，通過維度建模理論完成業(yè)務(wù)總線矩陣，分層建立數(shù)倉。
對不同的數(shù)據(jù)源采用不同的采集框架，采集數(shù)據(jù)到HDFS。
做好原始數(shù)據(jù)的保存，清洗數(shù)據(jù)，合理規(guī)劃分層，減少數(shù)據(jù)的重復(fù)計算。
完成需求的指標(biāo)，采用DophinScheduler進(jìn)行定時調(diào)度。
優(yōu)化項目，解決數(shù)據(jù)的零點漂移問題，HDFS的小文件問題，數(shù)據(jù)傾斜的問題等。7.進(jìn)行數(shù)據(jù)質(zhì)量監(jiān)控和維護血緣關(guān)系。
范文3
項目名稱：在線教育離線分析平臺
項目周期：2018.11-2020.02(1年3個月)
參與角色：大數(shù)據(jù)開發(fā)工程師
所屬公司：xx譽天智駿教育科技有限公司
描述
為了了解學(xué)生的學(xué)習(xí)情況，建立離線數(shù)據(jù)倉庫，統(tǒng)計學(xué)生的學(xué)習(xí)進(jìn)度，考試情況，對知識點的掌握程度等需求。根據(jù)結(jié)果更好的調(diào)整教學(xué)方案，優(yōu)化教學(xué)流程，提高教學(xué)質(zhì)量。
職責(zé)
主要工作包括：
從0-1搭建離線數(shù)倉，確定框架，解決版本兼容性問題。
數(shù)據(jù)調(diào)研，需求分析，選擇與需求相關(guān)的業(yè)務(wù)過程，采用維度建模理論完成業(yè)務(wù)總線矩陣，確定維度，分層建立數(shù)倉（ods層，dwd層，dim層，dws層，ads層）。
對不同的數(shù)據(jù)源采用不同的采集框架，采集數(shù)據(jù)到HDFS。
做好原始數(shù)據(jù)的保存，清洗數(shù)據(jù)，合理規(guī)劃分層，減少數(shù)據(jù)的重復(fù)計算。
完成需求的指標(biāo)，采用Azkaban進(jìn)行定時調(diào)度。
優(yōu)化項目，解決數(shù)據(jù)的零點漂移問題，HDFS的小文件問題，數(shù)據(jù)傾斜的問題等。
進(jìn)行數(shù)據(jù)質(zhì)量監(jiān)控和維護血緣關(guān)系。
日常的維護與需求的開發(fā)。
范文4
項目名稱：xx數(shù)據(jù)中臺
項目周期：2018.07-2020.11(2年4個月)
參與角色：大數(shù)據(jù)開發(fā)
所屬公司：中移物聯(lián)網(wǎng)
描述
it+intellij IDEA(開發(fā)工具)，節(jié)點500內(nèi)存128T存儲15PB(硬件環(huán)境)，Spring MVC+Mybaits+Vue+Gis+Redis+PostgreSQL+Hbase+Hive+Impala+Spark+Spark Streaming+Flume NG+Sqoop+Scala+Python+Java(軟件環(huán)境)。
職責(zé)
主要工作：
數(shù)據(jù)中臺項目方案規(guī)劃討論驗證。
數(shù)據(jù)規(guī)范制定。
底層模型創(chuàng)建。
