我在傳統(tǒng)行業(yè)做大數(shù)據(jù)開(kāi)發(fā)工程師

從業(yè)者：林曉晴

從業(yè)年限：2年

從業(yè)地點(diǎn)：廣州

一句話感受：我們的使命是挖掘數(shù)據(jù)的最大價(jià)值

對(duì)口專(zhuān)業(yè)：應(yīng)用數(shù)學(xué)、軟件工程、計(jì)算機(jī)科學(xué)與技術(shù)、信息管理與信息系統(tǒng)等

從業(yè)門(mén)檻：本科及以上學(xué)歷

晉升路徑：大數(shù)據(jù)開(kāi)發(fā)工程師→高級(jí)大數(shù)據(jù)開(kāi)發(fā)工程師→數(shù)據(jù)架構(gòu)主管→大數(shù)據(jù)架構(gòu)師

薪資水平：10萬(wàn)—15萬(wàn)元/年

入職提醒：大數(shù)據(jù)開(kāi)發(fā)對(duì)技術(shù)要求比較高，特別是在數(shù)據(jù)庫(kù)方面，需要精通各類(lèi)常用的數(shù)據(jù)庫(kù)軟件

你了解大數(shù)據(jù)嗎？

想必大家對(duì)“大數(shù)據(jù)”這個(gè)名詞并不陌生，但要說(shuō)起大數(shù)據(jù)相關(guān)工作具體是做什么的，很多人就不清楚了，甚至以為這個(gè)職業(yè)只存在于互聯(lián)網(wǎng)大廠中。現(xiàn)在，就讓我這個(gè)傳統(tǒng)制造業(yè)的大數(shù)據(jù)開(kāi)發(fā)工程師給大家介紹一下這個(gè)職業(yè)吧！

從不同的維度和視角來(lái)看，大數(shù)據(jù)是一種技術(shù)、一種產(chǎn)業(yè)、一種資源，是一種理念和一種思維方式，也可以說(shuō)是一個(gè)時(shí)代。如今大數(shù)據(jù)已經(jīng)融入經(jīng)濟(jì)社會(huì)發(fā)展的方方面面，許多工作都可以用大數(shù)據(jù)理念來(lái)指導(dǎo)。比如我們?nèi)粘Ｉ钪猩婕暗囊恍┓?wù)，包括快遞、外賣(mài)、共享單車(chē)等，都用到了大數(shù)據(jù)技術(shù)；還有近段時(shí)間火遍全網(wǎng)的ChatGPT，也是大數(shù)據(jù)技術(shù)的運(yùn)用和延伸?？梢院敛豢鋸埖卣f(shuō)，大數(shù)據(jù)與我們的日常生活有著千絲萬(wàn)縷的聯(lián)系，從衣食住行，到金融理財(cái)，還有我們的制造業(yè)，都可以瞧見(jiàn)它的身影。

“大數(shù)據(jù)人”的一天

雖然身處制造業(yè)，但我們“大數(shù)據(jù)人”的一天基本上也都圍繞“大數(shù)據(jù)”展開(kāi)工作。每周一上午，按照慣例，我們部門(mén)會(huì)開(kāi)例會(huì)，部門(mén)經(jīng)理會(huì)根據(jù)各個(gè)項(xiàng)目的情況，為每個(gè)項(xiàng)目組分配本周的工作任務(wù)。我們大數(shù)據(jù)組的工作主要分為三大塊：一塊是大數(shù)據(jù)日常開(kāi)發(fā)迭代工作，另一塊是大數(shù)據(jù)重點(diǎn)項(xiàng)目的開(kāi)發(fā)工作，還有一塊是大數(shù)據(jù)相關(guān)軟件的日常運(yùn)維工作。

我的職位是大數(shù)據(jù)開(kāi)發(fā)工程師，主要工作是負(fù)責(zé)大數(shù)據(jù)倉(cāng)庫(kù)和模型的建設(shè)，參與大數(shù)據(jù)項(xiàng)目中的數(shù)據(jù)采集、加工，維護(hù)大數(shù)據(jù)平臺(tái)的穩(wěn)定。具體點(diǎn)說(shuō)，就是根據(jù)公司的業(yè)務(wù)需求，從各大業(yè)務(wù)系統(tǒng)中抽取相應(yīng)的數(shù)據(jù)，對(duì)其進(jìn)行加工、分析，再制作出業(yè)務(wù)所需的報(bào)表。由于我們公司所在的行業(yè)是制造業(yè)，因此我們的工作涉及許多與制造業(yè)相關(guān)的系統(tǒng)，比如倉(cāng)儲(chǔ)物流系統(tǒng)WMS、工廠制造執(zhí)行系統(tǒng)MES……我需要從這些業(yè)務(wù)系統(tǒng)中抽取數(shù)據(jù)，制作生產(chǎn)數(shù)據(jù)看板，實(shí)時(shí)監(jiān)控生產(chǎn)狀況，讓企業(yè)相關(guān)業(yè)務(wù)管理人員能夠清晰地了解各個(gè)車(chē)間的產(chǎn)能和生產(chǎn)狀況、貨物的發(fā)運(yùn)情況，從而及時(shí)地發(fā)現(xiàn)問(wèn)題、解決問(wèn)題，提高公司的生產(chǎn)效率，推動(dòng)公司業(yè)務(wù)的發(fā)展。

一般來(lái)說(shuō)，我們大數(shù)據(jù)開(kāi)發(fā)工程師接觸較多的工作是寫(xiě)SQL。SQL即Structured Query Language（結(jié)構(gòu)化查詢(xún)語(yǔ)言）的簡(jiǎn)稱(chēng)，是一種數(shù)據(jù)庫(kù)查詢(xún)和程序設(shè)計(jì)語(yǔ)言，主要用于存取數(shù)據(jù)以及查詢(xún)、更新和管理關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)。寫(xiě)SQL是一件非常令人頭疼的事情，因?yàn)槲覀內(nèi)粘９ぷ髦袝?huì)面對(duì)各種類(lèi)型的數(shù)據(jù)庫(kù)，也就會(huì)面對(duì)不同的數(shù)據(jù)庫(kù)語(yǔ)言，雖然其語(yǔ)法大致一樣，但所用到的函數(shù)有可能會(huì)不一樣，所以要格外注意。我就犯過(guò)好幾次類(lèi)似的錯(cuò)誤，因沒(méi)有注意到函數(shù)的差別，導(dǎo)致排查不出數(shù)據(jù)的問(wèn)題。

此外，在做項(xiàng)目需求的時(shí)候，一定要加強(qiáng)溝通，存在疑惑時(shí)，也一定要與需求提出方溝通清楚，確定清楚后再開(kāi)始執(zhí)行。要知道，每個(gè)人對(duì)需求的理解都存在差異，比如我們理解的是A，而需求提出方想要的可能是B。

向優(yōu)秀的“大數(shù)據(jù)人”進(jìn)階

如何成為一名優(yōu)秀的大數(shù)據(jù)開(kāi)發(fā)工程師，這也是我一直在思考的問(wèn)題。

目前我的工作大部分還停留在寫(xiě)SQL、制作報(bào)表上，對(duì)大數(shù)據(jù)框架的建構(gòu)方面涉及較少，在基礎(chǔ)開(kāi)發(fā)語(yǔ)言的掌握方面較為薄弱，看不懂大數(shù)據(jù)框架的相關(guān)代碼。但從技術(shù)層面來(lái)說(shuō)，大數(shù)據(jù)開(kāi)發(fā)工程師也屬于軟件開(kāi)發(fā)人員，需要有一定的編碼能力。為此，領(lǐng)導(dǎo)特地找了開(kāi)發(fā)人員對(duì)我們大數(shù)據(jù)開(kāi)發(fā)項(xiàng)目組進(jìn)行基礎(chǔ)語(yǔ)言的培訓(xùn)。若想讓自己的工作能力得到進(jìn)一步提升，我們還需要精通一些常用的算法模型，這樣才能在面對(duì)海量的非結(jié)構(gòu)化數(shù)據(jù)時(shí)，通過(guò)規(guī)劃算法與編寫(xiě)程序去挖掘出有價(jià)值的數(shù)據(jù)。因此，我們需要不斷地充實(shí)自己，比如可以多加入幾個(gè)技術(shù)群，遇到問(wèn)題時(shí)多向技術(shù)“大牛”請(qǐng)教。

從業(yè)務(wù)層面來(lái)說(shuō)，大數(shù)據(jù)開(kāi)發(fā)工程師要具備相關(guān)行業(yè)的業(yè)務(wù)知識(shí)，熟悉各自行業(yè)的業(yè)務(wù)指標(biāo)和業(yè)務(wù)術(shù)語(yǔ)，畢竟大數(shù)據(jù)的最終目標(biāo)是服務(wù)社會(huì)和企業(yè)。

從技術(shù)層面來(lái)說(shuō)，大數(shù)據(jù)開(kāi)發(fā)工程師需要掌握常用的數(shù)據(jù)庫(kù)以及數(shù)據(jù)可視化工具的使用，還需要掌握J(rèn)ava、python等基礎(chǔ)編程語(yǔ)言。

此外，從業(yè)者也可以利用網(wǎng)絡(luò)上的資源，如博客園、CSDN（中國(guó)專(zhuān)業(yè)IT社區(qū)）、多逛技術(shù)論壇等，參考行業(yè)前輩的學(xué)習(xí)路線和方法，并結(jié)合自己的實(shí)際情況，規(guī)劃學(xué)習(xí)周期，實(shí)現(xiàn)量變到質(zhì)變的飛躍。

需要注意的是，大數(shù)據(jù)開(kāi)發(fā)工程師一定要培養(yǎng)自己的語(yǔ)言表達(dá)能力和書(shū)面表達(dá)能力。在此再次提醒大家，大數(shù)據(jù)開(kāi)發(fā)工程師的工作可不是單純寫(xiě)SQL、寫(xiě)代碼、做報(bào)表而已。

想成為大數(shù)據(jù)開(kāi)發(fā)工程師嗎？

大數(shù)據(jù)相關(guān)職位對(duì)學(xué)歷與技術(shù)的要求比較高，一般來(lái)說(shuō)，從業(yè)者需要具備本科及以上學(xué)歷，需要具備數(shù)據(jù)挖掘與數(shù)據(jù)分析等相關(guān)專(zhuān)業(yè)能力，這也要求從業(yè)者具備良好的學(xué)習(xí)能力。大數(shù)據(jù)開(kāi)發(fā)行業(yè)目前正蓬勃發(fā)展，相關(guān)技術(shù)體系也非常龐大，對(duì)初學(xué)者而言具有一定的挑戰(zhàn)性。因此，想從事大數(shù)據(jù)行業(yè)的同學(xué)一定要做好不斷學(xué)習(xí)的思想準(zhǔn)備，最好提前做好學(xué)習(xí)計(jì)劃，找到適合自己的學(xué)習(xí)方法。

一般來(lái)說(shuō)，大數(shù)據(jù)入門(mén)學(xué)習(xí)即大數(shù)據(jù)開(kāi)發(fā)技術(shù)的學(xué)習(xí)可以分成三個(gè)階段：第一個(gè)階段是編程基礎(chǔ)語(yǔ)言的學(xué)習(xí)，第二個(gè)階段是算法相關(guān)基礎(chǔ)知識(shí)的學(xué)習(xí)，第三個(gè)階段是結(jié)合相應(yīng)場(chǎng)景進(jìn)行實(shí)際運(yùn)用。在學(xué)習(xí)過(guò)程中，興趣是最重要的動(dòng)力源，因此在入門(mén)學(xué)習(xí)時(shí)，同學(xué)們最好結(jié)合自身的基礎(chǔ)以及感興趣的方向，為自己制定初步的學(xué)習(xí)路線。之后，我們就可以深耕大數(shù)據(jù)行業(yè)，為企業(yè)和社會(huì)發(fā)展貢獻(xiàn)自己的智慧啦！

后記

目前我國(guó)的大數(shù)據(jù)行業(yè)迎來(lái)了新的發(fā)展機(jī)遇，產(chǎn)業(yè)規(guī)模日趨成熟。2014年，“大數(shù)據(jù)”首次被寫(xiě)進(jìn)我國(guó)政府工作報(bào)告，大數(shù)據(jù)產(chǎn)業(yè)首次上升至國(guó)家戰(zhàn)略層面，國(guó)家大數(shù)據(jù)綜合試驗(yàn)區(qū)如雨后春筍般在全國(guó)各地建立起來(lái)。同時(shí)，相關(guān)政策與標(biāo)準(zhǔn)體系也在不斷完善。

總而言之，大數(shù)據(jù)在未來(lái)的就業(yè)舞臺(tái)還是非常廣闊的，是一個(gè)比較熱門(mén)的就業(yè)方向。所以，想從事大數(shù)據(jù)行業(yè)的同學(xué)，請(qǐng)努力加油吧！