馬宏江
摘要:人類(lèi)社會(huì)進(jìn)入信息革命4.0時(shí)代,國(guó)家把光電子技術(shù)產(chǎn)業(yè)列為戰(zhàn)略性新興產(chǎn)業(yè),在光電子沒(méi)有科學(xué)的正式分類(lèi)1前,本文自行對(duì)光電子分成8個(gè)門(mén)類(lèi),同時(shí)面對(duì)光電子資源匱乏,一些行業(yè)資料尚處于商業(yè)機(jī)密,規(guī)劃師如何利用網(wǎng)蟲(chóng)爬取互聯(lián)網(wǎng)數(shù)據(jù),展開(kāi)特定行業(yè)的調(diào)查研究提供一些參考。
關(guān)鍵詞:網(wǎng)絡(luò)爬蟲(chóng),中國(guó)光電子行業(yè)分布特征;規(guī)劃研究
1項(xiàng)目背景
光電子產(chǎn)業(yè)是21世紀(jì)的支柱產(chǎn)業(yè),光電子技術(shù)不僅全面繼承兼容電子技術(shù),而且具有微電子無(wú)法比擬的優(yōu)越性能和更廣闊的應(yīng)用范圍。光電子學(xué)和光電子技術(shù)在信息、能源、材料、航空航天、生命科學(xué)及國(guó)防軍事領(lǐng)域中得到廣泛應(yīng)用。在國(guó)家實(shí)施“一帶一路”戰(zhàn)略的指引下,隨著東部產(chǎn)業(yè)轉(zhuǎn)移,新一輪科技革命和產(chǎn)業(yè)變革興起與經(jīng)濟(jì)發(fā)展方式轉(zhuǎn)變,光電子技術(shù)產(chǎn)業(yè)被國(guó)家列為戰(zhàn)略性新興產(chǎn)業(yè)。
本文著重介紹第一小組研究方法,規(guī)劃師在遵守網(wǎng)絡(luò)道德和爬蟲(chóng)協(xié)議(Robots)下,利用網(wǎng)絡(luò)爬取技術(shù),對(duì)國(guó)內(nèi)光電子信息網(wǎng)頁(yè)進(jìn)行數(shù)據(jù)收集、分析、整理,并提出國(guó)內(nèi)光電子行業(yè)分布特征,為所做玉溪光電子產(chǎn)業(yè)園的發(fā)展方向和重點(diǎn)、規(guī)劃思路和目標(biāo)提供支撐,也進(jìn)一步引導(dǎo)省內(nèi)外光電子產(chǎn)業(yè)重點(diǎn)企業(yè)向園區(qū)集聚,形成拳頭力量,有效拓展玉溪市乃至云南省光電子產(chǎn)業(yè)領(lǐng)域,實(shí)現(xiàn)產(chǎn)業(yè)升級(jí)。
2爬取目標(biāo)導(dǎo)向和路徑
據(jù)工信部發(fā)布《中國(guó)光電子器件產(chǎn)業(yè)技術(shù)發(fā)展路線圖(2018-2022年)》,國(guó)家將光電子產(chǎn)業(yè)納入國(guó)家發(fā)展戰(zhàn)略,大力支持光電子產(chǎn)業(yè)發(fā)展,同時(shí)國(guó)家加大對(duì)光電子芯片共性關(guān)鍵技術(shù)的研發(fā)資金的支持,迅速提高核心器件國(guó)產(chǎn)化率,培育具有國(guó)際競(jìng)爭(zhēng)力大企業(yè)等。2018年4月26日,國(guó)家信息光電子創(chuàng)新中心在武漢烽火科技集團(tuán)正式掛牌成立。承載著解決我國(guó)信息光電子制造業(yè)“關(guān)鍵和共性技術(shù)協(xié)同研發(fā),實(shí)現(xiàn)首次商業(yè)化”的戰(zhàn)略任務(wù)。
目標(biāo)導(dǎo)向有三項(xiàng):一是摸清中國(guó)光電子整體發(fā)展情況?二是中國(guó)光電子8個(gè)行業(yè)狀況?三是對(duì)于中西部典型地區(qū)光電子行業(yè)狀況是什么?
爬取路徑:選擇爬蟲(chóng)、爬取框架、源數(shù)據(jù)分析處理、IP攔截處理、成果。
3數(shù)據(jù)分析與成果
3.1數(shù)據(jù)挖掘技術(shù)
通過(guò)腳本編程、Web前端、網(wǎng)絡(luò)通信、爬蟲(chóng)框架、網(wǎng)頁(yè)解析、數(shù)據(jù)庫(kù)、分布式部署七項(xiàng)構(gòu)建技術(shù)規(guī)則。選擇python按照上述規(guī)則去抓取網(wǎng)站上設(shè)定的有價(jià)值信息,并按8類(lèi)行業(yè)門(mén)類(lèi),從上、中、下游產(chǎn)業(yè)分別所處城市里企業(yè)進(jìn)行分析。詳見(jiàn)圖1 技術(shù)規(guī)則代碼實(shí)現(xiàn)模型構(gòu)建。
3.2源數(shù)據(jù)分析
選擇EXECL工具,從編號(hào)、行業(yè)類(lèi)型、產(chǎn)業(yè)鏈、產(chǎn)業(yè)類(lèi)型、分布省份(填寫(xiě)省份全名)、所在城市(具體到地級(jí)市名稱(chēng),直轄市直接填寫(xiě)直轄市名稱(chēng),不需具體到區(qū)縣、"是否省會(huì)城市或教育、科技、經(jīng)濟(jì)發(fā)達(dá)城市")、屬區(qū)域(東部、中部、西部、東北)、公司名稱(chēng)、詳細(xì)信息共8個(gè)方面進(jìn)行挖掘。
遇到多次訪問(wèn)后IP被網(wǎng)站防火墻攔截,禁止訪問(wèn),部分頁(yè)面內(nèi)容利用Ajax技術(shù)異步加載,解析值為空,研究小組使用Selenium+webdrive擴(kuò)展包實(shí)現(xiàn)模擬瀏覽器,獲取動(dòng)態(tài)數(shù)據(jù),IP代理轉(zhuǎn)發(fā)、動(dòng)態(tài)IP,從而對(duì)持續(xù)對(duì)網(wǎng)絡(luò)信息進(jìn)行挖掘。
3.3分析結(jié)論
(1)截止2018年底,全國(guó)光電子行業(yè)分八大行業(yè),共計(jì)8746家企業(yè)。(O)LED行業(yè)企業(yè)數(shù)量最多,占比29%;其次激光、光學(xué)行業(yè)企業(yè)數(shù)量分列二、三位,分別占比22%和18%。紅外行業(yè)和光存儲(chǔ)行業(yè)企業(yè)數(shù)量較少。東部地區(qū)企業(yè)占比達(dá)82%,中部和西部企業(yè)數(shù)量差別不大,從小范圍來(lái)看,東北和臺(tái)灣企業(yè)分布較為集中。
發(fā)現(xiàn)北上廣深四大一線城市在其中所占市場(chǎng)份額是最大。詳見(jiàn)如下八個(gè)行業(yè)狀況:
3.3.1(O)LED行業(yè)狀況
據(jù)LED行業(yè)上中下游企業(yè)地域分布統(tǒng)計(jì)表反映出,不論是上游中游還是下游,東部地區(qū)企業(yè)數(shù)量均有絕對(duì)優(yōu)勢(shì)。其中(O)LED行業(yè)上游呈現(xiàn)芯片生產(chǎn)、輔料及設(shè)備企業(yè)較多;其次外延材料和發(fā)光材料企業(yè)也較多。(O)LED行業(yè)中游呈現(xiàn)封裝模塊/光源、LED器件企業(yè)數(shù)量較多,其次驅(qū)動(dòng)IC/控制及電源及封裝材料企業(yè)數(shù)量也較多。(O)LED行業(yè)下游呈現(xiàn)LED顯示、景觀燈飾、半導(dǎo)體照明企業(yè)數(shù)量較多。
北上廣深四大一線城市加上東莞LED企業(yè)數(shù)量排前五;深圳LED企業(yè)數(shù)量遙遙領(lǐng)先;前十名中,珠三角城市占4個(gè),長(zhǎng)三角城市占3個(gè)。分析“LED行業(yè)企業(yè)數(shù)量前十名城市,分別是深圳936個(gè)、上海157個(gè)、北京149個(gè)、東莞126個(gè)、廣州112個(gè)、中山94個(gè)、杭州58個(gè)、杭州58個(gè)、寧波53個(gè)、廈門(mén)49個(gè)和蘇州44個(gè)。
深圳:具備LED全產(chǎn)業(yè)鏈,企業(yè)數(shù)量在全國(guó)范圍內(nèi)遙遙領(lǐng)先,中下游企業(yè)數(shù)量明顯多于上游企業(yè)數(shù)量;其中,上游產(chǎn)品以輔料及設(shè)備、以及芯片企業(yè)居多;
中游產(chǎn)品主要以LED器件、封裝模塊/光源企業(yè)為主,其次封裝材料、封裝機(jī)檢測(cè)企業(yè)也較多;下游產(chǎn)品主要有LED顯示、景觀燈飾為主,其次LED背光源、報(bào)道提照明企業(yè)數(shù)量也較多。
上海:具備LED全產(chǎn)業(yè)鏈,企業(yè)數(shù)量下游企業(yè)多于中游企業(yè),上游企業(yè)數(shù)量相對(duì)較少;其中,上游產(chǎn)品以輔料及設(shè)備、發(fā)光材料、外延材料、以及芯片企業(yè)為主;中游產(chǎn)品主要以封裝模塊、驅(qū)動(dòng)IC/控制企業(yè)居多;下游產(chǎn)品主要以景觀燈飾和半導(dǎo)體照明企業(yè)居多
3.3.2激光行業(yè)狀況
北京、深圳、上海、武漢分列前四位,激光企業(yè)數(shù)量明顯多于其他城市;前十名東部7席、西部2席、中部1席,除廣東占據(jù)三席外,其余整體分布相對(duì)分散。
北京:具備激光行業(yè)全產(chǎn)業(yè)鏈,從上游到下游,企業(yè)數(shù)量遞增;其中,上游產(chǎn)品主要以激光電源及驅(qū)動(dòng)、激光晶體、激光器原件為主;中游產(chǎn)品以半導(dǎo)體激光器、固體激光器、氣體激光器和光纖激光器為主;下游產(chǎn)品主要有打標(biāo)噴碼、激光檢測(cè)、激光醫(yī)療/美容居多,其次激光加工、激光切割、激光雕刻企業(yè)也有一定數(shù)量。
深圳:具備激光行業(yè)全產(chǎn)業(yè)鏈,從上游到下游,企業(yè)數(shù)量遞增;整體看,深圳激光企業(yè)以下游企業(yè)為主,下游企業(yè)數(shù)量全國(guó)最多。其中,上游產(chǎn)品以激光器元件為主,其次也有部分激光燈、激光電源及驅(qū)動(dòng)和激光晶體、設(shè)備及包裝企業(yè);中游產(chǎn)品以半導(dǎo)體激光器、光纖激光器和激光模塊為主;下游產(chǎn)品種類(lèi)豐富,以打標(biāo)噴碼、激光焊接、激光加工、激光切割、激光演示/展示企業(yè)為主。
3.3.3光學(xué)行業(yè)狀況
上海、深圳、北京分列前三位,激光企業(yè)數(shù)量明顯多于其他城市;前十名東部8席、西部1席、東北1席;除廣東占據(jù)3席外,長(zhǎng)三角3席,其余分布相對(duì)分散。
上海:具備光學(xué)行業(yè)全產(chǎn)業(yè)鏈,上中下游企業(yè)數(shù)量無(wú)明顯差異;其中,上游產(chǎn)品光學(xué)材料/晶體、薄膜及鍍膜產(chǎn)品為主;中游產(chǎn)品以光學(xué)元器件、光學(xué)鏡片企業(yè)居多,其次光傳感及光源、光學(xué)鏡頭、光學(xué)加工、光學(xué)設(shè)計(jì)也有一定數(shù)量的企業(yè)。下游產(chǎn)品顯微鏡及顯微系統(tǒng)居多,其次光譜相關(guān)、眼視光學(xué)、相機(jī)相關(guān)、望遠(yuǎn)鏡等也有一定數(shù)量的企業(yè);
深圳:具備光學(xué)行業(yè)全產(chǎn)業(yè)鏈,中有企業(yè)居多,上下游企業(yè)數(shù)量差不多。其中,上游產(chǎn)品以薄膜及鍍膜產(chǎn)品居多,其次光學(xué)材料/晶體、光學(xué)輔助、加工及鍍膜設(shè)備鍍膜材料企業(yè)也有一定數(shù)量;中游產(chǎn)品以光學(xué)鏡頭居多,其次光學(xué)鏡片、光學(xué)元器件及光傳感及光源企業(yè)也有一定數(shù)量;下游企業(yè)以攝像相關(guān)、顯微鏡及顯微系統(tǒng)、光學(xué)檢測(cè)企業(yè)為主。
3.3.4紅外行業(yè)狀況
北京、上海、深圳分列前三位,其中北京企業(yè)數(shù)量明顯高于其他城市;前十名東部占據(jù)6席,西部占據(jù)3席,中部1席;前十名珠三角占據(jù)2席,長(zhǎng)三角占據(jù)5席。
北京:具備紅外行業(yè)全產(chǎn)業(yè)鏈,以下游企業(yè)為主,上游和中游企業(yè)不多;其中,上游產(chǎn)品涉及低溫制冷、紅外材料及紅外燈;中游產(chǎn)品涉及紅外光學(xué)系統(tǒng)、紅外光學(xué)元件;下游產(chǎn)品涉及紅外成像、紅外檢測(cè)、紅外探測(cè)、紅外醫(yī)療等。
上海:具備紅外行業(yè)全產(chǎn)業(yè)鏈,以下游企業(yè)為主,上游和中游企業(yè)不多;其中,上游產(chǎn)品涉及低溫制冷、紅外材料及紅外燈;中游產(chǎn)品涉及發(fā)射/接收裝置、紅外輻射材料、紅外光學(xué)元件等;下游產(chǎn)品紅外檢測(cè)、紅外成像、紅外傳感、紅外探測(cè)等。
3.3.5光伏太陽(yáng)能行業(yè)狀況
北京、上海、深圳分列前三位;前十名東部9席、西部1席;長(zhǎng)三角分布最為集中,占據(jù)7席。
北京:具備光伏行業(yè)全產(chǎn)業(yè)鏈,從上游到下游,企業(yè)數(shù)量逐步增多;其中,上游產(chǎn)品以制備加工設(shè)備居多;中游產(chǎn)品以太陽(yáng)能電池組件和控制/電源及檢測(cè)企業(yè)居多。下游產(chǎn)品太陽(yáng)能照明居多,其次也有一定數(shù)量的光伏系統(tǒng)/產(chǎn)品及光熱產(chǎn)品企業(yè)
上海:具備光伏行業(yè)全產(chǎn)業(yè)鏈,從上游到下游,企業(yè)數(shù)量無(wú)明顯差別;其中,上游產(chǎn)品以制造加工設(shè)備及硅材料居多;中游產(chǎn)品以太陽(yáng)能電池和硅棒/硅錠/硅片生產(chǎn)企業(yè)居多。下游產(chǎn)品以光伏系統(tǒng)/產(chǎn)品、光熱產(chǎn)品、太陽(yáng)能電池及太陽(yáng)能照明企業(yè)為主。
3.3.6光顯示行業(yè)狀況
深圳、上海、蘇州分列前三位,其中深圳企業(yè)數(shù)量遠(yuǎn)遠(yuǎn)高于其他城市,前十名全為東部發(fā)達(dá)城市(含香港);珠三角占據(jù)3席,長(zhǎng)三角占據(jù)4席。
深圳:具備光電顯示行業(yè)全產(chǎn)業(yè)鏈,從上游到下游,企業(yè)數(shù)量逐步減少;其中,上游產(chǎn)品以輔料及耗材生產(chǎn)企業(yè)居多,其次驅(qū)動(dòng)及控制IC、制造及檢測(cè)設(shè)備企業(yè)數(shù)量也較多;中游產(chǎn)品以無(wú)塵洗凈水處理、液晶模組(LCM)、LCD企業(yè)居多。下游產(chǎn)品觸摸產(chǎn)品、投影機(jī)PDP產(chǎn)品、顯示器/立體顯示/拼接系統(tǒng)生產(chǎn)企業(yè)為主。
上海:具備光電顯示行業(yè)全產(chǎn)業(yè)鏈,從上游到下游,企業(yè)數(shù)量逐步減少;其中上游產(chǎn)品以輔料及耗材、驅(qū)動(dòng)及控制IC、制造及檢測(cè)設(shè)備居多;中游產(chǎn)品以無(wú)塵洗凈水處理居多。下游產(chǎn)品以顯示器/立體顯示系統(tǒng)、平板電視為主。
3.3.7光通信行業(yè)狀況
深圳、上海、北京分列前三位,其中深圳企業(yè)數(shù)量遠(yuǎn)遠(yuǎn)高于其他城市,前十名東部占據(jù)9席,西部占據(jù)1席;前十名珠三角占據(jù)2席,長(zhǎng)三角占據(jù)5席。
深圳:具備光電通信行業(yè)全產(chǎn)業(yè)鏈,以中游企業(yè)為主,上游和下游企業(yè)數(shù)量無(wú)明顯差別;其中,上游產(chǎn)品以設(shè)備及輔料、光纖光纜為主;中游產(chǎn)品以連接/耦合器件、無(wú)源器件為主。下游產(chǎn)品以光網(wǎng)絡(luò)設(shè)備、連接/傳感/檢測(cè)設(shè)備居多。
上海:具備光電通信行業(yè)全產(chǎn)業(yè)鏈,以中游企業(yè)為主,上游其次,下游企業(yè)相對(duì)較少;其中,上游產(chǎn)品以光纖光纜、設(shè)備及輔料為主;中游產(chǎn)品以無(wú)源器件、連接/耦合器件為主。下游產(chǎn)品以光傳輸設(shè)備、連接/傳感/檢測(cè)設(shè)備居多。
3.3.8光存儲(chǔ)行業(yè)狀況
整體來(lái)看,光存儲(chǔ)行業(yè)企業(yè)數(shù)量較少;上海、深圳分列前兩位,企業(yè)數(shù)量明顯高于其他城市;
上海:以中游和下游企業(yè)為主,上游企業(yè)只有1家;其中,上游產(chǎn)品涉及激光頭;中游產(chǎn)品涉及光盤(pán)母盤(pán);下游產(chǎn)品涉及CD/VCD光盤(pán)。
深圳:下游企業(yè)多余下游企業(yè),無(wú)中游企業(yè);其中,上游產(chǎn)品涉及激光頭;下游產(chǎn)品涉及CD/VCD光盤(pán)和CD/VCD機(jī)。
4結(jié)束語(yǔ)
隨著光電子潛力的發(fā)掘,光電子產(chǎn)業(yè)逐步取代傳統(tǒng)電子產(chǎn)業(yè),科學(xué)家預(yù)言光電子產(chǎn)業(yè)將成為21世紀(jì)最大的產(chǎn)業(yè),成為衡量一個(gè)國(guó)家經(jīng)濟(jì)發(fā)展和綜合國(guó)力的重要標(biāo)志。
珠三角、長(zhǎng)三角和北京市三大區(qū)域是光電子企業(yè)分布最為集中的區(qū)域;深圳市在光電子八大行業(yè)中企業(yè)數(shù)量都排前三,整體企業(yè)數(shù)量?jī)?yōu)勢(shì)明顯;長(zhǎng)三角以上海市為核心、蘇州、杭州、南京等均為光電子企業(yè)分布密集城市;珠三角以深圳市為核心,廣州、東莞等燈飾光電子分布也較為密集;臺(tái)灣LED行業(yè)和光電顯示行業(yè)的芯片生產(chǎn)企業(yè)數(shù)也較多。
云南為緊緊抓住和把握光電子行業(yè)發(fā)展的機(jī)遇和挑戰(zhàn),一方面做好珠三角、長(zhǎng)三角和發(fā)達(dá)地方的光電子產(chǎn)業(yè)轉(zhuǎn)接工作;另一方面光電子產(chǎn)業(yè)作為“綠色能源”產(chǎn)業(yè),既要吸引人才,又要從“綠色能源”“綠色食品”、“健康生活目的地”這三張牌出發(fā),讓“綠色”成為云南產(chǎn)業(yè)轉(zhuǎn)型升級(jí)、經(jīng)濟(jì)高質(zhì)量發(fā)展的基本底色。
(作者單位:云南省設(shè)計(jì)院集團(tuán)有限公司)