物聯(lián)網(wǎng)專業(yè)實踐教學(xué)網(wǎng)絡(luò)學(xué)習(xí)資源爬蟲技術(shù)應(yīng)用

徐兵 吳憲君

（廣東石油化工學(xué)院 計算機學(xué)院 廣東省茂名市 525000）

2010年我國首批物聯(lián)網(wǎng)工程專業(yè)通過教育部審批開設(shè)，近年來國內(nèi)許多高校都已經(jīng)開設(shè)了物聯(lián)網(wǎng)工程專業(yè)，為我國新一代信息技術(shù)的發(fā)展培養(yǎng)了大量的專業(yè)人才。廣東石油化工學(xué)院物聯(lián)網(wǎng)工程專業(yè)自2017年開始正式招收本科生，該專業(yè)以培養(yǎng)應(yīng)用型本科人才為目標(biāo)。盡管經(jīng)過了幾年的努力發(fā)展，但是和國內(nèi)辦學(xué)較早的院校相比，我們在專業(yè)建設(shè)和人才培養(yǎng)經(jīng)驗方面尚存在不足，實踐教學(xué)體系的建設(shè)還在不斷完善過程中，尤其是相關(guān)的實踐教學(xué)資源建設(shè)還比較薄弱，依托自身教師隊伍開展物聯(lián)網(wǎng)工程專業(yè)課程的教學(xué)資源建設(shè)進度較為緩慢，不能很好地滿足師生教學(xué)科研工作的需求。近年來，隨著物聯(lián)網(wǎng)相關(guān)技術(shù)的快速發(fā)展，網(wǎng)絡(luò)中關(guān)于物聯(lián)網(wǎng)工程專業(yè)課程的相關(guān)技術(shù)文檔、視頻、案例、課程等教學(xué)資源也越來越豐富，且大部分資源是開發(fā)共享的，為了更好地輔助我校物聯(lián)網(wǎng)專業(yè)師生開展教學(xué)科研活動，本文探討基于網(wǎng)絡(luò)爬蟲技術(shù)構(gòu)建物聯(lián)網(wǎng)專業(yè)實踐教學(xué)網(wǎng)絡(luò)學(xué)習(xí)資源的思路和方法，以期為物聯(lián)網(wǎng)專業(yè)實踐課程資源庫建設(shè)提供具體的解決方案，為增強學(xué)生專業(yè)實踐能力，提高人才培養(yǎng)質(zhì)量提供技術(shù)支撐。

1 實踐教學(xué)資源建設(shè)現(xiàn)狀

我校物聯(lián)網(wǎng)工程專業(yè)目前開出的專業(yè)基礎(chǔ)課、專業(yè)課等課程涉及到專業(yè)實踐教學(xué)環(huán)節(jié)的包括程序設(shè)計基礎(chǔ)、數(shù)據(jù)結(jié)構(gòu)、計算機組成原理、路由交換技術(shù)、無線傳感網(wǎng)絡(luò)、TCP/IP 協(xié)議、Python 設(shè)計與應(yīng)用、物聯(lián)網(wǎng)安全等20 多門課程，累計1700 多學(xué)時。由于是新專業(yè)開課，前期專業(yè)實踐教學(xué)資源主要依靠任課教師自己積累，已有的實踐教學(xué)資源均以課程教學(xué)所需為主，在專業(yè)層面考慮通識性、認(rèn)知性、整體性方面的教學(xué)資源開發(fā)明顯不足，且尚未建立起專業(yè)層面的實踐教學(xué)資源庫體系，也缺少針對不同類型、不同層次學(xué)生的個性化特色實踐教學(xué)資源的規(guī)劃。因此，本文提出在加強自身實踐教學(xué)資源開發(fā)建設(shè)的基礎(chǔ)上，基于網(wǎng)絡(luò)開發(fā)共享的教學(xué)資源，采用爬蟲技術(shù)進行采集和整合，并開展二次開發(fā)創(chuàng)作，形成適合自身專業(yè)發(fā)展的物聯(lián)網(wǎng)工程實踐教學(xué)資源庫，為實踐教學(xué)提供資源支撐。

2 資源庫建設(shè)的思路

圖1：實踐教學(xué)資源庫建設(shè)思路

圖2：爬蟲抓取流程圖

物聯(lián)網(wǎng)工程實踐教學(xué)資源庫建設(shè)基于“前期規(guī)劃-＞需求牽引-＞資源開發(fā)-＞教學(xué)實踐”的實施方案。本文采用的資源庫建設(shè)與應(yīng)用模型如圖1所示，在分析我校物聯(lián)網(wǎng)工程專業(yè)實踐教學(xué)方案和人才培養(yǎng)要求的基礎(chǔ)上，結(jié)合專業(yè)實踐特點，摸清實踐教學(xué)資源開發(fā)和資源庫建設(shè)的需求，按照課程和專業(yè)體系兩個層面進行資源的開發(fā)創(chuàng)作，既能充分利用教師自己創(chuàng)作的教學(xué)資源，又能高效整合網(wǎng)絡(luò)學(xué)習(xí)資源，并進行二次開發(fā)創(chuàng)作，形成包含網(wǎng)絡(luò)爬蟲資源、教師課程資源和專業(yè)特色資源的多維學(xué)習(xí)資源體系。同時，建立物聯(lián)網(wǎng)專業(yè)實踐教學(xué)資源庫，堅持開放共享的原則，對各類實踐教學(xué)資源進行綜合管理，并對資源開展動態(tài)評價，不斷完善優(yōu)化資源庫的開發(fā)和建設(shè)，并在專業(yè)實踐教學(xué)過程中進行應(yīng)用推廣。

本文研究的物聯(lián)網(wǎng)工程專業(yè)實踐教學(xué)資源庫建設(shè)不僅可以提供豐富的實踐教學(xué)資源，還可以隨時把相關(guān)的學(xué)習(xí)資源進行二次開發(fā)和創(chuàng)作，并通過開發(fā)共享形式集成到學(xué)校的教學(xué)管理平臺上，學(xué)生可以及時得到更全面、高效的教學(xué)資源支持，通過它完成自主學(xué)習(xí)。

3 相關(guān)技術(shù)與實現(xiàn)

3.1 網(wǎng)絡(luò)爬蟲技術(shù)

網(wǎng)絡(luò)爬蟲技術(shù)主要是通過自己開發(fā)的爬蟲程序模擬瀏覽器的站點請求，把站點返回的相關(guān)數(shù)據(jù)抓取到本地服務(wù)器，進而通過分析提取自己需要的相關(guān)數(shù)據(jù)資源，并通過數(shù)據(jù)庫或者其他形式保存起來，以便后續(xù)的使用和二次開發(fā)。本文在設(shè)計開發(fā)過程中采用的網(wǎng)絡(luò)爬蟲的主要工作流程如圖2所示。

首先，通過網(wǎng)絡(luò)搜索分析相關(guān)物聯(lián)網(wǎng)工程的實踐教學(xué)資源，確定適合抓取的資源網(wǎng)站，分析抓取的URL，建立抓取任務(wù)列表，再通過爬蟲程序進行數(shù)據(jù)采集，采集的資源包括物聯(lián)網(wǎng)工程專業(yè)相關(guān)的網(wǎng)頁文字、圖片、視頻、動畫等，采集的數(shù)據(jù)形式包括HTML、JSON、圖片、視頻等，再將采集的相關(guān)數(shù)據(jù)進行數(shù)據(jù)清洗，轉(zhuǎn)化后基于數(shù)據(jù)庫或者文件形式進行數(shù)據(jù)保存，最后再通過二次開發(fā)等方式對采集的數(shù)據(jù)進行深入應(yīng)用。

3.2 開發(fā)環(huán)境

資源爬蟲程序開發(fā)主要采用Python 程序，資源庫建設(shè)主要采用php+MySql，爬蟲所需工具包括：請求庫（requests 等）、解析庫（正則表達式等）、存儲庫（文件，MySQL 等）。

3.3 爬蟲抓取實例

本文以物聯(lián)網(wǎng)工程《無線傳感網(wǎng)絡(luò)》專業(yè)課程實踐教學(xué)資源的抓取為例來說明爬蟲抓取和資源庫建設(shè)的過程。首先在分析網(wǎng)絡(luò)學(xué)習(xí)資源的基礎(chǔ)上，確定了互聯(lián)網(wǎng)中的幾個主要學(xué)習(xí)資源網(wǎng)站，建立了網(wǎng)站的URL 列表和任務(wù)列表，設(shè)計好爬蟲程序后，啟動視頻資源抓取程序，以下為爬蟲程序的示例代碼和抓取結(jié)果。

4 結(jié)束語

近年來物聯(lián)網(wǎng)專業(yè)人才在就業(yè)市場較受歡迎，同時企業(yè)對相關(guān)人才的實踐能力要求也越來越高。對物聯(lián)網(wǎng)專業(yè)人才培養(yǎng)而言，建立豐富的實踐教學(xué)資源庫系統(tǒng)，能夠為師生提供便捷、高效、豐富的學(xué)習(xí)資源，有利于學(xué)生更好地理論聯(lián)系實踐，提升學(xué)生的實踐動手能力，也有利于學(xué)生開展基于網(wǎng)絡(luò)的自主學(xué)習(xí)。本文通過對物聯(lián)網(wǎng)工程專業(yè)實踐教學(xué)資源庫的建設(shè)和應(yīng)用，能夠深入積累課程教學(xué)改革的實踐經(jīng)驗，對提高應(yīng)用型人才培養(yǎng)水平有較好促進作用。