港口集裝箱裝卸作業(yè)的Q-learning動(dòng)態(tài)定價(jià)策略研究

余 玨 丁 一 林國(guó)龍

(上海海事大學(xué)物流研究中心 上海 201306)

0 引 言

國(guó)內(nèi)港口的費(fèi)率表主要是對(duì)不同箱型下各種尺寸的集裝箱的裝卸作業(yè)費(fèi)用、中轉(zhuǎn)費(fèi)用等的描述。就港口裝卸作業(yè)方面來看，港口企業(yè)在實(shí)際運(yùn)作過程中會(huì)根據(jù)服務(wù)對(duì)象(集裝箱)類型提出相應(yīng)的收費(fèi)標(biāo)準(zhǔn)(費(fèi)率)，而這個(gè)收費(fèi)標(biāo)準(zhǔn)相對(duì)來說是固定不變的。因此，國(guó)內(nèi)港口均存在內(nèi)外貿(mào)費(fèi)率偏低且港口費(fèi)率長(zhǎng)期不變的問題，而國(guó)際港口的費(fèi)率每年隨市場(chǎng)變化進(jìn)行調(diào)整。我國(guó)港口費(fèi)率(即價(jià)格)長(zhǎng)期不動(dòng)導(dǎo)致雙方差距逐漸增大，不利于港口經(jīng)濟(jì)發(fā)展。所以，我國(guó)港口也需要隨市場(chǎng)變化調(diào)整費(fèi)率，以縮減我國(guó)港口與國(guó)際港口間的差距，促進(jìn)港口經(jīng)濟(jì)的發(fā)展。因市場(chǎng)變化由多種因素造成，包括有港口企業(yè)間的競(jìng)爭(zhēng)關(guān)系，船公司的需求等。本文僅以船公司所提出的需求作為市場(chǎng)變化的衡量指標(biāo)，從單船裝卸作業(yè)時(shí)間的層面探討研究在需求變化的前提下港口的定價(jià)決策問題。裝卸利潤(rùn)是指港口企業(yè)的基本業(yè)務(wù)利潤(rùn)，約占港口企業(yè)總利潤(rùn)的80%以上，其變動(dòng)的主要原因有裝卸操作量、平均單位收入、單位成本等。定價(jià)策略的優(yōu)劣會(huì)直接影響港口企業(yè)(為不同的船公司提供服務(wù)后)的裝卸利潤(rùn)。在此前提下，本文將單船裝卸作業(yè)時(shí)間作為需求，以單船裝卸利潤(rùn)最大化為主要目標(biāo)，研究港口在需求不斷變動(dòng)的環(huán)境下的定價(jià)策略，從而促進(jìn)企業(yè)經(jīng)濟(jì)的發(fā)展，有效提高港口企業(yè)的競(jìng)爭(zhēng)力。

根據(jù)研究意義可以看出，港口進(jìn)行動(dòng)態(tài)定價(jià)決策具有一定的實(shí)際意義。本文將研究有關(guān)港口企業(yè)的動(dòng)態(tài)定價(jià)問題，分別對(duì)國(guó)內(nèi)港口定價(jià)問題的相關(guān)研究和國(guó)內(nèi)外動(dòng)態(tài)定價(jià)的相關(guān)研究進(jìn)行綜述說明，從而得知?jiǎng)討B(tài)定價(jià)問題的現(xiàn)有研究?jī)?nèi)容、方法和應(yīng)用領(lǐng)域等。根據(jù)綜述內(nèi)容，本文將選擇合適的方法并應(yīng)用在國(guó)內(nèi)港口企業(yè)中。

關(guān)于港口定價(jià)問題的研究：文獻(xiàn)[1]使用運(yùn)輸成本優(yōu)化模型估計(jì)潛在需求。文獻(xiàn)[2]結(jié)合了兩種工具來研究印度加爾各答危機(jī)港口系統(tǒng)，構(gòu)建船舶行為微觀經(jīng)濟(jì)模型;使用適當(dāng)非線性方程的雙重價(jià)格計(jì)算全均衡需求彈性(彈性)，將其與預(yù)期的利潤(rùn)最大化行為的基準(zhǔn)值進(jìn)行比較。文獻(xiàn)[3]重點(diǎn)介紹了集裝箱港口優(yōu)化空間分配和最優(yōu)定價(jià)的優(yōu)先制度確定；考慮貨物的內(nèi)在、物流貨物價(jià)值和集裝箱各種要求的能力約束建立模型。模型在各個(gè)方向上擴(kuò)展了經(jīng)典價(jià)格差異理論，即反彈性規(guī)則。周鑫等[4]在改進(jìn)的Hotelling模型基礎(chǔ)上,構(gòu)建雙壟斷港口企業(yè)的定價(jià)模型,以實(shí)例說明港口企業(yè)采用差別定價(jià)策略的動(dòng)機(jī)。劉文忠[5]認(rèn)為我國(guó)市場(chǎng)化導(dǎo)向的價(jià)格規(guī)制改革仍不完善，進(jìn)一步改革的方向?qū)⒓性谀壳耙?guī)制較為嚴(yán)格的外貿(mào)運(yùn)輸方面，應(yīng)實(shí)行價(jià)格上、下限制?？锖２ǖ萚6]深入探討低碳轉(zhuǎn)型下的港口質(zhì)押貸款利率決策理論,借助看跌期權(quán)反映客戶違約風(fēng)險(xiǎn)、質(zhì)押貨物的碳排風(fēng)險(xiǎn)，采用VaR方法界定港口存貨類質(zhì)押率；建立低碳港口流動(dòng)性較強(qiáng)存貨類物流質(zhì)押貸款利率決策模型。汪挺松等[7]針對(duì)目前船舶在港碳排放高的現(xiàn)象,提出引入價(jià)格補(bǔ)償機(jī)制的港航合作模式：通過價(jià)格補(bǔ)償機(jī)制對(duì)港方和船方在港航合作模式中的收益與損失進(jìn)行分配。

關(guān)于國(guó)內(nèi)外動(dòng)態(tài)定價(jià)問題的研究：文獻(xiàn)[8]采用了啟發(fā)式算法研究標(biāo)準(zhǔn)的動(dòng)態(tài)定價(jià)問題。文獻(xiàn)[9]主要解決多目標(biāo)動(dòng)態(tài)定價(jià)問題。文獻(xiàn)[10]使用時(shí)間歸一化的收入或利潤(rùn)函數(shù)；以普通微分方程(ODE)方程的形式得出定價(jià)問題的分析解。文獻(xiàn)[11]研究動(dòng)態(tài)定價(jià)的線性、指數(shù)和多項(xiàng)Logitech模型，并且提出了使用神經(jīng)網(wǎng)絡(luò)模型以解決動(dòng)態(tài)定價(jià)問題。文獻(xiàn)[12]建立定價(jià)政策的問題來提高在固定期限內(nèi)銷售給定庫存的收入；提出Q-learning和Q(λ)算法并比較使用蒙特卡羅模擬的學(xué)習(xí)算法的性能。文獻(xiàn)[13]將具有隨機(jī)擾動(dòng)的庫存系統(tǒng)被建模為連續(xù)時(shí)間隨機(jī)微分方程；綜合動(dòng)態(tài)定價(jià)和生產(chǎn)控制，開發(fā)最大化總貼現(xiàn)利潤(rùn)的隨機(jī)動(dòng)態(tài)優(yōu)化問題。文獻(xiàn)[14]循一階馬爾科夫隨機(jī)過程，參考效應(yīng)導(dǎo)致最優(yōu)價(jià)格路徑與預(yù)期穩(wěn)態(tài)價(jià)格的單調(diào)收斂，研究近期動(dòng)態(tài)定價(jià)研究趨勢(shì)，綜述多產(chǎn)品、競(jìng)爭(zhēng)以及需求信息有限的問題的文獻(xiàn)。文獻(xiàn)[15]主要研究一個(gè)壟斷公司銷售一種具有無限庫存的單一類型產(chǎn)品的情況；在一定時(shí)間段內(nèi)，產(chǎn)品的預(yù)期需求是隨機(jī)市場(chǎng)過程和取決于銷售價(jià)格的已知函數(shù)的總和。文獻(xiàn)[16]提出價(jià)格應(yīng)該隨著時(shí)間的推移被打折，以最大化預(yù)期收益；使用動(dòng)態(tài)遞歸，其中每個(gè)決策階段根據(jù)經(jīng)典經(jīng)濟(jì)壟斷定價(jià)理論與銷售數(shù)據(jù)估計(jì)的需求強(qiáng)度函數(shù)進(jìn)行優(yōu)化。文獻(xiàn)[17]提出需求的不確定性是可以通過觀察銷售情況解決的；為賣家的最優(yōu)動(dòng)態(tài)決策問題制定了嚴(yán)格的上限，并使用馬爾科夫決策過程(POMDP)框架來研究時(shí)尚產(chǎn)品賣家面臨的動(dòng)態(tài)定價(jià)問題。

基于以上綜述分析得知：

(1) 這些港口企業(yè)對(duì)不同的船公司制定定價(jià)策略的文獻(xiàn)均是從靜態(tài)定價(jià)出發(fā)，很少考慮動(dòng)態(tài)定價(jià)問題。文獻(xiàn)一般以操作箱量作為需求進(jìn)行研究，以裝卸作業(yè)中單船裝卸作業(yè)時(shí)間作為需求的文獻(xiàn)不多。

(2) 目前有部分文獻(xiàn)已使用相關(guān)理論方法確定庫存或產(chǎn)品需求的動(dòng)態(tài)變化帶來的影響。本文就是在此基礎(chǔ)上研究單船裝卸作業(yè)時(shí)間變動(dòng)的需求不確定性問題?，F(xiàn)有文獻(xiàn)中多數(shù)采用啟發(fā)式算法求解供應(yīng)鏈中的動(dòng)態(tài)定價(jià)問題，采用Q-learning算法的研究并不多。

(3) 動(dòng)態(tài)定價(jià)問題的主要研究對(duì)象為供應(yīng)鏈中的定價(jià)政策問題，主要有庫存問題、多產(chǎn)品競(jìng)爭(zhēng)問題等，極少有關(guān)于港口動(dòng)態(tài)定價(jià)問題的研究。解決動(dòng)態(tài)定價(jià)的模型有線性、指數(shù)和多項(xiàng)Logitech模型，神經(jīng)網(wǎng)絡(luò)模型，連續(xù)時(shí)間隨機(jī)微分方程，馬爾科夫決策過程框架等。本文研究在市場(chǎng)環(huán)境不穩(wěn)定的前提下港口企業(yè)的動(dòng)態(tài)定價(jià)問題，馬爾科夫決策過程適用于研究港口企業(yè)的動(dòng)態(tài)定價(jià)問題。

因此，本文研究港口企業(yè)在應(yīng)對(duì)不同的船公司提出的減少單船裝卸作業(yè)時(shí)間的要求時(shí)，以單船裝卸作業(yè)利潤(rùn)最大化為目標(biāo)，采用Q-learning算法求解動(dòng)態(tài)定價(jià)策略的問題。Q-learning算法改善了因單船裝卸作業(yè)時(shí)間變動(dòng)而導(dǎo)致單船裝卸作業(yè)成本變動(dòng)頻繁的缺陷。

1 問題描述

港口吞吐量是衡量港口生產(chǎn)任務(wù)大小的主要數(shù)量指標(biāo)，其中形成吞吐量的唯一來源是進(jìn)出港口船舶所裝卸的貨物。裝卸貨物的時(shí)間即為單船裝卸作業(yè)時(shí)間，該時(shí)間是制定動(dòng)態(tài)定價(jià)策略的重要影響因素。某船只的裝卸作業(yè)需要不同操作機(jī)械花費(fèi)相應(yīng)的時(shí)間進(jìn)行裝卸服務(wù)。裝卸過程中調(diào)用不同的操作機(jī)械，且操作時(shí)間不同會(huì)產(chǎn)生相應(yīng)的單船裝卸成本，從而需要合理定價(jià)以達(dá)到單船裝卸作業(yè)利潤(rùn)的最大化。

單船裝卸作業(yè)時(shí)間的影響因素可以分為人為和技術(shù)影響因素。人為因素是指船公司所提出的減少單船裝卸作業(yè)時(shí)間的要求；技術(shù)因素是指單船操作箱量，不同箱型和操作箱量需要不同的操作機(jī)械花費(fèi)相應(yīng)時(shí)間進(jìn)行裝卸作業(yè)服務(wù)。本文主要從人為因素出發(fā)，研究該因素下港口企業(yè)的動(dòng)態(tài)定價(jià)問題，估計(jì)因人為因素導(dǎo)致的成本變動(dòng)，確定單船裝卸作業(yè)時(shí)間對(duì)定價(jià)的影響。本節(jié)通過船舶裝卸作業(yè)的特點(diǎn)判斷單船裝卸作業(yè)時(shí)間的人為因素變動(dòng)導(dǎo)致的成本變動(dòng)原因：(1) 在船公司提出縮減單船裝卸作業(yè)時(shí)間(即希望能夠提前完成裝卸任務(wù))的要求時(shí)，港口企業(yè)需要調(diào)動(dòng)各項(xiàng)操作資源，直接導(dǎo)致成本的變動(dòng)。(2) 為提高對(duì)某船只的服務(wù)效率，需要變動(dòng)船舶泊位計(jì)劃，這勢(shì)必會(huì)產(chǎn)生額外的成本費(fèi)用，若定價(jià)不變則會(huì)導(dǎo)致利潤(rùn)減少，因此單船裝卸作業(yè)時(shí)間對(duì)定價(jià)的影響十分重要。

本文不考慮船舶泊位計(jì)劃變動(dòng)產(chǎn)生的額外成本費(fèi)用，以單船裝卸作業(yè)時(shí)間為研究對(duì)象，由成本特性及單船裝卸作業(yè)時(shí)間的重要性，確定動(dòng)態(tài)定價(jià)過程如下：

(1) 對(duì)某到港船舶，確定單船操作箱量、單船裝卸作業(yè)時(shí)間與不同箱型的操作箱量。

(2) 根據(jù)歷史數(shù)據(jù)確定單船操作箱量與單箱價(jià)格、單船裝卸作業(yè)時(shí)間的函數(shù)關(guān)系。

(3) 估計(jì)船公司提出的單船裝卸作業(yè)時(shí)間變動(dòng)要求所產(chǎn)生的預(yù)期估計(jì)誤差，使用TDABC (time-driven activity-based costing) 方法[18]，從橋吊、內(nèi)集卡、堆場(chǎng)機(jī)械資源時(shí)的角度來衡量額外的單船變動(dòng)成本，得出單船總成本函數(shù)。

(4) 計(jì)算單船總成本并得出單船裝卸利潤(rùn)，使利潤(rùn)最大化的定價(jià)即為最優(yōu)單箱價(jià)格。

(5) 港口對(duì)同一船公司提供裝卸服務(wù)，其單船裝卸作業(yè)時(shí)間是不同的。船公司會(huì)在縮減單船裝卸作業(yè)時(shí)間方面提出相同或不同的要求，本文將以箱型為分類變量得出更加精確的價(jià)格集。

本文中，港口對(duì)同一船公司的定價(jià)做出如下假設(shè)：在單船裝卸作業(yè)時(shí)間給定的前提下，改變船公司對(duì)單船裝卸作業(yè)時(shí)間的要求，即減少單船裝卸作業(yè)時(shí)間，每一個(gè)要求會(huì)產(chǎn)生唯一的單箱價(jià)格集合。單箱價(jià)格與單船操作箱量和單船裝卸作業(yè)時(shí)間具有一定關(guān)聯(lián)性，為應(yīng)對(duì)每個(gè)要求，選擇合適的機(jī)械資源時(shí)策略，該策略能產(chǎn)生唯一的最小單船變動(dòng)成本。

2 模型建立

因?yàn)楦劭趯?duì)某船公司提供的裝卸作業(yè)服務(wù)(即單船裝卸作業(yè)時(shí)間)是不同的,相同的減少要求對(duì)不同的單船裝卸作業(yè)時(shí)間的影響是不同的。所以模型中提出的所有參數(shù)均以固定的單船裝卸作業(yè)時(shí)間為基礎(chǔ)。

2.1 集 合

箱量類型集合I,I={1,2,…,n}，機(jī)械類型集合J，J={1,2,…,m}。

2.2 參 數(shù)

T(P,S):單箱價(jià)格為P、單船操作箱量為S和單船裝卸作業(yè)時(shí)間T的函數(shù)關(guān)系式，由歷史定價(jià)數(shù)據(jù)結(jié)合logit模型確定。

C:單船裝卸總成本。

C1:單船裝卸固定成本。

C2:船公司提出的減少單船裝卸作業(yè)時(shí)間所產(chǎn)生的單船變動(dòng)成本。

Tij:箱型i使用機(jī)械j進(jìn)行操作時(shí)的單位作業(yè)耗用資源時(shí)(產(chǎn)能)，i∈I,j∈J。

cj:機(jī)械j的單位作業(yè)產(chǎn)能成本，即各操作機(jī)械類型：內(nèi)集卡、吊橋、堆場(chǎng)作業(yè)時(shí)產(chǎn)生的單位作業(yè)成本，j∈I。

sj:機(jī)械j的操作箱量，即作業(yè)動(dòng)因量，j∈J。

si:不同箱型i對(duì)應(yīng)的箱量，i∈I。

Tcz:船公司提出需要減少的單船裝卸作業(yè)時(shí)間。

m:單船變動(dòng)成本可以增加的最大值。

2.3 決策變量

xij:表示是否選擇改變箱型i所需機(jī)械j的資源時(shí)(產(chǎn)能)，i∈I,j∈J。

pi:港口對(duì)船公司提出的箱型i的單箱價(jià)格，根據(jù)港口對(duì)不同船公司的歷史定價(jià)數(shù)據(jù)確定價(jià)格的上下限，pi∈[pl,ph],i∈I；pl、ph分別價(jià)格上、下限；0≤pl≤ph≤∞。

2.4 數(shù)學(xué)模型(DP)

(1)

約束條件：

pl≤pi≤ph?i∈I

(2)

?t∈N

(3)

?t∈N

(4)

目標(biāo)函數(shù)式(1)表示不同箱型的價(jià)格為p={p1,…,pi,…,pn}，與對(duì)應(yīng)箱量為s={s1,…,si,…,sn}時(shí)的期望單船裝卸利潤(rùn)最大化。單船裝卸總成本C由單船固定成本C1和單船變動(dòng)成本C2構(gòu)成:

C=C1+C2

(5)

t∈N

(6)

式中：Ti(Pi,Si)是指得知?dú)v史單箱價(jià)格為Pi，箱量為Si時(shí)得到的單船裝卸作業(yè)時(shí)間為Ti；T(P,S)是由歷史數(shù)據(jù)集合：?jiǎn)未b卸作業(yè)時(shí)間集合DT(T1,…,Ti,…,Tn)， 單船的單箱價(jià)格集合DP(P1,…,Pi,…,Pn)和單船操作箱量集合DS(S1,…,Si,…,Sn)結(jié)合logit模型得出：

(7)

式中：b1、b2分別為歷史單箱價(jià)格和歷史單船箱量對(duì)于單船歷史裝卸作業(yè)時(shí)間的預(yù)期估計(jì)誤差，B為客戶基數(shù)。

因歷史數(shù)據(jù)中未有明確的不同箱型的單箱價(jià)格，本文使用pt表示在t時(shí)刻所有箱型的平均單箱價(jià)格。將pt代入歷史數(shù)據(jù)集合DP中尋找對(duì)應(yīng)的P，并從集合DS得出相對(duì)應(yīng)的S；將P和S代入式(7)求解得到t時(shí)刻對(duì)應(yīng)的單船裝卸作業(yè)時(shí)間T。

(8)

Ti(Pi,Si)為根據(jù)歷史數(shù)據(jù)Pi、Si得出的單船裝卸作業(yè)時(shí)間Ti，T(P,S)為由歷史數(shù)據(jù)集合結(jié)合logit模型擬定的函數(shù)關(guān)系表達(dá)式。

3 基于Q-learning算法的港口動(dòng)態(tài)定價(jià)策略

3.1 港口對(duì)于船公司制定的動(dòng)態(tài)定價(jià)策略

Q-learning算法[12]是求解馬爾科夫鏈(MDP)的值迭代方法，選擇合適的動(dòng)作狀態(tài)對(duì)并在t時(shí)刻得出每一個(gè)狀態(tài)state(s)采取某動(dòng)作action(a)的反饋reward(r)；定義Q(s,a)表示每個(gè)狀態(tài)s所對(duì)應(yīng)a的效用值矩陣，更新Q矩陣：

Q(st,at)=Q(st,at)+α×(r+γ×

max(Q(st+1,a))-Q(st,at))

(9)

初始化：N、b1、b2、B、si、Tcz、單船操作箱量所確定的單船裝卸作業(yè)時(shí)間T、探索率ε、折扣因子γ、學(xué)習(xí)速率α。

使用ε判定a是探索或?qū)W習(xí)，若a需要學(xué)習(xí)則利用目前Q矩陣中最大值Q所對(duì)應(yīng)的a，否則在A中隨機(jī)選擇不同箱型的單箱價(jià)格作為a。狀態(tài)值為s時(shí)采取動(dòng)作a后得到下一個(gè)狀態(tài)值，即s′。使用MATLAB調(diào)用yalmip工具箱計(jì)算0-1整數(shù)規(guī)劃得到xij及其產(chǎn)生的單船變動(dòng)成本C1，得到立即回報(bào)值r。

用式(9)迭代更新Q矩陣，在迭代終止時(shí)選擇Q矩陣中的最優(yōu)Q值得到s和a，即單船不同箱型的最優(yōu)單箱價(jià)格。

最優(yōu)Q矩陣中選定的a為港口企業(yè)在應(yīng)對(duì)不同的船公司提出不同單船裝卸作業(yè)時(shí)間的情況下，為達(dá)到裝卸作業(yè)利潤(rùn)最大化的目標(biāo)所制定的動(dòng)態(tài)價(jià)格。

要注意的是，港口對(duì)同一船公司提供裝卸服務(wù)，其單船裝卸作業(yè)時(shí)間是不同的。最優(yōu)單箱價(jià)格是指在固定單船裝卸作業(yè)時(shí)間的前提下得到的不同箱型的價(jià)格集合。對(duì)某一單船裝卸作業(yè)時(shí)間來說，改變Tcz得出的最優(yōu)單箱價(jià)格集合是該單船裝卸作業(yè)時(shí)間的動(dòng)態(tài)定價(jià)表。港口對(duì)同一船公司的動(dòng)態(tài)定價(jià)策略是由不同單船裝卸作業(yè)時(shí)間的動(dòng)態(tài)定價(jià)表構(gòu)成的。

3.2 約束條件限制策略

算法1港口動(dòng)態(tài)定價(jià)的Q-learning算法

初始化：

k=1,s=1,Q(s,a)=0，其中，s∈S,a∈A

設(shè)定ε、γ、α，大迭代次數(shù)κ

對(duì)于所有k≤K

Step1：狀態(tài)s,使用ε-greedy策略選擇利用或探索a

Step2：狀態(tài)s下采取動(dòng)作a，式(1)得到立即回報(bào)值r，式(8)得到下一狀態(tài)s′

Step3：

Q(st,at)=Q(st,at)+α×(r+γ×max(Q(st+1,a))-Q(st,at))，s←s′

Step4：重復(fù)Step2、Step3；直到s′=max(s)時(shí)停止

約束限制策略如下：

1) 式(2)限定a∈A(s)，設(shè)定:

s={0,0.1,0.2,…,30}

2) 式(3)求解結(jié)果精確度在±0.01小時(shí)；式(4)最大成本值為5萬元。

3) 已知s、s′、r；若r<0，令s′=s；否則由式(9)更新Q矩陣。

4)Q(s,a)矩陣維度大，規(guī)定s和a為單精度；為使得式(4)求解精確，計(jì)算s′時(shí)采用雙精度，輸出s′結(jié)果時(shí)調(diào)整為單精度。由精度引起的變動(dòng)會(huì)導(dǎo)致一定程度上選取s所在id困難，規(guī)定若無法正確選取s的id，令s′=s。

4 案例分析

4.1 定價(jià)策略的細(xì)分及參數(shù)確定

為確保動(dòng)態(tài)定價(jià)策略符合實(shí)際需求，以2016年上海港對(duì)船公司1的歷史定價(jià)數(shù)據(jù)作為主要參考，并輔以其余3大船公司的歷史定價(jià)信息，確定單船裝卸作業(yè)時(shí)間和單船操作箱量的分界線。歷史定價(jià)信息中并未有明確的不同箱型的單箱價(jià)格，僅以單船裝卸總利潤(rùn)除以總箱量得出單船的單箱價(jià)格。式(2)的上下限如圖1所示。結(jié)果表明：?jiǎn)未僮飨淞糠纸琰c(diǎn)為2 000 TEU、單船裝卸作業(yè)時(shí)間分界點(diǎn)為20小時(shí)；確定單船裝卸作業(yè)時(shí)間的上、下限分別為10小時(shí)和40小時(shí)；上海港對(duì)船公司1、2、3、4制定的單箱價(jià)格下限分別為700元/TEU、300元/TEU、550元/TEU，510元/TEU，上限設(shè)置為1 000元/TEU。同時(shí)引入箱型因素，使得定價(jià)策略更為精確?；谏虾８蹖?duì)船公司1的歷史數(shù)據(jù)如表1所示。使用1stopt軟件估計(jì)式(7)中的參數(shù)：b1=0.000 1，b2=0.728，B=1 653.4。使用2016年12個(gè)月的產(chǎn)能成本數(shù)據(jù)計(jì)算得出各操作機(jī)械的產(chǎn)能成本率，如表2所示。

圖1 上海港對(duì)4大船公司的歷史單箱價(jià)格、單船操作箱量、 單船裝卸作業(yè)時(shí)間的箱線圖

單船裝卸作業(yè)時(shí)間/小時(shí)單箱價(jià)格/元單船操作箱量/TEU11.5075625311.3366284212.678081 00411.007751 10811.507001 15810.506471 18011.838191 30311.257911 54623.338001 76711.005981 81922.508022 03922.336882 17723.507322 21022.337692 24224.166042 28423.006092 47125.005952 79923.507132 87733.678013 91134.506944 620

表2 各機(jī)械產(chǎn)能成本率產(chǎn)能

4.2 算法參數(shù)與單船裝卸利潤(rùn)的分析

動(dòng)態(tài)定價(jià)策略是根據(jù)不同的船公司對(duì)港口企業(yè)提出的減少單船裝卸作業(yè)時(shí)間Tcz的要求制定的，不同的單船裝卸作業(yè)時(shí)間在不同的Tcz變動(dòng)影響下均能夠產(chǎn)生相應(yīng)的價(jià)格集。Tcz的變動(dòng)會(huì)導(dǎo)致單船裝卸成本變動(dòng)，從而影響單船裝卸利潤(rùn)，本節(jié)將使用單船裝卸利潤(rùn)作為衡量指標(biāo)。為了能夠明確感受使用Q-learning算法制定的動(dòng)態(tài)定價(jià)策略對(duì)于單船裝卸利潤(rùn)的影響，本節(jié)從是否連續(xù)減少單船裝卸作業(yè)時(shí)間進(jìn)行舉例說明。

首先，設(shè)定單船裝卸作業(yè)時(shí)間Tcz均減少1小時(shí)，取滑動(dòng)窗口N=21，根據(jù)4.1節(jié)中求解得出的參數(shù)，以上海港對(duì)四大船公司的歷史單船裝卸作業(yè)時(shí)間為主要依據(jù)，使用Q-leaning算法求解得出不同的最優(yōu)單箱價(jià)格集合。因同一船公司在不同月份會(huì)有不同的單船裝卸作業(yè)時(shí)間，即在1～12月份均由相對(duì)應(yīng)的定價(jià)表，所得定價(jià)表的數(shù)據(jù)量過大，本文將12個(gè)月份劃分成了四季。定價(jià)表將從單船裝卸作業(yè)時(shí)間、單船操作箱量和季節(jié)三個(gè)方面綜合得出上海港對(duì)四大船公司的定價(jià)表，如表3所示。相同月份中只要單船裝卸作業(yè)時(shí)間不同，則會(huì)產(chǎn)生唯一最優(yōu)價(jià)格。同時(shí)，不同月份中單船裝卸作業(yè)時(shí)間相同或者不同時(shí)也有對(duì)應(yīng)的唯一價(jià)格。因?qū)?2個(gè)月份劃分成了四季，在表中顯示的最優(yōu)價(jià)格結(jié)合了季節(jié)中三個(gè)月的價(jià)格形成了最優(yōu)價(jià)格區(qū)間。結(jié)果表明：上海港對(duì)不同公司在相同箱型下的定價(jià)策略受到單船裝卸作業(yè)時(shí)間和單船操作箱量的影響。以公司1為例，當(dāng)單船裝卸作業(yè)時(shí)間小于20小時(shí)并變動(dòng)至20小時(shí)以上的情況下，F(xiàn)R、RF的變動(dòng)不明顯，約在800～1 000元/TEU；GP、HC、OT和TK 在單船裝卸作業(yè)時(shí)間小于或者大于20小時(shí)的情況下，隨月份的增加價(jià)格趨勢(shì)變動(dòng)劇烈。從整體定價(jià)來看，除6月份外，定價(jià)隨單船裝卸作業(yè)時(shí)間的增長(zhǎng)呈上升趨勢(shì)，且在8到12月份間差距明顯。單船裝卸作業(yè)時(shí)間小于20小時(shí)的情況下，公司1-公司3的單船操作箱量均2 000 TEU以下；公司4則幾乎沒有單船裝卸作業(yè)時(shí)間低于20小時(shí)的情況出現(xiàn)。上海港對(duì)不同的船公司定價(jià)時(shí)需要充分考慮船公司單船操作箱量和單船裝卸作業(yè)時(shí)間，充分應(yīng)對(duì)船公司提出的減少單船裝卸作業(yè)時(shí)間的要求并制定合理以及詳細(xì)的價(jià)格表。

表3 上海港對(duì)于4大船公司的定價(jià)表

其次，以上海港對(duì)船公司1的動(dòng)態(tài)定價(jià)策略為例，本節(jié)從兩方面舉例說明動(dòng)態(tài)定價(jià)策略如何應(yīng)用于實(shí)際以及使用Q-leaning算法求解后其參數(shù)對(duì)于單船裝卸利潤(rùn)的影響。(1) 船公司1要求減少的單船裝卸作業(yè)時(shí)間不變，改變Q-learning算法中的參數(shù)。以折扣因子為例，隨單船裝卸作業(yè)時(shí)間的增長(zhǎng)，折扣因子對(duì)單船裝卸利潤(rùn)的影響如圖2所示。結(jié)果表明：隨單船裝卸作業(yè)時(shí)間增長(zhǎng)，單船裝卸利潤(rùn)呈現(xiàn)單調(diào)上升趨勢(shì)。折扣因子從0.1變動(dòng)至0.7時(shí)，單船裝卸利潤(rùn)增至352.77萬元，0.7至0.9時(shí)降至159.89萬元。(2) 船公司1要求減少的單船裝卸作業(yè)時(shí)間發(fā)生變動(dòng)，而Q-learning算法中的參數(shù)不變。以學(xué)習(xí)速率為例，船公司1要求單船裝卸作業(yè)時(shí)間減少0.3、0.6、0.9、1.2和1.5小時(shí)，即={0.3,0.6,0.9,1.2,1.5}。學(xué)習(xí)速率對(duì)單船裝卸利潤(rùn)的影響如圖3所示。結(jié)果表明：根據(jù)單船裝卸作業(yè)時(shí)間的減少情況，單船裝卸利潤(rùn)隨著學(xué)習(xí)速率的增加呈先增后減的趨勢(shì)。例如單船裝卸作業(yè)時(shí)間減少0.3小時(shí)的情況下，學(xué)習(xí)速率為0.3時(shí)單船裝卸利潤(rùn)達(dá)到106.16萬元；學(xué)習(xí)速率為0.9時(shí)單船裝卸利潤(rùn)降至106.09萬元。相同學(xué)習(xí)率，單船裝卸作業(yè)時(shí)間由10.5小時(shí)減少至9小時(shí)的情況下，單船裝卸利潤(rùn)波動(dòng)明顯。例如學(xué)習(xí)速率為0.7時(shí)，單船裝卸作業(yè)時(shí)間為9.9小時(shí)，單船裝卸利潤(rùn)達(dá)到最小值為105.90萬元；單船裝卸作業(yè)時(shí)間為9.6小時(shí)單船裝卸利潤(rùn)達(dá)到最大值為106.14萬元。因此，Tc2的變動(dòng)和Q-learning算法中參數(shù)的變動(dòng)對(duì)于單船裝卸利潤(rùn)有顯著的影響。

圖2 以折扣因子為分類的裝卸時(shí)間遞增時(shí)的 單船利潤(rùn)趨勢(shì)圖

圖3 單船裝卸作業(yè)時(shí)間逐漸減少時(shí)的學(xué)習(xí)速率從0.1 至0.9以0.2的增量遞增的單船利潤(rùn)趨勢(shì)圖

5 結(jié) 語

本文運(yùn)用Q-learning算法求解得出港口企業(yè)對(duì)不同的船公司所制定的動(dòng)態(tài)定價(jià)策略，得出以下結(jié)論：

(1) 學(xué)習(xí)速率越大，保留之前經(jīng)驗(yàn)的效果越少；折扣因子γ越大，Q(s，a)作用越大。同時(shí)學(xué)習(xí)速率對(duì)于單船裝卸利潤(rùn)的影響大于折扣因子，但是過大的學(xué)習(xí)速率、折扣因子會(huì)導(dǎo)致動(dòng)作a被以往經(jīng)驗(yàn)所限制，利潤(rùn)值陷入局部最優(yōu)；過大的探索率會(huì)導(dǎo)致a過于自由探索，易忽略以往最優(yōu)經(jīng)驗(yàn)。在實(shí)際應(yīng)用中，可以將今年的實(shí)際數(shù)據(jù)作為最終需要求解得到定價(jià)策略的依據(jù)，使用前幾年的數(shù)據(jù)代入模型算法中求解得出合適的折扣因子和學(xué)習(xí)速率，并分析選擇相應(yīng)的折扣因子和學(xué)習(xí)速率作為已知條件，最后使用今年的實(shí)際數(shù)據(jù)得出相應(yīng)決策。

(2) 上海港實(shí)際數(shù)據(jù)分析表明，對(duì)同一船公司在相同箱型下的定價(jià)策略亦受到單船裝卸作業(yè)時(shí)間的影響。上海港對(duì)不同的船公司定價(jià)時(shí)，需要充分考慮該公司通常所需的單船操作箱量及單船裝卸作業(yè)時(shí)間，制定合理以及詳細(xì)的定價(jià)策略。本文所提出的基于Q-learning算法的動(dòng)態(tài)定價(jià)策略可以有效提高港口企業(yè)的競(jìng)爭(zhēng)力，能夠及時(shí)有效地應(yīng)對(duì)船公司提出的不同需求并得出相應(yīng)的動(dòng)態(tài)定價(jià)策略，促進(jìn)港口經(jīng)濟(jì)的發(fā)展。從案例結(jié)果可以看出，單船裝卸作業(yè)時(shí)間對(duì)單船裝卸利潤(rùn)具有很大的影響。為提高單船裝卸利潤(rùn)，港口可以從單船裝卸作業(yè)時(shí)間著手，提高單船裝卸效率，減少單船裝卸成本。因單船裝卸作業(yè)時(shí)間與港口裝卸設(shè)備等一系列基礎(chǔ)設(shè)施有關(guān)。為實(shí)現(xiàn)高效的單船裝卸效率，港口可通過數(shù)字化、自動(dòng)化技術(shù)，提升碼頭作業(yè)運(yùn)作能力，改善港口信息不透明狀況，提升對(duì)單船裝卸作業(yè)流程的設(shè)備、人員等資源充分使用、檢測(cè)、維修的能力。