基于值函數(shù)遷移的啟發(fā)式Sarsa算法

陳建平，楊正霞，劉全，吳宏杰，徐楊，傅啟明

?

基于值函數(shù)遷移的啟發(fā)式Sarsa算法

陳建平1,2,3，楊正霞1,2,3，劉全4，吳宏杰1,2,3，徐楊5，傅啟明1,2,3

（1. 蘇州科技大學(xué)電子與信息工程學(xué)院，江蘇 蘇州 215009；2. 蘇州科技大學(xué)江蘇省建筑智慧節(jié)能重點(diǎn)實(shí)驗室，江蘇 蘇州 215009；3. 蘇州科技大學(xué)蘇州市移動網(wǎng)絡(luò)技術(shù)與應(yīng)用重點(diǎn)實(shí)驗室，江蘇 蘇州 215009；4. 蘇州大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 蘇州 215000；5. 浙江紡織服裝職業(yè)技術(shù)學(xué)院信息工程學(xué)院，浙江 寧波 315000）

針對Sarsa算法存在的收斂速度較慢的問題，提出一種改進(jìn)的基于值函數(shù)遷移的啟發(fā)式Sarsa算法（VFT-HSA）。該算法將Sarsa算法與值函數(shù)遷移方法相結(jié)合，引入自模擬度量方法，在相同的狀態(tài)空間和動作空間下，對新任務(wù)與歷史任務(wù)之間的不同狀態(tài)進(jìn)行相似性度量，對滿足條件的歷史狀態(tài)進(jìn)行值函數(shù)遷移，提高算法的收斂速度。此外，該算法結(jié)合啟發(fā)式探索方法，引入貝葉斯推理，結(jié)合變分推理衡量信息增益，并運(yùn)用獲取的信息增益構(gòu)建內(nèi)在獎賞函數(shù)作為探索因子，進(jìn)而加快算法的收斂速度。將所提算法用于經(jīng)典的Grid World問題，并與Sarsa算法、Q-Learning算法以及收斂性能較好的VFT-Sarsa算法、IGP-Sarsa算法進(jìn)行比較，實(shí)驗表明，所提算法具有較快的收斂速度和較好的穩(wěn)定性。

強(qiáng)化學(xué)習(xí)；值函數(shù)遷移；自模擬度量；變分貝葉斯

1 引言

強(qiáng)化學(xué)習(xí)（RL, reinforcement learning）又稱激勵學(xué)習(xí)、增強(qiáng)學(xué)習(xí)，是在未知、動態(tài)環(huán)境中通過agent與環(huán)境的交互實(shí)現(xiàn)從狀態(tài)到動作的映射，并獲得最大期望累計獎賞的一類在線學(xué)習(xí)方法[1]。在強(qiáng)化學(xué)習(xí)問題中，新的強(qiáng)化學(xué)習(xí)任務(wù)與歷史任務(wù)之間會存在某種相似性，因此可利用兩者之間的相似性來提高目標(biāo)任務(wù)的學(xué)習(xí)速率，這需要運(yùn)用遷移學(xué)習(xí)（TL, transfer learning）方法。1995年，遷移學(xué)習(xí)被首次以“l(fā)earning to learn”的概念提出，引起學(xué)術(shù)界的廣泛關(guān)注[2]。遷移學(xué)習(xí)主要包括3個方面：遷移什么、如何進(jìn)行遷移、何時進(jìn)行遷移。通過這3個方面，可以使遷移學(xué)習(xí)達(dá)到提高目標(biāo)任務(wù)收斂速度的目的。然而遷移學(xué)習(xí)是對以往任務(wù)中學(xué)習(xí)的經(jīng)驗進(jìn)行利用，從而提高目標(biāo)任務(wù)的學(xué)習(xí)速率，但對于強(qiáng)化學(xué)習(xí)任務(wù)而言，其本身長期存在著平衡探索與利用之間關(guān)系的問題，有效地解決探索問題使agent獲得最大化環(huán)境信息的軌跡，可以加快目標(biāo)任務(wù)的學(xué)習(xí)速率。

近年來，遷移學(xué)習(xí)在強(qiáng)化學(xué)習(xí)領(lǐng)域已引起廣大研究學(xué)者的關(guān)注。Ammar等[3]通過優(yōu)化不同任務(wù)間可轉(zhuǎn)移的知識庫，并通過對該知識庫間不同任務(wù)構(gòu)建映射關(guān)系，使新任務(wù)快速收斂。Gupta等[4]通過構(gòu)建狀態(tài)空間到不變特征空間之間的映射關(guān)系，將知識映射到不變特征空間，并利用構(gòu)建的映射關(guān)系實(shí)現(xiàn)知識的遷移，從而加快新任務(wù)的收斂速度。Laroche等[5]在假設(shè)不同任務(wù)具有相同狀態(tài)空間與動作空間的基礎(chǔ)上，通過添加探索因子構(gòu)建新的獎賞函數(shù)，實(shí)現(xiàn)不同任務(wù)間的知識遷移，提高算法在后續(xù)任務(wù)中的收斂性能。Barreto等[6]提出在環(huán)境動態(tài)性不變的前提下，對不同任務(wù)之間的獎賞函數(shù)進(jìn)行遷移，從而加快算法的收斂速度。

本文針對經(jīng)典的Sarsa算法存在收斂速度慢的問題，提出一種基于值函數(shù)遷移的啟發(fā)式Sarsa算法（VFT-HSA）。針對經(jīng)典Sarsa算法中值函數(shù)初始值的設(shè)定直接影響算法收斂速度的問題，VFT-HSA算法引入知識遷移，利用自模擬度量的方法，構(gòu)造目標(biāo)任務(wù)與歷史任務(wù)之間的度量關(guān)系，通過設(shè)定閾值，遷移歷史任務(wù)中的最優(yōu)值函數(shù)，提高算法的收斂速度。針對大量算法問題中探索與利用不平衡的問題，VFT-HSA引入啟發(fā)式探索方法，利用貝葉斯推理，結(jié)合變分推理衡量信息增益，附加內(nèi)在獎賞函數(shù)，從而提高算法的探索性能，加快算法的收斂速度。將VFT-HSA應(yīng)用于Grid World問題，實(shí)驗結(jié)果表明，VFT-HSA較其他算法具有更快的收斂速度和較好的穩(wěn)定性。

2 相關(guān)理論

2.1 馬爾可夫決策過程

式(3)和式(4)也被稱為Bellman最優(yōu)方程。

2.2 Sarsa算法

在強(qiáng)化學(xué)習(xí)算法中，Sarsa算法能夠在未知獎賞函數(shù)與狀態(tài)轉(zhuǎn)移函數(shù)的情況下，采用狀態(tài)動作值迭代找到最優(yōu)策略，是一種在線學(xué)習(xí)算法。在Sarsa算法學(xué)習(xí)過程中，當(dāng)狀態(tài)動作對被無數(shù)次訪問時，Sarsa以概率1收斂到最優(yōu)策略以及最優(yōu)狀態(tài)動作值函數(shù)，且策略將在有限的時間步內(nèi)收斂至貪心策略。然而，Sarsa算法是一種保守算法，為了減少損失，在學(xué)習(xí)過程中會選擇相對安全的動作，這使Sarsa算法在選取動作時缺乏一定的探索，進(jìn)而使Sarsa算法收斂速度相對較慢。Sarsa算法具體流程如算法1所示[1]。

算法1 Sarsa算法

2) repeat (對于每一個情節(jié))

3) 初始化狀態(tài)

4) 在狀態(tài)下，根據(jù)行為策略選擇動作

5) repeat (對于情節(jié)中的每一步)

10) end repeat

11) end repeat

12) 輸出：值函數(shù)

2.3 自模擬度量

2003年，Givan等[14]首次將自模擬關(guān)系引入MDP，并利用自模擬關(guān)系度量不同MDP中狀態(tài)之間的距離。其自模擬關(guān)系可簡單表述為：若2個狀態(tài)之間滿足自模擬關(guān)系，那么2個狀態(tài)之間的最優(yōu)值函數(shù)或最優(yōu)動作可相互共享。

對于任意2個狀態(tài)，它們之間的自模擬關(guān)系是“是”或“非”的關(guān)系，要么滿足自模擬關(guān)系，要么不滿足自模擬關(guān)系，但在實(shí)際應(yīng)用中，該方法太過于嚴(yán)苛。如果2個狀態(tài)的獎賞分布與狀態(tài)轉(zhuǎn)移概率分布極其近似，則2個狀態(tài)極其近似，根據(jù)以上條件可推測2個狀態(tài)具有相似的最優(yōu)動作和最優(yōu)值函數(shù)，但自模擬關(guān)系無法證明該推測。因而Ferns等[15]針對該問題，利用Kantorovich距離，提出衡量2個狀態(tài)之間相似性關(guān)系的自模擬度量方法，并得到定理1。

2.4 變分貝葉斯

變分貝葉斯最早由Beal[16]提出，其可應(yīng)用于隱馬爾可夫模型、混合因子分析、非線性動力學(xué)、圖模型等。變分貝葉斯可較好地處理復(fù)雜統(tǒng)計模型。復(fù)雜統(tǒng)計模型由觀測變量、未知參數(shù)和潛變量這3類變量組成，其中，未知參數(shù)和潛變量統(tǒng)稱為不可觀測變量。

采用變分貝葉斯具有如下優(yōu)點(diǎn)：1)將不可觀測變量的后驗概率近似成其他變量，方便不可觀測變量的推斷；2)對于一個模型，給出邊緣似然函數(shù)的下界，當(dāng)邊緣似然函數(shù)值最高時，表明模型擬合程度越好，通過該方法可獲取最優(yōu)模型。

3 VFT-HAS算法思想及簡介

3.1 值函數(shù)遷移

通常，對于MDP，可以通過迭代方法求出最優(yōu)狀態(tài)值函數(shù)或最優(yōu)動作值函數(shù)，再由最優(yōu)值函數(shù)求解最優(yōu)策略。但對于每一個MDP，求解最優(yōu)值函數(shù)都需要進(jìn)行迭代計算，這會造成計算資源的浪費(fèi)，因此考慮將已求解的歷史最優(yōu)值函數(shù)用于后續(xù)的MDP中，進(jìn)而求解最優(yōu)值函數(shù)。若2個狀態(tài)相似，它們應(yīng)該具有相似的最優(yōu)狀態(tài)值函數(shù)，并利用自模擬度量關(guān)系，對相似狀態(tài)進(jìn)行值函數(shù)遷移。在對值函數(shù)遷移方法進(jìn)行介紹之前，先做如下假設(shè)。

關(guān)于定理2的證明可參考文獻(xiàn)[17]，為了更加充分地說明定理2，給出如下說明。

圖1 MDP狀態(tài)轉(zhuǎn)移示意

由定理2，給出不同MDP之間基于自模擬度量的值函數(shù)遷移算法，如算法2所示。

算法2 基于自模擬度量的值函數(shù)遷移算法

4) end for

5) end for

10) else

12) end if

13) end for

3.2 基于變分貝葉斯的啟發(fā)式探索

證畢。

圖2 Kullback-Leibler散度關(guān)系

結(jié)合上述原理，給出一種改進(jìn)的啟發(fā)式內(nèi)部獎賞函數(shù)的更新式，如式(9)所示。

(14)

3.3 VFT-HAS簡介

基于值函數(shù)遷移的啟發(fā)式Sarsa算法主要利用自模擬度量方法對相似狀態(tài)之間的以往值函數(shù)知識進(jìn)行遷移，從而提高初始化值函數(shù)的精確性，并利用變分貝葉斯理論，獲得信息增益作為內(nèi)在獎賞函數(shù)進(jìn)行啟發(fā)式探索，結(jié)合Sarsa算法框架，利用V-Q算法中的更新方法更新值函數(shù)[18]，提高算法收斂速度，具體如算法3所示。

算法3 基于值函數(shù)遷移的啟發(fā)式Sarsa算法

2) repeat (對于每一個情節(jié))

4) repeat(對于情節(jié)中的每一個時間步)

12) end repeat

14) 算法終止

15) end if

18) end repeat

基于值函數(shù)遷移的啟發(fā)式Sarsa算法主要分為3個部分，第一部分利用算法2知識遷移進(jìn)行初始化狀態(tài)值函數(shù)；第二部分對狀態(tài)和動作及下一個狀態(tài)進(jìn)行采樣，通過變分貝葉斯理論衡量信息增益作為內(nèi)部獎賞函數(shù)；第三部分在第二部分的基礎(chǔ)上更新狀態(tài)值函數(shù)和狀態(tài)動作值函數(shù)，求解問題最優(yōu)策略，提高算法學(xué)習(xí)速率。

4 實(shí)驗及結(jié)果分析

為了研究算法的性能，將VFT-HSA應(yīng)用在Grid World問題中，并針對算法收斂的速度以及算法的穩(wěn)定性等方面進(jìn)行分析，將VFT-HSA與Sarsa算法、Q-Learning算法、VFT-Sarsa算法[17]、IGP-Sarsa[19]算法在相同的實(shí)驗環(huán)境中重復(fù)實(shí)驗24次，取每次實(shí)驗的平均值比較各算法的性能。

4.1 Grid World問題介紹

圖4 格子世界（目標(biāo)MDP）

4.2 實(shí)驗設(shè)置

圖5 格子世界（原始MDP）

4.3 實(shí)驗分析

圖6 5×6的Grid World問題中5種算法性能比較

圖7 10×10的Grid World問題中5種算法性能比較

為了驗證算法采用值函數(shù)遷移方法和啟發(fā)式探索方法的收斂性能，圖8分別表示Sarsa算法、本文提出的VFT-HSA、不采用值函數(shù)遷移算法、不采用啟發(fā)式探索算法在10×10的Grid World問題中達(dá)到收斂時所需的平均時間的變化趨勢，其中，橫坐標(biāo)為情節(jié)數(shù)，縱坐標(biāo)為情節(jié)結(jié)束后到達(dá)目標(biāo)狀態(tài)所需的時間。在實(shí)驗過程中，每一個算法都獨(dú)立執(zhí)行24次，取其平均值。在圖8中，Sarsa算法不能保證較好收斂，收斂性能較差；不采用值函數(shù)遷移算法在大約40個情節(jié)處收斂，而VFT-HSA在大約30個情節(jié)處收斂，VFT-HSA相比于不采用值函數(shù)遷移算法收斂速度提升近25%，因而不采用值函數(shù)遷移算法收斂速度較慢，這是因為不采用值函數(shù)遷移算法使算法運(yùn)行過程中值函數(shù)的初始值未獲得最優(yōu)設(shè)置，算法收斂需要更多的樣本數(shù)量，最終導(dǎo)致算法收斂速度慢；不采用啟發(fā)式探索算法在大約50個情節(jié)處收斂，相比較而言，VFT-HSA收斂速度提升近40%，不采用啟發(fā)式探索算法收斂性能不及VFT-HSA，這是因為啟發(fā)式探索算法在算法收斂過程中可以提供更多的啟發(fā)式信息，加大agent探索力度，提高算法收斂速度。綜上所述，在值函數(shù)遷移方法與變分貝葉斯啟發(fā)式探索方法共同作用下，VFT-HSA的收斂速度更快，收斂性能更好。

圖8 10×10的Grid World問題中4種算法的性能比較

圖9 不同規(guī)模的Grid World問題中VFT-HSA取不同η值時收斂性能比較

表1 不同規(guī)模的Grid World問題中VFT-HSA取不同值時收斂所需平均步數(shù)比較

5 結(jié)束語

本文針對Sarsa算法在維度較大的狀態(tài)空間和動作空間的MDP中存在收斂速度慢的問題，提出一種改進(jìn)的VFT-HSA。在不同任務(wù)間具有相同狀態(tài)空間和動作空間的MDP中，該算法運(yùn)用自模擬度量的方法構(gòu)建不同任務(wù)下狀態(tài)之間的距離關(guān)系，當(dāng)2個MDP達(dá)到一定相似度時，進(jìn)行值函數(shù)知識遷移，減少算法收斂所需的樣本，提高算法的收斂性能；針對強(qiáng)化學(xué)習(xí)問題中存在的探索與利用的平衡問題，結(jié)合貝葉斯推理，利用變分推理獲取信息增益并用其構(gòu)建內(nèi)部獎賞函數(shù)模型，加大agent探索力度，提高算法收斂速度。將本文提出的VFT-HSA與Q-Learning算法、IGP-Sarsa算法用于經(jīng)典的Grid World問題，實(shí)驗表明，VFT-HSA克服了經(jīng)典的Sarsa算法中存在的收斂速度慢以及收斂不穩(wěn)定的問題，在保證收斂精度的情況下，提高了算法的收斂速度和穩(wěn)定性。

本文主要在Grid World仿真平臺中對算法進(jìn)行實(shí)驗分析，實(shí)驗結(jié)果表明，本文所提算法具有較快的收斂速度和較好的收斂穩(wěn)定性。本文主要對較大規(guī)模、離散的問題進(jìn)行實(shí)驗分析，接下來的工作是將算法運(yùn)用于更大規(guī)模的問題和連續(xù)問題中進(jìn)一步驗證算法的有效性。

[1] SUTTON R S, BARTO G A. Reinforcement learning: an introduction[M]. Cambridge: MIT Press, 1998.

[2] SCHMIDHUBER J, INFORMATIK T T. On learning how to learn learning strategies[R]. Germany: Technische University, 1995.

[3] AMMAR H B, EATON E, LUNA J M, et al. Autonomous cross-domain knowledge transfer in lifelong policy gradient reinforcement learning[C]//The 15th International Conference on Artificial Intelligence. 2015: 3345-3351.

[4] GUPTA A, DEVIN C, LIU Y X, et al. Learning invariant feature spaces to transfer skills with reinforcement learning[C]//The 5th International Conference on Learning Representations. 2017: 2147-2153.

[5] LAROCHE R, BARLIER M. Transfer reinforcement learning with shared dynamics[C]//The 31th International Conference on the Association for the Advance of Artificial Intelligence. 2017: 2147-2153.

[6] BARRETO A, DABNEY W, MUNOS R, et al. Successor features for transfer in reinforcement learning[C]//The 32th International Conference on Neural Information Processing Systems. 2017: 4055-4065.

[7] DEARDEN R, NIR F, STUART R. Bayesian Q-learning[C]//The 21th International Conference on the Association for the Advance of Artificial Intelligence. 1998: 761-768.

[8] GUEZ A, SILVER D, DAYAN P. Scalable and efficient Bayes- adaptive reinforcement learning based on Monte-Carlo tree search[J]. Journal of Artificial Intelligence Research, 2013, 48(1): 841-883.

[9] LITTLE D Y, SOMMER F T. Learning and exploration in action-perception loops[J]. Frontiers in Neural Circuits, 2013, 7(7): 37-56.

[10] MANSOUR Y, SLIVKINS A, SYRGKANIS V. Bayesian incentive-compatible bandit exploration[C]//The 16th International Conference on Economics and Computation. 2015: 565-582.

[11] VIEN N A, LEE S G, CHUNG T C. Bayes-adaptive hierarchical MDPs[J]. Applied Intelligence, 2016, 45(1): 112-126.

[12] WU B, FENG Y. Monte-Carlo Bayesian reinforcement learning using a compact factored representation[C]//The 4th International Conference on Information Science and Control Engineering. 2017: 466-469.

[13] 傅啟明, 劉全, 伏玉琛, 等. 一種高斯過程的帶參近似策略迭代算法[J]. 軟件學(xué)報, 2013, 24(11): 2676-2687.

FU Q M, LIU Q, FU Y C, et al. Parametric approximation policy strategy iteration algorithm based on Gaussian process[J]. Journal of Software, 2013, 24(11): 2676-2687.

[14] GIVAN R, DEAN T, GREIG M. Equivalence notions and model minimization in Markov decision processes[J]. Artificial Intelligence, 2003, 147(1): 163-223.

[15] FERNS N, PANANGADEN P, PRECUP D. Metrics for finite Markov decision processes[C]//The 20th International Conference on Uncertainty in Artificial Intelligence. 2004: 162-169.

[16] BEAL M J. Variational algorithms for approximate Bayesian inference[D]. London: University of London, 2003.

[17] 傅啟明, 劉全, 尤樹華, 等. 一種新的基于值函數(shù)遷移的快速Sarsa算法[J]. 電子學(xué)報, 2014, 42(11): 2157-2161.

FU Q M, LIU Q, YOU S H, et al. A novel fast sarsa algorithm based on value function transfer[J]. Acta Electronica Sinica, 2014, 42(11): 2157-2161.

[18] MIERING M, HASSELT H V. The QV family compared to other reinforcement learning algorithms[C]//The 17th International Conference on Approximate Dynamic Programming and Reinforcement Learning. 2008: 101-108.

[19] CHUNG J J, LAWRANCE N R J, SUKKARIEH S. Gaussian processes for informative exploration in reinforcement learning[C]//The 20th International Conference on Robotics and Automation. 2013: 2633-2639.

Heuristic Sarsa algorithm based on value function transfer

CHEN Jianping1,2,3, YANG Zhengxia1,2,3, LIU Quan4, WU Hongjie1,2,3, XU Yang5, FU Qiming1,2,3

1. Institute of Electronics and Information Engineering, Suzhou University of Science and Technology, Suzhou 215009, China 2. Jiangsu Province Key Laboratory of Intelligent Building Energy Efficiency, Suzhou University of Science and Technology, Suzhou 215009, China 3. Suzhou Key Laboratory of Mobile Networking and Applied Technologies, Suzhou University of Science and Technology, Suzhou 215009, China 4. School of Computer Science and Technology, Soochow University, Suzhou 215000, China 5. Institute of Information Engineering, Zhejiang Fashion Institute of Technology College, Ningbo 315000, China

With the problem of slow convergence for traditional Sarsa algorithm, an improved heuristic Sarsa algorithm based on value function transfer was proposed. The algorithm combined traditional Sarsa algorithm and value function transfer method, and the algorithm introduced bisimulation metric and used it to measure the similarity between new tasks and historical tasks in which those two tasks had the same state space and action space and speed up the algorithm convergence. In addition, combined with heuristic exploration method, the algorithm introduced Bayesian inference and used variational inference to measure information gain. Finally, using the obtained information gain to build intrinsic reward function model as exploring factors, to speed up the convergence of the algorithm. Applying the proposed algorithm to the traditional Grid World problem, and compared with the traditional Sarsa algorithm, the Q-Learning algorithm, and the VFT-Sarsa algorithm, the IGP-Sarsa algorithm with better convergence performance, the experiment results show that the proposed algorithm has faster convergence speed and better convergence stability.

reinforcement learning, value function transfer, bisimulation metric, variational Bayes

TP391

A

10.11959/j.issn.1000?436x.2018133

陳建平（1963?），男，江蘇南京人，博士，蘇州科技大學(xué)教授，主要研究方向為大數(shù)據(jù)分析與應(yīng)用、建筑節(jié)能、智能信息處理。

楊正霞（1992?），女，江蘇揚(yáng)州人，蘇州科技大學(xué)碩士生，主要研究方向為強(qiáng)化學(xué)習(xí)、遷移學(xué)習(xí)、建筑節(jié)能。

劉全（1969?），男，內(nèi)蒙古牙克石人，博士，蘇州大學(xué)教授、博士生導(dǎo)師，主要研究方向為智能信息處理、自動推理與機(jī)器學(xué)習(xí)。

吳宏杰（1977?），男，江蘇蘇州人，博士，蘇州科技大學(xué)副教授，主要研究方向為深度學(xué)習(xí)、模式識別、生物信息。

徐楊（1980?），女，河北深州人，浙江紡織服裝職業(yè)技術(shù)學(xué)院講師，主要研究方向為數(shù)據(jù)分析與應(yīng)用、智能化與個性化教學(xué)。

傅啟明（1985?），男，江蘇淮安人，博士，蘇州科技大學(xué)講師，主要研究方向為強(qiáng)化學(xué)習(xí)、深度學(xué)習(xí)及建筑節(jié)能。

2018?03?22；

2018?07?13

傅啟明，fqm_1@126.com

國家自然科學(xué)基金資助項目（No.61502329, No.61772357, No.61750110519, No.61772355, No.61702055, No.61672371, No.61602334）；江蘇省自然科學(xué)基金資助項目（No.BK20140283）；江蘇省重點(diǎn)研發(fā)計劃基金資助項目（No.BE2017663）；江蘇省高校自然科學(xué)基金資助項目（No.13KJB520020）；蘇州市應(yīng)用基礎(chǔ)研究計劃工業(yè)部分基金資助項目（No.SYG201422）

The National Natural Science Foundation of China (No.61502329, No.61772357, No.61750110519, No.61772355, No.61702055, No.61672371, No.61602334), The Natural Science Foundation of Jiangsu Province (No.BK20140283), The Key Research and Development Program of Jiangsu Province (No.BE2017663), High School Natural Science Foundation of Jiangsu Province (No.13KJB520020), Suzhou Industrial Application of Basic Research Program Part (No.SYG201422)