• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    IT支撐系統(tǒng)技術架構的去電信化思考

    2014-06-28 03:51:06田熙清陳泳胡穎茂
    移動通信 2014年5期
    關鍵詞:應用程序集群分布式

    田熙清 陳泳 胡穎茂

    1 引言

    隨著移動互聯(lián)網的快速發(fā)展,產業(yè)鏈的重點及利潤在向上層業(yè)務提供商和終端廠家進行轉移,運營商陷入了“管道化”的危險,因此中國電信提出了“去電信化”的轉型思路,逐步擺脫目前的發(fā)展模式和發(fā)展困境。

    電信IT支撐系統(tǒng)最早可以追溯到上個世紀90年代末的“九七工程”,即實現本地網電話業(yè)務的計算機綜合管理,通過計算機自動化管理,減少過多的人工干預。2002年,中國電信制定了企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)1.0版本,首次把IT支撐系統(tǒng)明確劃分為MSS(管理支撐系統(tǒng))、BSS(業(yè)務支撐系統(tǒng))、OSS(運營支撐系統(tǒng))和EDA(企業(yè)數據應用)四大域,采用EAI技術,制定松耦合、模塊化、可配置的技術架構,實現了核心IT支撐系統(tǒng)“省集中”的建設和運營。2007年,中國電信升級ITSP到2.0版本,遵循“數據與功能分離,功能和流程分離,應用與展現分離,生產與分析分離”的技術原則,引入SOA(Service-Oriented Architecture,面向服務架構)技術,在省公司層面整合、集中和優(yōu)化核心系統(tǒng),在集團公司層面建設了集團級系統(tǒng),順利完成移動網絡業(yè)務割接,實現了差異化融合業(yè)務及全國全網業(yè)務的IT支撐。

    目前電信IT支撐系統(tǒng)以省級公司為單位進行集中建設,技術架構上廣泛采用傳統(tǒng)成熟的IOE集中式架構,即以IBM小型機、Oracle數據庫及EMC高端存儲為主,軟件提供商開發(fā)相應的應用程序運行在IOE架構上,這種架構的優(yōu)點是成熟穩(wěn)定,為電信業(yè)務快速發(fā)展提供了業(yè)務上的保障。但隨著企業(yè)“去電信化”轉型思路的發(fā)展,系統(tǒng)性能不高、柔性不足以及投資成本居高不下的問題日益嚴重。

    2 現狀及挑戰(zhàn)

    2.1 IT支撐系統(tǒng)現狀

    電信IT支撐系統(tǒng)邏輯架構如圖1所示,包含門戶層、應用層、服務層、數據層和基礎設施層等,使用者為客戶、合作伙伴和內部員工。系統(tǒng)為客戶提供售前、售中和售后的端到端流程服務,包含訂購、交付、計費及客戶服務等功能。合作伙伴主要指銷售渠道代理商,IT支撐系統(tǒng)為其提供訂購、傭金結算等服務。內部員工按照工作崗位角色的不同,使用不同域的系統(tǒng)功能。

    門戶層針對不同的用戶分為客戶自助門戶、合作伙伴門戶和內部員工門戶,作為不同用戶使用IT系統(tǒng)功能的統(tǒng)一入口。

    應用層包含四大域的不同系統(tǒng)功能,包含BSS域的客戶關系管理(CRM)、計費、賬務、結算及客戶服務(10000號)等功能;OSS域的服務開通、服務保障、裝維調度、綜合激活、資源管理及網絡管理等功能;MSS域的財務管理、企業(yè)資源計劃管理(ERP)、人力資源、公文流轉(OA)、知識管理等功能;EDA域的決策支持、經營分析、運營分析、管理分析以及做專題應用的數據集市等功能。從處理方式來看,BSS、OSS和MSS域屬于聯(lián)機事務處理(OLTP)系統(tǒng),EDA域屬于聯(lián)機分析處理(OLAP)系統(tǒng)。

    服務層包含企業(yè)服務總線(ESB)、數據總線及目錄服務,ESB以服務接口方式實現系統(tǒng)間的服務調用,數據總線實現批量數據傳遞。

    數據層包含企業(yè)數據模型中各主體域數據,如客戶、產品與服務、渠道、賬務、資源、人力、財務、物質和工程等。

    基礎設施層包含小型機、x86服務器、存儲以及IT系統(tǒng)間的內部專用網絡。

    在物理實現上,門戶層有Web頁面和C/S客戶端接入方式;應用層應用程序主要搭建在WebLogic、Tuxedo等商業(yè)中間件上;服務層采用商用ESB組件;數據層數據主要存放在Oracle數據庫中;基礎設施以IBM小機、EMC存儲架構為主。在部署架構上采用二級部署,一級為集團公司總部,下面以省公司為單位獨立部署,通過總部樞紐節(jié)點進行互聯(lián)。

    2.2 “去電信化”轉型挑戰(zhàn)

    在企業(yè)“去電信化”轉型發(fā)展思路下,對IT支撐系統(tǒng)提出了新的挑戰(zhàn):

    (1)在“去電信化”戰(zhàn)略下,電信以開放的心態(tài),向產業(yè)鏈上下游進行拓展。系統(tǒng)使用者發(fā)生了結構性變化,以前主要用戶為營業(yè)員、話務員、客戶經理以及內部員工,少量渠道代理商用戶,而現在擴展到電商、終端提供商等,前者如天貓、京東等,后者如蘋果公司等。

    (2)隨著電信、媒體和信息、互聯(lián)網內容和應用、終端制造、電子商務等行業(yè)“花園圍墻”的倒塌,對手相互進入對方領域,所以除了支撐傳統(tǒng)業(yè)務外,IT支撐系統(tǒng)需要支撐互聯(lián)網基地業(yè)務、海外業(yè)務以及行業(yè)應用等。

    (3)隨著4G牌照的發(fā)放,網絡建設投資將不斷增加,企業(yè)IT投入只減不增,另外IOE架構在后期維護成本(OPEX)壓力越來越大。

    新的挑戰(zhàn)對IT支撐系統(tǒng)提出了新的要求:

    (1)對外部用戶需要提供流暢的客戶體驗,像互聯(lián)網公司一樣的高并發(fā)性能;

    (2)對新業(yè)務的快速響應能力,當前IT支撐系統(tǒng)版本升級流程復雜冗長,一個業(yè)務需求往往需要2~3個月才能實現;

    (3)IT投資減少,倒逼IT支撐系統(tǒng)借鑒互聯(lián)網公司成功的技術路線,進行技術架構轉型來支撐業(yè)務的快速發(fā)展。

    3 思考及演進思路

    3.1 技術架構去電信化思考:去IOE

    新的挑戰(zhàn)及要求,倒逼技術架構改變目前集中式的系統(tǒng)架構,演變成具有良好橫向擴展能力,高并發(fā)性能,高度柔性,低成本構建并且自主掌控,能夠快速響應的新一代IT系統(tǒng)架構。

    在這方面,優(yōu)秀的互聯(lián)網公司已經進行了先行探索,并獲得了巨大成功,值得借鑒。淘寶從2003年開始,系統(tǒng)架構大體經歷了三次大的調整和演進:

    (1)2003年采用LAMP(Linux+Apahce+MySQL+

    PHP)架構,部署在PC服務器上,數據庫采用讀寫分離,但由于MySQL讀操作會鎖表,主從復制時會對Master數據庫產生大量的讀操作,使得主庫性能急劇下降。endprint

    (2)2004—2008年,采用IOE架構,用Oracle替代MySQL,部署在小機上,存儲由NAS(Network Attached Storage,網絡附加存儲)換成了EMC的SAN(Storage Area Network,存儲區(qū)域網絡),開發(fā)語言變成了Java,在此期間,對數據庫進行分庫分表,冷熱分離,在應用程序和數據庫之間增加Cache層、CDN(Content Delivery Network,內容分發(fā)網絡)等措施來提高數據庫讀寫性能,但隨著業(yè)務的急速發(fā)展,存儲永遠不夠用,性能永遠不夠高。

    (3)2009年開始,采用去IOE架構,x86服務器取代了小機,數據存儲由MySQL Cluster和自主開發(fā)的NoSQL數據庫取代了Oracle RAC(Real Application Cluster),存儲采用硬盤和SSD(Solid State Disk,固態(tài)硬盤)技術,搭建分布式的技術架構,并成功應對了2012年的“雙十一”促銷,贏得了業(yè)界的關注和贊賞。

    淘寶面對爆炸式的業(yè)務增長和高昂的擴容成本,采用去IOE的技術架構,廣泛使用開源技術進行自主開發(fā)中間件、數據庫,對傳統(tǒng)企業(yè)的技術架構演變極有參考價值。

    中國電信近5年來,隨著C網和寬帶用戶的快速發(fā)展,以及固網用戶的負增長,雖然總用戶量年均增長率只有10%左右(見圖2),但用戶的使用量(包含話單、認證、停復機等)呈快速增長趨勢。以最大子公司廣東電信為例,2012年話單增長量比2011年增長了51.5%。另外按照“去電信化”發(fā)展思路,營銷日趨電商化,存在很多瞬間高并發(fā)的應用場景,如終端首發(fā)、秒殺等。

    目前傳統(tǒng)IT技術架構僅能維持暫時的穩(wěn)定,隨著用戶快速發(fā)展,“去電信化”轉型戰(zhàn)略發(fā)展的深入,不斷壓縮的IT投資,后續(xù)IT支撐系統(tǒng)壓力將越來越大,勢必需要對目前IT技術架構進行重新思考并梳理演進路線。

    業(yè)務的快速發(fā)展、淘寶等互聯(lián)網公司去IOE化的成功,為電信IT支撐系統(tǒng)技術架構的演進提供了方向:去IOE化。利用開源軟件,進行自主研發(fā),搭建高性能、高柔性、低成本的分布式系統(tǒng)。從軟硬件發(fā)展來看,具有可行性。

    (1)近10年來,根據IDC統(tǒng)計,x86服務器的市場占有率在不斷擠壓小型機的市場占有率。很多互聯(lián)網企業(yè)和傳統(tǒng)企業(yè),把關鍵應用逐步遷移到x86服務器集群上。

    以業(yè)界認可程度較高的SPEC CPU2006第三方基準測試結果作為主流4路中高端小型機和x86服務器的對比依據,可以看到兩者的CPU處理能力差別不大。具體如表1所示:

    表1 SPEC CINT2006 Rates Base結果對比

    服務器 類型 CPU配置 CINT2006 Rates Base

    IBM P750+ 小型機 Power 7+ 4.2GHz 32核 1230

    IBM x3850 X5 PC Server E7-4870 2.4GHz 40核 1080

    華為 Tecal RH5885 V2 PC Server E7-4870 2.4GHz 40核 1100

    DELL r910 PC Server E7-4870 2.4GHz 40核 1030

    注:CINT2006用來測量和比較計算密集型的整數性能,Rates Base是指整機CPU性能在缺省優(yōu)化規(guī)則下的基準結果。

    另外根據中國電信評測實驗室基于典型省份CRM系統(tǒng)業(yè)務場景定制的CTB-C(China Telecom Benchmark-CRM)基準測試結果,核心系統(tǒng)中常用4路小型機和x86服務器在綜合負載下的性能、能耗和指標相比也非常相近。

    (2)今天的開源軟件不斷成熟,并在大型互聯(lián)網公司得到了大規(guī)模的驗證,同時社區(qū)非?;钴S。

    (3)存儲技術不斷發(fā)展,SSD和PCIe Flash技術在IOPS(Input/Output Operations Per Second)、延遲方面,相比于機械硬盤,SSD提高了30多倍,PCIe Flash最高可達900多萬IOPS,而延遲降低到幾十微秒。

    (4)互聯(lián)設備也在不斷發(fā)展,Infiniband是一種支持多并發(fā)鏈接的“轉換線纜”技術,傳輸帶寬可達40~56GB/s,延遲降到納秒級別。相比于SAN,帶寬提高了4~5倍,延遲降低了近10倍。

    3.2 技術架構演進思路

    基于硬件的快速發(fā)展以及開源軟件的不斷成熟,IT支撐系統(tǒng)技術架構演進的參考目標如圖3所示。

    (1)基礎設施層用x86工業(yè)標準的PC Server集群取代小型機,以開源操作系統(tǒng)Cent OS取代商業(yè)操作系統(tǒng),以開源虛擬化軟件Xen取代商業(yè)軟件。

    (2)數據層把單一Oracle數據庫根據不同應用場景,用MySQL集群、NoSQL數據庫以及分布式文件系統(tǒng)進行替代。OLTP系統(tǒng)的強一致性數據,如客戶、產品及訂單、資源等,按照地市、主題以分片(shard)方式存放在MySQL集群中;OLTP系統(tǒng)的歷史數據根據信息生命周期的不同從核心數據庫進行剝離,存放到磁帶或者分布式文件系統(tǒng)中;OLAP系統(tǒng)分析性數據的計算遷移到關系型數據庫外,采用大數據技術(如Hadoop分布式處理技術、Strom分布式實時計算技術等)進行處理,處理結果放入關系型數據庫進行存儲和SQL的訪問。

    (3)在服務層增加自主開發(fā)的分布式服務框架和分布式數據層,實現數據層的分布對應用層透明,增強系統(tǒng)橫向擴展能力。

    (4)在應用層采用JBoss等廣泛應用的開源中間件取代商業(yè)中間件,如WebLogic、Tuxedo等。

    (5)在門戶層推進客戶端的Web化,同時為了適應移動互聯(lián)網的應用場景,拓展移動客戶端的接入。endprint

    傳統(tǒng)架構向目標架構的轉變,涉及到思維觀念、人才隊伍、技術架構驗證和工程實施等多方面困難,直接一步演進到目標架構,存在很多不確定的風險,并且不現實。為了實現平滑穩(wěn)健的過渡,可以分成幾個階段:

    (1)基礎設施層的資源池建設:針對不同應用場景(如計費系統(tǒng)需要并發(fā)量不大,但批處理吞吐率高;營業(yè)受理系統(tǒng)需要高并發(fā)處理能力),搭建基于x86工業(yè)標準的PC Server集群,通過虛擬化軟件對集群進行虛擬化管理和規(guī)模化運營。在此階段針對部分應用,用x86服務器代替小型機。

    (2)大數據處理:把目前基于Oracle的OLAP系統(tǒng),完全采用大數據技術,如Hadoop、Strom等技術進行處理,并把處理結果放入到關系型數據庫中,提供對外查詢和分析。

    (3)核心輕量化:從核心系統(tǒng)剝離大數據量查詢功能,放入到NoSQL數據庫或分布式文件系統(tǒng)中,減輕核心在線系統(tǒng)負擔,提高核心系統(tǒng)處理能力,如清單查詢、賬單查詢、積分查詢、日志查詢、電子回執(zhí)等非實時穩(wěn)定數據剝離到Hadoop中,基于多條件查詢且穩(wěn)定的訂單/工單歷史數據剝離到搜索引擎中,部分常用數據可以緩存到NoSQL數據庫(如Redis、MogonDB)中。另外,在原有IOE集中式架構下,存在大量關系和聚合運算,例如關聯(lián)查詢、統(tǒng)計分析等,利用Oracle數據庫的存儲過程,依賴數據庫計算能力,消耗大量的資源,需要把基于存儲過程的計算功能從數據庫層剝離,數據庫退化為單純的數據存儲,使得數據分拆成為可能,原有的關系和聚合運算需轉移到應用層實現。

    (4)核心數據庫的讀寫分離:據統(tǒng)計,核心數據庫的讀寫非常不對稱,讀請求遠大于寫請求,所以對于關鍵應用以及要求強一致性的數據,考慮人員及技能無法短期內實現完全去Oracle數據庫,先進行讀寫分離,寫操作到Oracle數據庫中,采用數據復制技術,應用層的讀操作源于MySQL集群。本階段既能保證強一致性數據的穩(wěn)定性,又能驗證和測試MySQL集群系統(tǒng),同時還可以鍛煉和培養(yǎng)MySQL分布式數據庫隊伍和人才。

    (5)全面去IOE:在核心數據庫讀寫分離基礎上,建立了完善的分布式MySQL集群數據庫,把BSS和OSS系統(tǒng)核心數據庫按地市、主題進行分庫分表,對BSS和OSS核心系統(tǒng)進行全面拆分,進行分布式改造,從而實現全面去IOE。

    基礎設施層的資源池建設是IT系統(tǒng)技術架構演變的基礎。大數據處理技術是OLAP系統(tǒng)轉型的必由之路,現有技術無法滿足大數據的計算和處理。核心輕量化可以減輕核心系統(tǒng)計算和存儲壓力,提升關鍵應用性能,為OLTP型系統(tǒng)架構轉型贏得時間。核心數據庫的讀寫分離,探索MySQL數據庫集群對Oracle數據庫替代的開發(fā)和驗證,既保證了核心系統(tǒng)對外服務的能力,又能培養(yǎng)和鍛煉分布式數據庫的隊伍和人才。經過前面幾個階段有步驟的去I/E和O后,全面去IOE水到渠成,實現了IT支撐系統(tǒng)技術架構的轉型。

    4 難點、應對措施及關鍵技術

    4.1 架構轉型難點及應對措施

    目前IT支撐系統(tǒng)技術架構已經平穩(wěn)運營了10年時間,向新的技術架構進行轉型,勢必存在許多難點:

    (1)思維觀念方面,傳統(tǒng)IOE架構是同類產品中的最佳組合,天然渾成,穩(wěn)定性好,有成熟供應商支撐,為什么要去IOE?因為IOE架構橫向擴展能力差,系統(tǒng)性能和柔性不足,投資成本居高不下,在企業(yè)去電信化轉型思路下已經到了非去不可的地步,需要靠高層領導強有力的意志去推動,對IT從業(yè)人員加強互聯(lián)網心智、思維方面的宣貫和培養(yǎng)。

    (2)人才隊伍方面,10年前,電信放棄了自己開發(fā)IT支撐系統(tǒng)的模式,轉而向供應商進行采購,現有的IT從業(yè)人員以系統(tǒng)維護為主,而去IOE架構對硬件規(guī)模管理、開源軟件、運營式開發(fā)等方面提出了很高的要求。人才隊伍培養(yǎng)非一朝一夕之事,在架構演進的過渡時期,可抽調內部精兵強將,輔以外包人才,組成獨立開發(fā)隊伍,采用運營式開發(fā)流程,完成基礎設施層的云化和數據庫層的分布式改造工作,得以培養(yǎng)和鍛煉隊伍及人才。在完全去IOE階段,應用層開發(fā)要求對業(yè)務邏輯非常熟練,可以交由目前的供應商進行聯(lián)合開發(fā)。

    (3)去IOE架構的前景非常美好,但未來不能越過當下,互聯(lián)網公司的方法論及工程實踐,并不一定適合傳統(tǒng)企業(yè),需要根據企業(yè)的發(fā)展戰(zhàn)略,對IT支撐系統(tǒng)架構轉型進行有步驟的論證和演進,找到自己的節(jié)奏和控制力。

    4.2 架構轉型關鍵技術

    根據上述演進思路及策略,IT支撐系統(tǒng)技術架構轉型關鍵技術包含:

    (1)資源池云化技術:包含資源(x86服務器、小機服務器、存儲、網絡)虛擬化、資源動態(tài)調度及監(jiān)控、用戶申請使用及管理等功能,建設生產環(huán)境云和測試環(huán)境云。

    (2)大數據處理技術:包含大規(guī)模的分布式處理技術Hadoop、分布式實時計算技術Strom,前者包含Map-Redude、YARN、HBase、Hive等。

    (3)數據路由技術:在去IOE架構下,數據由過去的集中式管理變成分布式存儲和管理,按照地市、主題進行分庫分表(shard方式)存放,某些量大的數據還面臨二次及多次拆分,分布式數據庫集群需要對上層應用透明,分布式數據層需要實現數據路由功能,屏蔽分表對應用帶來的復雜性,解決跨表及多維度查詢問題。

    (4)數據復制技術:在核心數據庫讀寫分離階段,數據復制是最重要的工作之一,要求復制延遲盡可能小,保證數據盡快達到最終一致性。常用數據復制技術有:數據庫之間的復制、通過應用程序完成數據復制。

    1)數據庫之間的復制如圖4所示,應用程序向Oracle數據庫進行讀寫操作,利用第三方工具把數據復制到MySQL數據庫中。這種方法無需改造應用層,但第三方工具對MySQL集群的分庫分表規(guī)則不清楚,能否快速支持開發(fā),需要進一步驗證。另外,第三方工具為了提高資源使用率,利用Oracle數據庫的日志進行批量同步復制,時間延遲是一種考驗。endprint

    2)通過應用程序完成數據復制方案如圖5所示,步驟為:應用程序寫數據日志→應用程序寫Oracle數據庫→異步通知分布式數據層→分布式數據層實時逐條讀取數據日志→分布式數據層寫MySQL數據庫集群。前三步作為一個事務,確保讀寫操作的一致,寫MySQL數據庫進行異步操作。這種方法逐條記錄進行讀寫分離,盡可能減少時間延遲,同時分布式數據層能夠對外屏蔽MySQL數據庫集群的復雜性,但需要額外開發(fā)分布式數據層。

    圖5 應用程序完成數據復制

    (5)數據加速技術:近年來,硬盤磁道尋址的發(fā)展速度遠落后于傳輸速率的發(fā)展速度,數據庫讀取I/O性能已成為瓶頸,如使用內存提高性能,但價格偏高。隨著PCIe SSD(固態(tài)硬盤)的快速發(fā)展,已成為數據加速的重要工具。

    (6)數據遷移技術:全面去IOE階段,需要做到數據庫間切換的無縫對接,具體步驟(見圖6)為:

    1)先把Oracle數據庫在某個時間點,全量復制到MySQL集群中;

    2)應用程序發(fā)布同時寫兩個目標庫的版本;

    3)在發(fā)布雙寫版本后,把全量復制到雙寫版本之間的數據增量同步到MySQL集群;

    4)選擇某一時間點對兩個庫進行數據校驗;

    5)應用程序發(fā)布針對MySQL集群的讀寫版本,停止向Oracle數據庫讀寫;

    6)在系統(tǒng)上線后的一段時間內,進行MySQL集群向Oracle的逆向同步,目的是預防系統(tǒng)回滾。

    (7)服務化技術:系統(tǒng)按照組件進行梳理提煉,吸收SOA理念,通過企業(yè)服務總線(ESB),以可管可控的標準服務形式向內外部開放系統(tǒng)能力,是系統(tǒng)架構轉型的基礎,做到“大系統(tǒng)小做”,提升系統(tǒng)的柔性,同時也是去電信化發(fā)展思路的要求。

    5 結束語

    在“去電信化”發(fā)展思路下,倒逼IT支撐系統(tǒng)技術架構進行轉型,涉及到思維觀念、人才隊伍、運營流程及關鍵技術若干因素,是一項復雜的系統(tǒng)工程,不能一蹴而就,需要未來3~5年扎實的技術積累和工程實施。

    過去10年,電信已經建立了完整的系統(tǒng)規(guī)范,制定了發(fā)展目標,規(guī)范了功能架構、數據模型、系統(tǒng)架構、部署模式以及系統(tǒng)間集成關系,并由軟件提供商落地和實施。未來的發(fā)展過程中,需要建立自己的研發(fā)隊伍,自主重點研發(fā)基礎設施層、數據層和服務層,使系統(tǒng)具有良好的性能和柔性,大幅度提升客戶感知和市場需求的響應速度,并實現企業(yè)IT投資的持續(xù)下降,支撐企業(yè)的去電信化發(fā)展。

    參考文獻:

    [1] 韋樂平. 電信業(yè)的未來與“去電信化”的思考[J]. 電信科學, 2013(2): 1-7.

    [2] 中國電信集團公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)1.0[Z]. 2002.

    [3] 中國電信集團公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)2.0[Z]. 2007.

    [4] 子柳. 淘寶技術發(fā)展[EB/OL]. (2012-02-20). http://blog.sina.com.cn/s/blog_633219970100xazf.html.

    [5] 中國電信集團公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)3.0[S]. 2013.

    [6] 中國電信集團公司. CTG-MBOSS總體規(guī)范2.0[S]. 2010.

    [7] 申德榮,于戈,王習特,等. 支持大數據管理的NoSQL系統(tǒng)研究綜述[J]. 軟件學報, 2013(8).endprint

    2)通過應用程序完成數據復制方案如圖5所示,步驟為:應用程序寫數據日志→應用程序寫Oracle數據庫→異步通知分布式數據層→分布式數據層實時逐條讀取數據日志→分布式數據層寫MySQL數據庫集群。前三步作為一個事務,確保讀寫操作的一致,寫MySQL數據庫進行異步操作。這種方法逐條記錄進行讀寫分離,盡可能減少時間延遲,同時分布式數據層能夠對外屏蔽MySQL數據庫集群的復雜性,但需要額外開發(fā)分布式數據層。

    圖5 應用程序完成數據復制

    (5)數據加速技術:近年來,硬盤磁道尋址的發(fā)展速度遠落后于傳輸速率的發(fā)展速度,數據庫讀取I/O性能已成為瓶頸,如使用內存提高性能,但價格偏高。隨著PCIe SSD(固態(tài)硬盤)的快速發(fā)展,已成為數據加速的重要工具。

    (6)數據遷移技術:全面去IOE階段,需要做到數據庫間切換的無縫對接,具體步驟(見圖6)為:

    1)先把Oracle數據庫在某個時間點,全量復制到MySQL集群中;

    2)應用程序發(fā)布同時寫兩個目標庫的版本;

    3)在發(fā)布雙寫版本后,把全量復制到雙寫版本之間的數據增量同步到MySQL集群;

    4)選擇某一時間點對兩個庫進行數據校驗;

    5)應用程序發(fā)布針對MySQL集群的讀寫版本,停止向Oracle數據庫讀寫;

    6)在系統(tǒng)上線后的一段時間內,進行MySQL集群向Oracle的逆向同步,目的是預防系統(tǒng)回滾。

    (7)服務化技術:系統(tǒng)按照組件進行梳理提煉,吸收SOA理念,通過企業(yè)服務總線(ESB),以可管可控的標準服務形式向內外部開放系統(tǒng)能力,是系統(tǒng)架構轉型的基礎,做到“大系統(tǒng)小做”,提升系統(tǒng)的柔性,同時也是去電信化發(fā)展思路的要求。

    5 結束語

    在“去電信化”發(fā)展思路下,倒逼IT支撐系統(tǒng)技術架構進行轉型,涉及到思維觀念、人才隊伍、運營流程及關鍵技術若干因素,是一項復雜的系統(tǒng)工程,不能一蹴而就,需要未來3~5年扎實的技術積累和工程實施。

    過去10年,電信已經建立了完整的系統(tǒng)規(guī)范,制定了發(fā)展目標,規(guī)范了功能架構、數據模型、系統(tǒng)架構、部署模式以及系統(tǒng)間集成關系,并由軟件提供商落地和實施。未來的發(fā)展過程中,需要建立自己的研發(fā)隊伍,自主重點研發(fā)基礎設施層、數據層和服務層,使系統(tǒng)具有良好的性能和柔性,大幅度提升客戶感知和市場需求的響應速度,并實現企業(yè)IT投資的持續(xù)下降,支撐企業(yè)的去電信化發(fā)展。

    參考文獻:

    [1] 韋樂平. 電信業(yè)的未來與“去電信化”的思考[J]. 電信科學, 2013(2): 1-7.

    [2] 中國電信集團公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)1.0[Z]. 2002.

    [3] 中國電信集團公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)2.0[Z]. 2007.

    [4] 子柳. 淘寶技術發(fā)展[EB/OL]. (2012-02-20). http://blog.sina.com.cn/s/blog_633219970100xazf.html.

    [5] 中國電信集團公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)3.0[S]. 2013.

    [6] 中國電信集團公司. CTG-MBOSS總體規(guī)范2.0[S]. 2010.

    [7] 申德榮,于戈,王習特,等. 支持大數據管理的NoSQL系統(tǒng)研究綜述[J]. 軟件學報, 2013(8).endprint

    2)通過應用程序完成數據復制方案如圖5所示,步驟為:應用程序寫數據日志→應用程序寫Oracle數據庫→異步通知分布式數據層→分布式數據層實時逐條讀取數據日志→分布式數據層寫MySQL數據庫集群。前三步作為一個事務,確保讀寫操作的一致,寫MySQL數據庫進行異步操作。這種方法逐條記錄進行讀寫分離,盡可能減少時間延遲,同時分布式數據層能夠對外屏蔽MySQL數據庫集群的復雜性,但需要額外開發(fā)分布式數據層。

    圖5 應用程序完成數據復制

    (5)數據加速技術:近年來,硬盤磁道尋址的發(fā)展速度遠落后于傳輸速率的發(fā)展速度,數據庫讀取I/O性能已成為瓶頸,如使用內存提高性能,但價格偏高。隨著PCIe SSD(固態(tài)硬盤)的快速發(fā)展,已成為數據加速的重要工具。

    (6)數據遷移技術:全面去IOE階段,需要做到數據庫間切換的無縫對接,具體步驟(見圖6)為:

    1)先把Oracle數據庫在某個時間點,全量復制到MySQL集群中;

    2)應用程序發(fā)布同時寫兩個目標庫的版本;

    3)在發(fā)布雙寫版本后,把全量復制到雙寫版本之間的數據增量同步到MySQL集群;

    4)選擇某一時間點對兩個庫進行數據校驗;

    5)應用程序發(fā)布針對MySQL集群的讀寫版本,停止向Oracle數據庫讀寫;

    6)在系統(tǒng)上線后的一段時間內,進行MySQL集群向Oracle的逆向同步,目的是預防系統(tǒng)回滾。

    (7)服務化技術:系統(tǒng)按照組件進行梳理提煉,吸收SOA理念,通過企業(yè)服務總線(ESB),以可管可控的標準服務形式向內外部開放系統(tǒng)能力,是系統(tǒng)架構轉型的基礎,做到“大系統(tǒng)小做”,提升系統(tǒng)的柔性,同時也是去電信化發(fā)展思路的要求。

    5 結束語

    在“去電信化”發(fā)展思路下,倒逼IT支撐系統(tǒng)技術架構進行轉型,涉及到思維觀念、人才隊伍、運營流程及關鍵技術若干因素,是一項復雜的系統(tǒng)工程,不能一蹴而就,需要未來3~5年扎實的技術積累和工程實施。

    過去10年,電信已經建立了完整的系統(tǒng)規(guī)范,制定了發(fā)展目標,規(guī)范了功能架構、數據模型、系統(tǒng)架構、部署模式以及系統(tǒng)間集成關系,并由軟件提供商落地和實施。未來的發(fā)展過程中,需要建立自己的研發(fā)隊伍,自主重點研發(fā)基礎設施層、數據層和服務層,使系統(tǒng)具有良好的性能和柔性,大幅度提升客戶感知和市場需求的響應速度,并實現企業(yè)IT投資的持續(xù)下降,支撐企業(yè)的去電信化發(fā)展。

    參考文獻:

    [1] 韋樂平. 電信業(yè)的未來與“去電信化”的思考[J]. 電信科學, 2013(2): 1-7.

    [2] 中國電信集團公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)1.0[Z]. 2002.

    [3] 中國電信集團公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)2.0[Z]. 2007.

    [4] 子柳. 淘寶技術發(fā)展[EB/OL]. (2012-02-20). http://blog.sina.com.cn/s/blog_633219970100xazf.html.

    [5] 中國電信集團公司. 中國電信企業(yè)信息化戰(zhàn)略規(guī)劃(ITSP)3.0[S]. 2013.

    [6] 中國電信集團公司. CTG-MBOSS總體規(guī)范2.0[S]. 2010.

    [7] 申德榮,于戈,王習特,等. 支持大數據管理的NoSQL系統(tǒng)研究綜述[J]. 軟件學報, 2013(8).endprint

    猜你喜歡
    應用程序集群分布式
    集群式AUV可控分群控制算法
    刪除Win10中自帶的應用程序
    電腦報(2019年12期)2019-09-10 05:08:20
    一種無人機集群發(fā)射回收裝置的控制系統(tǒng)設計
    電子制作(2018年11期)2018-08-04 03:25:40
    分布式光伏熱錢洶涌
    能源(2017年10期)2017-12-20 05:54:07
    分布式光伏:爆發(fā)還是徘徊
    能源(2017年5期)2017-07-06 09:25:54
    Python與Spark集群在收費數據分析中的應用
    勤快又呆萌的集群機器人
    基于DDS的分布式三維協(xié)同仿真研究
    雷達與對抗(2015年3期)2015-12-09 02:38:50
    西門子 分布式I/O Simatic ET 200AL
    關閉應用程序更新提醒
    電腦迷(2012年15期)2012-04-29 17:09:47
    国产一区二区激情短视频| 日韩熟女老妇一区二区性免费视频| 日日爽夜夜爽网站| 无人区码免费观看不卡| 成人亚洲精品一区在线观看| 免费少妇av软件| 丝袜在线中文字幕| 亚洲精品在线美女| 变态另类成人亚洲欧美熟女 | 久久热在线av| 国产av又大| 天天操日日干夜夜撸| 亚洲国产看品久久| 韩国av一区二区三区四区| 校园春色视频在线观看| 成年人黄色毛片网站| 亚洲成av片中文字幕在线观看| 国产精品99久久99久久久不卡| 中文字幕最新亚洲高清| 如日韩欧美国产精品一区二区三区| 精品乱码久久久久久99久播| 美女视频免费永久观看网站| 人人澡人人妻人| 黄色片一级片一级黄色片| 人人妻人人澡人人爽人人夜夜| 啦啦啦免费观看视频1| 免费在线观看影片大全网站| 一区二区三区激情视频| 精品少妇久久久久久888优播| 18禁裸乳无遮挡免费网站照片 | 亚洲中文日韩欧美视频| 久99久视频精品免费| 欧美激情高清一区二区三区| 免费在线观看完整版高清| 欧美在线黄色| 国产高清视频在线播放一区| 亚洲色图av天堂| 国产成人免费无遮挡视频| www.熟女人妻精品国产| 欧美日韩黄片免| 一级毛片高清免费大全| 成人影院久久| 欧美精品av麻豆av| www.精华液| 女人精品久久久久毛片| 黄频高清免费视频| 热99久久久久精品小说推荐| 日韩 欧美 亚洲 中文字幕| 水蜜桃什么品种好| 搡老乐熟女国产| 久9热在线精品视频| 在线看a的网站| a级片在线免费高清观看视频| 欧美日韩亚洲高清精品| 国产成+人综合+亚洲专区| 国产精品 欧美亚洲| 一区在线观看完整版| 亚洲九九香蕉| 在线天堂中文资源库| 悠悠久久av| av免费在线观看网站| 国产乱人伦免费视频| 精品久久久精品久久久| 欧美黄色淫秽网站| 国产精品成人在线| 叶爱在线成人免费视频播放| 精品国产乱码久久久久久男人| 午夜福利,免费看| 欧美亚洲日本最大视频资源| 不卡av一区二区三区| 看免费av毛片| 人妻丰满熟妇av一区二区三区 | 亚洲欧美日韩高清在线视频| 99热国产这里只有精品6| 在线观看日韩欧美| 天天操日日干夜夜撸| av有码第一页| 欧美日韩中文字幕国产精品一区二区三区 | 欧美亚洲 丝袜 人妻 在线| 91麻豆精品激情在线观看国产 | 91字幕亚洲| 男男h啪啪无遮挡| 欧美国产精品一级二级三级| 精品一区二区三区四区五区乱码| 精品一区二区三区四区五区乱码| 欧美日韩视频精品一区| 日韩熟女老妇一区二区性免费视频| 成人国产一区最新在线观看| 亚洲专区国产一区二区| 亚洲成人手机| 国产高清国产精品国产三级| 夜夜夜夜夜久久久久| 久久久久国内视频| 国内毛片毛片毛片毛片毛片| 99精品欧美一区二区三区四区| 国产一区有黄有色的免费视频| 婷婷成人精品国产| 久久久久国产精品人妻aⅴ院 | 一级a爱片免费观看的视频| 欧美亚洲日本最大视频资源| 曰老女人黄片| 美国免费a级毛片| 夜夜躁狠狠躁天天躁| 一级片'在线观看视频| 人妻久久中文字幕网| 亚洲成a人片在线一区二区| 中出人妻视频一区二区| 如日韩欧美国产精品一区二区三区| 亚洲av日韩在线播放| 亚洲av第一区精品v没综合| 亚洲第一青青草原| 精品国产美女av久久久久小说| 亚洲,欧美精品.| 99re6热这里在线精品视频| 婷婷精品国产亚洲av在线 | 亚洲精品美女久久av网站| 老熟女久久久| 动漫黄色视频在线观看| 在线观看舔阴道视频| 色尼玛亚洲综合影院| 老司机午夜福利在线观看视频| 中文字幕色久视频| 国产精品免费大片| 丰满迷人的少妇在线观看| 国产成人精品无人区| 99国产综合亚洲精品| 交换朋友夫妻互换小说| 成人手机av| 99香蕉大伊视频| 人人妻人人澡人人看| 视频区图区小说| 操美女的视频在线观看| 成人三级做爰电影| 久久国产精品人妻蜜桃| 色综合婷婷激情| 亚洲av成人一区二区三| 精品久久久久久久久久免费视频 | 麻豆av在线久日| 三级毛片av免费| 国产精品永久免费网站| 人人澡人人妻人| 很黄的视频免费| 99精品久久久久人妻精品| 69精品国产乱码久久久| 精品一区二区三区四区五区乱码| 国产国语露脸激情在线看| 日韩人妻精品一区2区三区| 叶爱在线成人免费视频播放| 天堂动漫精品| 国产一卡二卡三卡精品| 一区二区日韩欧美中文字幕| tube8黄色片| 精品亚洲成a人片在线观看| 久久久久久久国产电影| 999精品在线视频| 亚洲熟女毛片儿| 侵犯人妻中文字幕一二三四区| 国产乱人伦免费视频| 国产精品国产高清国产av | 欧美老熟妇乱子伦牲交| av视频免费观看在线观看| 久久狼人影院| 高清视频免费观看一区二区| 国产三级黄色录像| 美女午夜性视频免费| 国产男靠女视频免费网站| 日韩欧美国产一区二区入口| 国产高清激情床上av| 日本欧美视频一区| 不卡一级毛片| 不卡一级毛片| 午夜免费成人在线视频| 丰满的人妻完整版| 免费高清在线观看日韩| 在线观看免费日韩欧美大片| 91国产中文字幕| 欧美亚洲 丝袜 人妻 在线| 国产精品秋霞免费鲁丝片| 老司机午夜十八禁免费视频| 国产成人免费观看mmmm| 99久久精品国产亚洲精品| 国产精品 欧美亚洲| 一级毛片高清免费大全| 欧美激情久久久久久爽电影 | 日韩 欧美 亚洲 中文字幕| 18禁国产床啪视频网站| 国产一区二区三区在线臀色熟女 | 免费黄频网站在线观看国产| 天天躁夜夜躁狠狠躁躁| 男女午夜视频在线观看| 欧美黄色片欧美黄色片| 人妻一区二区av| 久久精品国产清高在天天线| 国产欧美日韩一区二区三| 91麻豆精品激情在线观看国产 | 新久久久久国产一级毛片| 精品亚洲成a人片在线观看| 午夜影院日韩av| 国产蜜桃级精品一区二区三区 | 熟女少妇亚洲综合色aaa.| 91麻豆av在线| 色尼玛亚洲综合影院| 中文字幕最新亚洲高清| 中文字幕高清在线视频| 久久久久久久久免费视频了| 精品国产乱子伦一区二区三区| netflix在线观看网站| 欧美精品亚洲一区二区| 国产男靠女视频免费网站| 999精品在线视频| 国产精品久久久久久精品古装| 日韩欧美国产一区二区入口| 久久狼人影院| 亚洲熟妇熟女久久| 久久久国产精品麻豆| 国产三级黄色录像| 人人妻人人爽人人添夜夜欢视频| 国产精品.久久久| 国产黄色免费在线视频| 欧美丝袜亚洲另类 | 国产精品一区二区免费欧美| 在线十欧美十亚洲十日本专区| 99re在线观看精品视频| 国产伦人伦偷精品视频| 亚洲欧美激情综合另类| 99国产精品一区二区三区| 久久久国产欧美日韩av| 99国产综合亚洲精品| 国产成人欧美在线观看 | 亚洲性夜色夜夜综合| 欧美黄色淫秽网站| a级毛片黄视频| 国产一区在线观看成人免费| 欧美精品人与动牲交sv欧美| 欧美另类亚洲清纯唯美| 欧美成人午夜精品| 国产欧美日韩精品亚洲av| 在线观看免费午夜福利视频| 日日夜夜操网爽| 乱人伦中国视频| 俄罗斯特黄特色一大片| 两人在一起打扑克的视频| 日韩免费高清中文字幕av| 一级a爱片免费观看的视频| 日本a在线网址| 免费久久久久久久精品成人欧美视频| 国产精品国产高清国产av | 99热网站在线观看| 老司机深夜福利视频在线观看| 国产xxxxx性猛交| 交换朋友夫妻互换小说| 国产片内射在线| 激情视频va一区二区三区| 亚洲,欧美精品.| 国产色视频综合| xxxhd国产人妻xxx| 欧美 日韩 精品 国产| 久久精品国产清高在天天线| 18在线观看网站| 国产片内射在线| 成人特级黄色片久久久久久久| 高清视频免费观看一区二区| 交换朋友夫妻互换小说| www.熟女人妻精品国产| 亚洲欧美一区二区三区久久| av线在线观看网站| 一区福利在线观看| 一级片免费观看大全| √禁漫天堂资源中文www| 亚洲欧美精品综合一区二区三区| 国产免费av片在线观看野外av| 精品国产一区二区三区久久久樱花| 男人的好看免费观看在线视频 | а√天堂www在线а√下载 | 久久久精品区二区三区| 一本一本久久a久久精品综合妖精| tocl精华| 亚洲中文日韩欧美视频| 涩涩av久久男人的天堂| 黄色视频不卡| 女警被强在线播放| 欧美日韩国产mv在线观看视频| 免费黄频网站在线观看国产| av超薄肉色丝袜交足视频| 伦理电影免费视频| 免费在线观看影片大全网站| 国产不卡av网站在线观看| 后天国语完整版免费观看| 免费观看精品视频网站| 久久香蕉精品热| 老汉色av国产亚洲站长工具| 99香蕉大伊视频| 黄色毛片三级朝国网站| 亚洲国产毛片av蜜桃av| 男女下面插进去视频免费观看| 美女扒开内裤让男人捅视频| 一区二区三区激情视频| 国产欧美亚洲国产| e午夜精品久久久久久久| 亚洲国产精品合色在线| 99热只有精品国产| 精品熟女少妇八av免费久了| 香蕉久久夜色| 精品一品国产午夜福利视频| 日韩大码丰满熟妇| 日日夜夜操网爽| 精品亚洲成a人片在线观看| 99国产精品一区二区蜜桃av | 少妇被粗大的猛进出69影院| 高清毛片免费观看视频网站 | 国产成人啪精品午夜网站| 一级黄色大片毛片| 精品人妻熟女毛片av久久网站| 99香蕉大伊视频| 亚洲专区字幕在线| av视频免费观看在线观看| 国产国语露脸激情在线看| 欧美日韩瑟瑟在线播放| 国产淫语在线视频| 欧美成狂野欧美在线观看| 亚洲 欧美一区二区三区| 亚洲伊人色综图| 中文字幕另类日韩欧美亚洲嫩草| 欧美成人免费av一区二区三区 | 亚洲精品美女久久久久99蜜臀| 极品人妻少妇av视频| 国产精品国产高清国产av | 国产精品久久电影中文字幕 | 欧美日本中文国产一区发布| 国产欧美日韩一区二区精品| 久久 成人 亚洲| 免费黄频网站在线观看国产| 高清黄色对白视频在线免费看| 午夜久久久在线观看| 不卡一级毛片| 黑丝袜美女国产一区| 午夜成年电影在线免费观看| 黄网站色视频无遮挡免费观看| 成年人免费黄色播放视频| 久久草成人影院| 国产成人精品久久二区二区免费| 男人舔女人的私密视频| 天堂中文最新版在线下载| 最近最新中文字幕大全电影3 | 日本五十路高清| av网站免费在线观看视频| 黄色怎么调成土黄色| tube8黄色片| 国产精品成人在线| 99久久99久久久精品蜜桃| 国产一区在线观看成人免费| tocl精华| 女人爽到高潮嗷嗷叫在线视频| 午夜福利一区二区在线看| 国产精品美女特级片免费视频播放器 | 最新美女视频免费是黄的| av线在线观看网站| 最新的欧美精品一区二区| 久久人人爽av亚洲精品天堂| 嫩草影视91久久| 免费人成视频x8x8入口观看| 国产人伦9x9x在线观看| av线在线观看网站| av超薄肉色丝袜交足视频| 啦啦啦视频在线资源免费观看| 亚洲欧美色中文字幕在线| 亚洲五月婷婷丁香| 99久久99久久久精品蜜桃| 精品国产美女av久久久久小说| bbb黄色大片| 成年人午夜在线观看视频| 免费在线观看完整版高清| aaaaa片日本免费| 黄色成人免费大全| 亚洲av成人av| 国产精品亚洲av一区麻豆| 欧美不卡视频在线免费观看 | 精品一区二区三区视频在线观看免费 | 色老头精品视频在线观看| 精品国产美女av久久久久小说| 国产国语露脸激情在线看| 老司机在亚洲福利影院| www.999成人在线观看| 可以免费在线观看a视频的电影网站| 亚洲国产欧美网| 1024香蕉在线观看| 夜夜夜夜夜久久久久| 欧美精品亚洲一区二区| 亚洲成人国产一区在线观看| 久久这里只有精品19| 9热在线视频观看99| 欧美日本中文国产一区发布| 成人国语在线视频| 亚洲欧美精品综合一区二区三区| 国产午夜精品久久久久久| 首页视频小说图片口味搜索| 建设人人有责人人尽责人人享有的| 亚洲性夜色夜夜综合| 精品国产乱子伦一区二区三区| av在线播放免费不卡| 又大又爽又粗| 午夜日韩欧美国产| 亚洲精品久久成人aⅴ小说| 国产欧美日韩综合在线一区二区| 色老头精品视频在线观看| 在线天堂中文资源库| 欧洲精品卡2卡3卡4卡5卡区| 欧美 日韩 精品 国产| 免费人成视频x8x8入口观看| 亚洲 欧美一区二区三区| 日本欧美视频一区| av网站免费在线观看视频| 午夜日韩欧美国产| 亚洲视频免费观看视频| 成年女人毛片免费观看观看9 | 日韩欧美三级三区| 久久精品国产99精品国产亚洲性色 | 黄色 视频免费看| 国产精品av久久久久免费| 91大片在线观看| 国产在线观看jvid| 精品熟女少妇八av免费久了| 又紧又爽又黄一区二区| 久久中文字幕人妻熟女| 精品第一国产精品| 久久久国产欧美日韩av| 在线观看日韩欧美| 欧美国产精品va在线观看不卡| 大香蕉久久网| 久久国产精品人妻蜜桃| 无遮挡黄片免费观看| 成人黄色视频免费在线看| 国产精品1区2区在线观看. | 成年女人毛片免费观看观看9 | 天天添夜夜摸| 欧美大码av| 免费少妇av软件| 大香蕉久久成人网| 欧美激情久久久久久爽电影 | 黑人巨大精品欧美一区二区mp4| 极品教师在线免费播放| 国产99久久九九免费精品| 在线永久观看黄色视频| 久久天堂一区二区三区四区| 可以免费在线观看a视频的电影网站| 大型黄色视频在线免费观看| 亚洲精品自拍成人| 一本综合久久免费| 深夜精品福利| 日本wwww免费看| 久久久精品区二区三区| 久久久久久久精品吃奶| 欧美最黄视频在线播放免费 | 亚洲av成人一区二区三| 中文字幕人妻丝袜一区二区| 欧美中文综合在线视频| 又紧又爽又黄一区二区| 男女之事视频高清在线观看| 看黄色毛片网站| 人人妻人人爽人人添夜夜欢视频| 婷婷丁香在线五月| 日韩制服丝袜自拍偷拍| 国产精品久久视频播放| 国产激情欧美一区二区| 亚洲成人国产一区在线观看| 国产激情久久老熟女| 涩涩av久久男人的天堂| 在线观看免费午夜福利视频| 麻豆乱淫一区二区| 欧美精品人与动牲交sv欧美| 女人爽到高潮嗷嗷叫在线视频| 19禁男女啪啪无遮挡网站| 9色porny在线观看| 精品一品国产午夜福利视频| 欧美丝袜亚洲另类 | 久久婷婷成人综合色麻豆| 免费看十八禁软件| 岛国在线观看网站| 国产精品自产拍在线观看55亚洲 | 99在线人妻在线中文字幕 | 黄色女人牲交| 一级片'在线观看视频| 亚洲美女黄片视频| 精品熟女少妇八av免费久了| 动漫黄色视频在线观看| 久久精品成人免费网站| 久久久久国产精品人妻aⅴ院 | 精品久久久精品久久久| 国产亚洲欧美在线一区二区| 国产成人av激情在线播放| 丰满的人妻完整版| √禁漫天堂资源中文www| 精品亚洲成a人片在线观看| 99riav亚洲国产免费| 成年人午夜在线观看视频| 中文字幕另类日韩欧美亚洲嫩草| 91精品国产国语对白视频| 深夜精品福利| 国产高清国产精品国产三级| 国产主播在线观看一区二区| 99久久综合精品五月天人人| 男人舔女人的私密视频| 亚洲熟女精品中文字幕| 国产精品亚洲一级av第二区| 亚洲一码二码三码区别大吗| 91在线观看av| 亚洲精品粉嫩美女一区| 淫妇啪啪啪对白视频| 午夜福利欧美成人| 大码成人一级视频| 国产精品久久久av美女十八| e午夜精品久久久久久久| 婷婷精品国产亚洲av在线 | 中文字幕精品免费在线观看视频| 午夜福利免费观看在线| 一级毛片精品| 99在线人妻在线中文字幕 | 99国产精品免费福利视频| 搡老乐熟女国产| 欧美激情 高清一区二区三区| 搡老乐熟女国产| 亚洲av美国av| 精品国产乱子伦一区二区三区| 午夜福利,免费看| 9色porny在线观看| 18禁国产床啪视频网站| 国产人伦9x9x在线观看| 亚洲精品一二三| 久久影院123| 黄片小视频在线播放| 国产精品一区二区免费欧美| 亚洲男人天堂网一区| 亚洲在线自拍视频| 99国产精品免费福利视频| 精品国产乱子伦一区二区三区| 亚洲av成人av| 黄色怎么调成土黄色| 亚洲精品粉嫩美女一区| 黄色毛片三级朝国网站| 亚洲av美国av| 91老司机精品| 欧美日本中文国产一区发布| 日日摸夜夜添夜夜添小说| 久久久久久久午夜电影 | 女人爽到高潮嗷嗷叫在线视频| 精品国产一区二区三区久久久樱花| 中文字幕高清在线视频| 久久精品人人爽人人爽视色| 欧美乱码精品一区二区三区| 中文字幕另类日韩欧美亚洲嫩草| 欧美 亚洲 国产 日韩一| 欧美在线一区亚洲| 97人妻天天添夜夜摸| a在线观看视频网站| 丰满饥渴人妻一区二区三| 日韩大码丰满熟妇| 精品国产亚洲在线| 成年人黄色毛片网站| 女人被躁到高潮嗷嗷叫费观| 一级作爱视频免费观看| 亚洲 国产 在线| 最新在线观看一区二区三区| 日本欧美视频一区| 国产精品免费大片| 亚洲精品一二三| 脱女人内裤的视频| 精品久久久久久久毛片微露脸| 好看av亚洲va欧美ⅴa在| 免费女性裸体啪啪无遮挡网站| www日本在线高清视频| 夜夜爽天天搞| 在线观看66精品国产| 欧美日韩成人在线一区二区| 丝袜在线中文字幕| 国产精品美女特级片免费视频播放器 | 一进一出抽搐gif免费好疼 | 中文字幕色久视频| 久久亚洲精品不卡| 丰满迷人的少妇在线观看| 亚洲精品粉嫩美女一区| 搡老熟女国产l中国老女人| 大型av网站在线播放| 精品少妇一区二区三区视频日本电影| 久久九九热精品免费| 国产深夜福利视频在线观看| 亚洲精品乱久久久久久| 一a级毛片在线观看| 国产高清国产精品国产三级| 久久久久久人人人人人| 日韩一卡2卡3卡4卡2021年| 一级a爱片免费观看的视频| 成人18禁在线播放| 欧美黑人欧美精品刺激| 99精品在免费线老司机午夜| 大陆偷拍与自拍| 亚洲一区中文字幕在线| 超色免费av| 中文字幕制服av| 久久久久久亚洲精品国产蜜桃av| 久久狼人影院| 国产在线精品亚洲第一网站| 久久香蕉国产精品| 欧美乱色亚洲激情| av超薄肉色丝袜交足视频| 超碰97精品在线观看| 在线观看日韩欧美| 亚洲国产毛片av蜜桃av| 法律面前人人平等表现在哪些方面| 精品国产美女av久久久久小说| 中文字幕最新亚洲高清| 黄色女人牲交| 日韩欧美在线二视频 | 亚洲精品乱久久久久久| 一a级毛片在线观看| 黄片播放在线免费|