• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    SUSE Linux 11高可用群集安裝配置指南

    2020-11-11 09:12:10河北王春海
    網(wǎng)絡(luò)安全和信息化 2020年10期
    關(guān)鍵詞:群集網(wǎng)卡IP地址

    ■ 河北 王春海

    編者按:高可用群集HA(High Available)是保證業(yè)務(wù)系統(tǒng)連續(xù)性的有效解決方案。關(guān)于Windows操作系統(tǒng)配置高可用群集的資料較多,SUSE Linux配置群集的資料較小。本文通過(guò)一個(gè)具體的案例,比較詳細(xì)的介紹了基于SUSE Linux配置高可用群集的方法和步驟。

    要配置高可用群集,一般配置2臺(tái)物理主機(jī)加1臺(tái)共享存儲(chǔ),系統(tǒng)運(yùn)行在物理主機(jī)上,數(shù)據(jù)保存在共享存儲(chǔ)上。在主機(jī)上運(yùn)行相同的操作系統(tǒng)及應(yīng)用程序,其中有1臺(tái)主機(jī)的應(yīng)用程序是活動(dòng)節(jié)點(diǎn)?;顒?dòng)節(jié)點(diǎn)連接管理共享存儲(chǔ),另1臺(tái)主機(jī)的應(yīng)用程序是備用節(jié)點(diǎn)(備用節(jié)點(diǎn)暫時(shí)不管理共享存儲(chǔ))。如果活動(dòng)節(jié)點(diǎn)的主機(jī)出現(xiàn)問(wèn)題,備用節(jié)點(diǎn)的應(yīng)用程序會(huì)接管共享存儲(chǔ)并接管應(yīng)用。這種情況要求實(shí)現(xiàn)了業(yè)務(wù)的連續(xù)性,在群集節(jié)點(diǎn)切換期間,業(yè)務(wù)不中斷或短暫中斷。

    客戶(hù)需求介紹

    最近在一個(gè)項(xiàng)目中,客戶(hù)需要使用SUSE Linux For SAP 11 SP4版本的操作系統(tǒng)配置HA的環(huán)境。

    用于HA的主機(jī)配置了2臺(tái)高配置的DELL R740XA的服務(wù)器、1臺(tái)華為OceanStor 5310F V5的全閃存存儲(chǔ)。每臺(tái)主機(jī)配置了1.5 TB內(nèi)存、2個(gè)Intel Gold 6230的CPU、1塊DELL BOSS卡(配置了2塊240 GB的M.2 SSD做RAID-1并安裝SUSE Linux For SAP 11 SP4操作系統(tǒng))。2臺(tái)主機(jī)分別使用2端口16 GB FC HBA卡連接到光纖存儲(chǔ)交換機(jī),再連接到華為5310F存儲(chǔ)。

    HA的項(xiàng)目要求2個(gè)資源包(sypascs、sypdb),需要兩個(gè)浮動(dòng)IP和虛擬主機(jī)名(eccci、eccdb)。具體如下:

    1.卷組1:ascsvg,劃分文件系統(tǒng)/usr/sap/SYP/ASCS 00,用于部署SAP ASCS服務(wù),大小5 TB。

    2.卷組2:db vg,用于存放Db2數(shù)據(jù)庫(kù)相關(guān)數(shù)據(jù)文件及其運(yùn)行日志,主要包含/db 2/SYP/下的相關(guān)目錄和文件系統(tǒng),大小10 GB。

    3.NFS共享文件系統(tǒng):采用NAS文件系統(tǒng),大小60 GB。

    卷組1、卷組2需要2個(gè)LUN,在本次項(xiàng)目中,配置一個(gè)100 MB大小的共享磁盤(pán)用于HA。一共3個(gè)LUN。在華為OceanStor 5310F V5劃分了3個(gè)LUN分配給這2臺(tái)服務(wù)器。這3個(gè)LUN大小分別為100 MB、5 TB、10 GB。

    其中LUN01(100 MB)用于仲裁或見(jiàn)證,LUN02(5 TB)與LUN04(10 GB)用于共享數(shù)據(jù)磁盤(pán)。

    在華為OceanStor 5310F V5劃分了2個(gè)文件系統(tǒng),大小分別為10 GB、50 GB,用于NAS文件系統(tǒng),采用NFS共享文件。

    在本項(xiàng)目中,2臺(tái)主機(jī)的IP地址分別是172.16.68.221與172.16.68.222。配置的2個(gè)Virtual IP分別為172.16.68.168與172.16.68.170。共享文件系統(tǒng)指定給這4個(gè)IP地址使用。其他IP地址無(wú)法訪問(wèn)。

    要求2臺(tái)主機(jī)使用SUSE HA進(jìn)行配置。創(chuàng)建2個(gè)資源組,其中第1個(gè)資源組分配1個(gè)Virtual IP(本示例為172.16.68.168),同時(shí)加載10 GB的LUN04,這個(gè)資源組默認(rèn)在節(jié)點(diǎn)1加載;第2個(gè)資源組分別1個(gè)Virtual IP(本示例中為172.16.68.170)并加載5 TB的LUN02,這個(gè)資源組默認(rèn)在節(jié)點(diǎn)2加載。同一時(shí)間只能有1臺(tái)主機(jī)掛載共享盤(pán),如果其中1臺(tái)主機(jī)故障,另1臺(tái)主機(jī)馬上接管并掛載共享磁盤(pán)。項(xiàng)目最終配置完成后,執(zhí)行“crm status”命令,如圖1所示。

    說(shuō)明:對(duì)于大多數(shù)只熟悉Windows操作系統(tǒng)和Windows群集的系統(tǒng)管理員來(lái)說(shuō),只要你了解Linux、掌握一些Linux的基本命令,就能參考本文完成配置。

    圖1 查看資源狀態(tài)

    下面介紹配置的主要流程、步驟,安裝配置中出現(xiàn)的問(wèn)題及解決方法進(jìn)行整理,希望對(duì)有同樣需求的朋友有所幫助。

    安裝FC HBA卡驅(qū)動(dòng)與多路徑軟件

    本次項(xiàng)目中用到的SUSE Linux For SPA 11 SP4的安裝鏡像,可以登錄其官網(wǎng)下載,鏈接地址為:https://www.suse.com/zh-cn/download-linux。

    實(shí)際使用中只需要下載SLE-11-SP4-SAP-DVD-x86_64-GM-DVD1.iso、SLE-HA-11-SP4-x86_64-GM-CD1.iso這兩個(gè)文件即可。關(guān)于SUSE Linux 11的安裝本文不做過(guò)多介紹。

    在服務(wù)器上安裝SUSE Linux 11 SP4操作系統(tǒng)之后,需要安裝FC HBA卡驅(qū)動(dòng)及多路徑軟件。可以使用SUSE Linux操作系統(tǒng)自帶的多路徑軟件,也可以使用廠商提供的多路徑軟件。

    本示例中安裝華為提供的多路徑軟件。當(dāng)前2臺(tái)DELL R740XD配置的FC HBA卡是Emulex LPE 31002雙端口16 Gb光纖通道 HBA。在SUSE 11中不包含該HBA卡的驅(qū)動(dòng),需要單獨(dú)下載安裝。DELL提供的驅(qū)動(dòng)程序下載地址為:

    https://docs.broadcom.com/docs-and-downloads/oem/support/elx/rt11.4.1/11.4.142.23/elx-lpfc-ddsles11sp-11.4.142.21-1.tar.gz

    下載驅(qū)動(dòng)程序之后,解壓縮展開(kāi),然后使用SFTP上傳到Linux主機(jī)的/tmp文件夾進(jìn)行安裝。主要步驟如下(如圖2所示)。

    chmod +x elx_lpfc_install.sh

    ./elx_lpfc_install.sh

    安裝FC HBA卡驅(qū)動(dòng)之后,可以執(zhí)行“fidsk -l”就可以顯示出存儲(chǔ)分配給當(dāng)前主機(jī)的LUN。但對(duì)于同一個(gè)LUN會(huì)顯示為多個(gè)相同的磁盤(pán),這需要啟用多路徑。因?yàn)楫?dāng)前使用的是華為存儲(chǔ),華為提供了多路徑軟件。

    (1)拷貝華為多路徑軟件到SUSE Linux的/tmp文件夾??梢允褂肧FTP軟件將多路徑軟件上傳到Linux主機(jī)的/tmp文件夾。

    (2)進(jìn)入驅(qū)動(dòng)程序文件夾,使用chmod命令為安裝程序添加運(yùn)行權(quán)限。

    chmod +x install.sh

    (3)執(zhí)行安裝

    eccprd2:/tmp/SLES #./install.sh

    (4)選擇從本地引導(dǎo)。在出現(xiàn)以下提示是輸入1并按回車(chē)鍵。

    圖2 安裝FC HBA卡驅(qū)動(dòng)

    If the operating sys tem is installed on a lo cal drive of the server,you are advised

    to choose boot from local;if the operating system is installed on a SAN storage

    system,you must choo se boot from san.Please choose the boot type of your system:

    <1>--boot-from-Local

    <2>--boot-from-SAN

    please input your select:1

    (5)安裝完成后重新引導(dǎo)系統(tǒng)

    The install ation is com plete.Whether to restart the system now?

    :y

    配置網(wǎng)絡(luò)與host name文件

    用于HA的2臺(tái)主機(jī),每臺(tái)主機(jī)配置了1塊4端口10 Gbit/s網(wǎng)卡,集成4端口1 Gbit/s網(wǎng)卡。本項(xiàng)目中使用配置10 Gbit/s網(wǎng)卡用于業(yè)務(wù)通訊(配置172.16.68.0網(wǎng)段),1 Gbit/s網(wǎng)卡用于群集心跳(規(guī)劃使用192.168.68.0網(wǎng)段)。本項(xiàng)目中主機(jī)名、IP地址規(guī)劃如表1所列。

    下面以第1臺(tái)主機(jī)的設(shè)置為例。另一臺(tái)主機(jī)設(shè)置與此類(lèi)似。在本項(xiàng)目中,172.16.68.0網(wǎng)段的網(wǎng)關(guān)地址為172.16.68.8,DNS為172.16.5.11。

    表1 主機(jī)表與IP地址規(guī)劃表

    1.在“Yast”中單擊“Network Sett ings”,在網(wǎng)絡(luò)設(shè)置的“Routing”選項(xiàng)中添加網(wǎng)關(guān)地址,本示例中172.16.68.0/24的網(wǎng)關(guān)地址為172.16.68.8。

    2.在“Hostname/DNS”選項(xiàng)卡中,設(shè)置主機(jī)名稱(chēng)為eccprd1,在Name Ser ver中設(shè)置DNS服務(wù)器的IP地址,本示例中DNS服務(wù)器的IP地址為172.16.5.11。

    3.選中第一塊網(wǎng)卡(用于對(duì)外提供服務(wù)的網(wǎng)卡),單擊“Edit”按鈕,設(shè)置IP地址為172.16.68.221,設(shè)置Hostname為eccprd1。

    4.選中用于群集心跳的網(wǎng)卡,單擊“Edit”按鈕,設(shè)置IP地址為192.168.68.221,設(shè)置Hostname為eccprd1-lan。

    5.在當(dāng)前實(shí)驗(yàn)環(huán)境中,第三塊網(wǎng)卡用于連接iSCSI共享存儲(chǔ),設(shè)置這塊網(wǎng)卡的IP地址為192.168.0.221。在實(shí)際的生產(chǎn)環(huán)境中,服務(wù)器通過(guò)16G FC HBA卡連接到存儲(chǔ)。

    圖3 編輯主機(jī)hostname文件

    對(duì)于群集中另一臺(tái)主機(jī)與此設(shè)置相類(lèi)似,只是服務(wù)器的IP地址設(shè)置為172.16.68.222,群集心跳網(wǎng)絡(luò)地址設(shè)置為192.168.68.222,對(duì)應(yīng)的名稱(chēng)分別是eccprd2、eccprd2-lan。

    設(shè)置連接iSCSI存儲(chǔ)的網(wǎng)卡的IP地址為192.168.0.222。在群集中每臺(tái)主機(jī)編輯hostname文件,添加主機(jī)名對(duì)IP地址的解析。

    在Yast中單擊hostname,將2臺(tái)群集主機(jī)hostname添加到另一臺(tái)主機(jī)名稱(chēng)的解析,編輯之后如圖3所示。

    172.16.68.221 eccprd1 eccprd1

    172.16.68.222 eccprd2 eccprd2

    192.168.68.221 eccprd1-lan eccprd1-lan

    192.168.68.222 eccprd2-lan eccprd2-lan

    SSH免密碼互聯(lián)服務(wù)配置

    HA集群的兩臺(tái)HANA服務(wù)器的需要配置SSH免密碼互聯(lián)服務(wù),執(zhí)行過(guò)程如下。

    生成認(rèn)證公鑰:

    登錄主節(jié)點(diǎn)分別執(zhí)行命令“ssh-key gen -t rsa”“sshkeygen -t dsa”生成公鑰。

    在主節(jié)點(diǎn)依次執(zhí)行下面命令復(fù)制公鑰到對(duì)方節(jié)點(diǎn)。提示輸入節(jié)點(diǎn)密碼時(shí)輸入root用戶(hù)密碼。其他直接按回車(chē)鍵。

    ssh-keygen -t rsa

    ssh-keygen -t dsa

    ssh eccprd1 "echo $(cat/root/.ssh/id_dsa.pub) >>/root/.ssh/authorized_keys"

    ssh eccprd2 "echo $(cat/root/.ssh/id_dsa.pub) >>/root/.ssh/authorized_keys"

    ssh eccprd1 "echo $(cat/root/.ssh/id_rsa.pub) >>/root/.ssh/authorized_keys"

    ssh eccprd2 "echo $(cat/root/.ssh/id_rsa.pub) >>/root/.ssh/authorized_keys"

    登錄服務(wù)器節(jié)點(diǎn)2,參考服務(wù)器節(jié)點(diǎn)1的方法,依次執(zhí)行下面命令復(fù)制公鑰到對(duì)方節(jié)點(diǎn):

    ssh eccprd1 "echo $(cat/root/.ssh/id_dsa.pub) >>/root/.ssh/authorized_keys"

    ssh eccprd2 "echo $(cat/root/.ssh/id_dsa.pub) >>/root/.ssh/authorized_keys"

    ssh eccprd1 "echo $(cat/root/.ssh/id_rsa.pub) >>/root/.ssh/authorized_keys"

    ssh eccprd2 "echo $(cat/root/.ssh/id_rsa.pub) >>/root/.ssh/authorized_keys"

    在配置完成后,登錄服務(wù)器節(jié)點(diǎn)1,運(yùn)行ssh eccprd2,可以直接登錄到節(jié)點(diǎn)2,不需要輸入密碼。在另一臺(tái)計(jì)算機(jī)上運(yùn)行ssh eccprd1可以直接登錄到節(jié)點(diǎn)1,表示配置正確。

    安裝Suse 11 SP4 Cluster組件

    加載或拷貝SLE-HA-11-SP4-x86_64-GM-CD1.iso安裝鏡像,安裝SUSE HA軟件。主要步驟和過(guò)程如下。

    1.在Yast中單擊“Addon Products”,在“Installed Add-on Products”,單擊“Add”按鈕。

    2.在 “Media Type”按鈕中單擊選擇加載安裝包的方式,可以指定URL、FTP、HTTP、SMB、NFS路徑,也可以加載SLE-HA-11-SP4-x86_64-GM-CD1.iso安裝。

    3.在“License Agreeme nt”中單擊“Yes,I Agree to the License Agreement”,接受許可協(xié)議。

    4.在“Software Selectio n and System Tasks”中確認(rèn)“High Availability”已經(jīng)選中。然后單擊“OK”按鈕開(kāi)始安裝。

    5.安裝完成之后,重新啟動(dòng)啟動(dòng)計(jì)算機(jī)。群集中的每一臺(tái)計(jì)算機(jī)都要安裝HA組件,安裝完成之后重新啟動(dòng)計(jì)算機(jī)。再次進(jìn)入系統(tǒng)之后,在Yast中可以看到“Cluster”和“Pacemaker GUI”程序組件。

    在安裝HA之后,修改hac luster用戶(hù)密碼。打開(kāi)終端界面,執(zhí)行:

    passwd hacluster

    然后為群集帳戶(hù)haclu ster設(shè)置密碼。一般直接設(shè)置與root用戶(hù)的密碼一樣。

    在配置與使用SUSE 11的時(shí)候,為了簡(jiǎn)化配置,一般建議關(guān)閉關(guān)閉系統(tǒng)默認(rèn)的防火墻,并且讓系統(tǒng)重新啟動(dòng)后不加載防火墻。主要步驟和過(guò)程如下。

    (1)在Yast中單擊Fire wall,在“Firewall Confi guration:Start-UP”對(duì)話(huà)框中選擇“Disable Firewall Automatic Starting”,并單擊“Stop Firewall Now”按鈕以停止防火墻服務(wù),然后單擊“Next”按鈕并完成設(shè)置。

    (2)在“Firewall star ting”對(duì)話(huà)框中單擊“Fini sh”按鈕,完成配置。

    為節(jié)點(diǎn)添加iSCSI存儲(chǔ)并進(jìn)行磁盤(pán)分區(qū)

    在生產(chǎn)環(huán)境中采用的是FC連接的共享存儲(chǔ)。這一步實(shí)驗(yàn)抓圖采用的是iSCSI共享存儲(chǔ)。在本示例中,使用iSCSI服務(wù)器為群集中的2個(gè)節(jié)點(diǎn)提供共享磁盤(pán)服務(wù)。首先為主節(jié)點(diǎn)添加iSCSI服務(wù)器分配的LUN磁盤(pán)。

    1.在節(jié)點(diǎn)1的服務(wù)器上的“Yast”中單擊“iSCSI Initiator”,在“iSCSI Init iator Overview”對(duì)話(huà)框中的“Service”選項(xiàng)卡中,單擊選中“When Booting”讓iSCSI客戶(hù)端在系統(tǒng)啟動(dòng)時(shí)開(kāi)始服務(wù)。

    2.在“Connected Targets”選項(xiàng)卡中單擊“Add”按鈕,添加iSCSI服務(wù)器的地址,本示例為192.168.0.110,添加之后設(shè)置系統(tǒng)啟動(dòng)時(shí)自動(dòng)連接。

    在配置群集完成之前,建議只有一臺(tái)主機(jī)連接到共享存儲(chǔ)。如果要在節(jié)點(diǎn)1主機(jī)上進(jìn)行配置,可以暫時(shí)把節(jié)點(diǎn)2主機(jī)連接到存儲(chǔ)的光纖拔下。等群集配置完成之后再插上光纖并連接存儲(chǔ)。在當(dāng)前項(xiàng)目中,主機(jī)連接到存儲(chǔ)的3個(gè)LUN,其中100 MB的LUN不需要配置,5 TB與10 GB的LUN根據(jù)項(xiàng)目要求創(chuàng)建卷組并創(chuàng)建邏輯卷。創(chuàng)建完成后的如圖4所示。

    使用sleha-init配置群集

    在準(zhǔn)備用做主節(jié)點(diǎn)的服務(wù)器中,執(zhí)行“sleha-init”命令初始化主節(jié)點(diǎn),主要步驟如下。

    在本示例中,設(shè)置IP地址為172.16.68.221、主機(jī)名稱(chēng)為eccprd1為節(jié)點(diǎn)1,IP地址為172.16.68.222、主機(jī)名稱(chēng)為eccprd2的為節(jié)點(diǎn)2。

    在節(jié)點(diǎn)1主機(jī)上運(yùn)行Suse 11 Cluster命令進(jìn)行集群的初始化。

    圖4 5TB共享磁盤(pán)劃分情況

    1.以root用戶(hù)登錄服務(wù)器節(jié)點(diǎn)1(配置為主節(jié)點(diǎn)),執(zhí)行命令“sleha-init”,進(jìn)行初始化。執(zhí)行過(guò)程中根據(jù)提示選擇。

    2.出現(xiàn)提示“/root/.ssh/id_rsa already exists-overwrite? [y/N]”時(shí),選擇輸入“N”,不覆蓋id_rsa。

    3.如果該服務(wù)器之前做過(guò)配置,當(dāng)出現(xiàn)提示“csync2 is already configured -overwrite? [y/N]”時(shí),選擇輸入“Y”,覆蓋原有配置。

    4.Configure Corosync。當(dāng)提示“Network address to bind to(e.g.:192.168.1.0)”時(shí),請(qǐng)輸入集群的通信網(wǎng)絡(luò),即選擇服務(wù)器操作系統(tǒng)的維護(hù)網(wǎng)段,當(dāng)前示例為192.168.68.0(不需要輸入具體的IP地址,只需要輸入子網(wǎng)地址)。

    5.Multicast address(e.g.:239.x.x.x)默認(rèn)不變,按Enter。

    6.當(dāng)提示:Mult icast port [5405]默認(rèn)不變,按Enter。

    7.Configure SBD:使用SBD模式,輸入Y。然后配置SBD。

    在生產(chǎn)環(huán)境中,使用LUN 01的100 MB共享磁盤(pán)用做SBD。在當(dāng)前環(huán)境的2臺(tái)群集主機(jī)中,主機(jī)本地硬盤(pán)為sda,LUN01、LUN02、LUN03、LUN04加載的共享磁盤(pán)依次為sdb、sdc、sde。

    說(shuō)明:在配置存儲(chǔ)的時(shí)候多劃了一個(gè)LUN03,在后期從主機(jī)映射中移除了LUN03這個(gè)共享磁盤(pán)。

    再次打開(kāi)一個(gè)終端窗口,執(zhí)行“l(fā)s -l/dev/disk/byid/”命令,搜索查看sdb設(shè)備名稱(chēng),該設(shè)備名稱(chēng)以scsi -3開(kāi)頭。本示例中該名稱(chēng)為scsi-36446747100ee045300 0957e400000000。復(fù)制該設(shè)備名稱(chēng),切換到sleha-init窗口,在Path to storage device(e.g./dev/disk/byid/...) []后面輸入:

    /dev/disk/by-id/scsi-36446747100ee045300095 7e400000000

    之后按Enter,在Are you sure you wish to use this device [y/N]后面輸入y,然后按Enter完成初始化。

    配置完成后,登錄https://172.16.68.221,可以看到STONITH已啟用。也可以執(zhí)行“crm_mon”,可以看到名為stonith-sbd的資源已經(jīng)啟動(dòng)。

    在集群服務(wù)器備節(jié)點(diǎn)上,運(yùn)行sleha-join命令將其他節(jié)點(diǎn)加入現(xiàn)有的集群中。

    (1)以root用戶(hù)登錄集群主節(jié)點(diǎn),將主節(jié)點(diǎn)配置文件復(fù)制到備節(jié)點(diǎn)。命令如下。在本示例中,eccprd1為主節(jié)點(diǎn),eccprd2為備節(jié)點(diǎn)。

    scp/etc/csync2/csync2.cfg root@eccprd2:/etc/csync2

    scp/etc/csync2/key_hagroup root@eccprd2:/etc/csync2

    scp/etc/corosync/authkey root@eccprd2:/etc/corosync/

    scp/etc/corosync/coros ync.conf root@eccprd2:/etc/corosync/

    (2)以root用戶(hù)登錄集群備節(jié)點(diǎn),運(yùn)行命令“slehajoin”。

    (3)當(dāng)出現(xiàn)提示“IP add ress or hostname of exist ing node”時(shí),輸入主節(jié)點(diǎn)的OS管理的IP地址。本示例中為172.16.68.221。

    (4)Enable sshd servi ce:當(dāng)出現(xiàn)提示“/root/.ssh/id_rsa already exists -overwrite? [y/N]”時(shí),輸入“N”,然后“Enter”,選擇不覆蓋;等待加入完成。

    加入群集之后,執(zhí)行crm_mon,會(huì)顯示當(dāng)前有2個(gè)節(jié)點(diǎn)在線(xiàn),一個(gè)stonith資源已經(jīng)啟動(dòng)。

    如果提示安裝失敗:“WARNING:csync2 of/etc/csync2/csync2.cfg failed WARNING:csync2 of/etc/csync2/csync2.cfg failed--file may not be in sync file may not be in sync on all nodeson all nodes;”,則需要在主節(jié)點(diǎn)運(yùn)行命令將主節(jié)點(diǎn)的配置文件復(fù)制到備節(jié)點(diǎn)。

    這包括csync2.cfg等文件,然后重新執(zhí)行命令行命令slehasleha—join join加入現(xiàn)有群集。在執(zhí)行命令前停止備節(jié)點(diǎn)的群集服務(wù)。

    使用Pacemaker GUI配置資源

    在群集中任意一個(gè)節(jié)點(diǎn)中運(yùn)行Pacemaker GUI配置資源。在配置的時(shí)候,建議將另一個(gè)節(jié)點(diǎn)主機(jī)關(guān)機(jī),等群集資源配置完成后再打開(kāi)另一個(gè)節(jié)點(diǎn)并讓節(jié)點(diǎn)聯(lián)機(jī)。

    1.在“YaST Control Center”單擊Pacemaker GUI,在Pacemaker GUI中單擊Co nnection,在彈出的Login對(duì)話(huà)框中,輸入用戶(hù)名hac luster及密碼,單擊“OK”按鈕登錄。

    2.在CRM Config中,在“No Quorum Policy”下拉列表中選擇ignore。然后單擊“Apply”按鈕。

    3.在“Resources”中當(dāng)前只有“stonith-sbd”的一個(gè)資源。下面添加一個(gè)資源組,在該資源組中添加一個(gè)Virtual IP,同時(shí)加載一個(gè)邏輯卷及加載一個(gè)文件系統(tǒng)。

    (1)左側(cè)單擊Resources,在右側(cè)單擊“Add”按鈕,在彈出的對(duì)話(huà)框中選擇Group,然后單擊“OK”按鈕。

    (2)在“Add Group”對(duì)話(huà)框中“ID”文本框中輸入新添加的資源組的名稱(chēng),本示例中為g_SAP,然后單擊“Forward”按鈕。

    (3)在“Add Group -Add Sub-resource For ‘g_SAP’”中默認(rèn)為Primitive,單擊“OK”按鈕。

    (4)在“Add Primitive -Basic Settings”中,在 “ID”文本框中輸入子資源名稱(chēng),本示例中為r_sappap_vip,在“Class”下拉列表中選擇ocf,在“Provider”下拉列表中選擇heartbeat,在“Type”下拉列表中選擇IPaddr2,然后單擊“Forward”按鈕。

    (5)在“instance Attribut es”選項(xiàng)卡中選中IP,然后單擊“Edit”按鈕,在“Value”中輸入Virtual IP地址,本示例中為172.16.68.168,然后單擊“OK”按鈕。

    注意,新添加的虛擬IP地址應(yīng)該是當(dāng)前網(wǎng)段中未分配未使用的。

    (6)返回到“Add Primiti ve -Summary of ‘r_sapap_vip’”對(duì)話(huà)框,單擊“Apply”按鈕。

    (7)返回“Add Group -Add Sub-resource For ‘g_SAP’”對(duì)話(huà)框,如果要繼續(xù)添加資源,應(yīng)單擊“OK”按鈕。如果添加資源完成,單擊“Cancel”按鈕。本示例中繼續(xù)添加子資源。

    (8)在“Add Primitive”對(duì)話(huà)框中的“ID”文本框中輸入新添加的子資源名稱(chēng),本示例為r_ascsvg,在“Class”下拉列表中選擇ocf,然后在“Provider”下拉列表中選擇heartbeat,在“Type”下拉列表中選擇LVM。

    (9)在“instance Attri butes”選項(xiàng)卡中選中volgrp name,然后單擊“Edit”按鈕,在“Edit Nvpair”的Value中輸入要加載的卷組的名稱(chēng),本示例為ascsvg,單擊“OK”按鈕。

    (10)返回到“Add Primi tive”對(duì)話(huà)框,單擊“Apply”按鈕,返回“Add Group -Add Sub-resource For ‘g_SAP’”對(duì)話(huà)框,如果要繼續(xù)添加資源,應(yīng)單擊“OK”按鈕。如果添加資源完成,單擊“Cancel”按鈕。本示例中繼續(xù)添加子資源。

    (11)在“Add Primitive”對(duì)話(huà)框中的“ID”文本框中輸入新添加的子資源名稱(chēng),本示例為r_sap_ascs00,在“Class”下拉列表中選擇ocf,在“Provider”下拉列表中選擇heartbeat,在“Type”下拉列表中選擇Filesystem。然后單擊“Forward”按鈕。

    (12)在“Add Primitive-Summary Of ‘r_sap_asc s00’”對(duì)話(huà)框中,在添加文件系統(tǒng)時(shí),需要添加設(shè)備名稱(chēng)、要加載到的目錄、加載的文件屬性。

    在YaST2中執(zhí)行Partit ioner程序,查看創(chuàng)建的名為ascsvg卷組屬性,本示例中卷組名稱(chēng)為ascsvg,要加載的邏輯卷的名稱(chēng)為ascs00,其Device(設(shè)備名稱(chēng))為/dev/ascsvg/ascs00。

    選擇Device,然后單擊“Edit”按鈕,在彈出的“Edit Nvpair”對(duì)話(huà)框的“Value”中輸入要加載的文件系統(tǒng)的設(shè)備,名稱(chēng)為/dev/ascsvg/ascs00,然后單擊“OK”按鈕。

    這個(gè)設(shè)備要加載到本地的一個(gè)目錄中,本示例中將其加載到/usr/sap/SYP/ascs00目錄中。在此需要?jiǎng)?chuàng)建/usr/sap/SYP目錄。選中directory,然后單擊“Edit”按鈕,在彈出的“Edit Nvpair”對(duì)話(huà)框的Value中輸入要加載的位置,本示例中為/usr/sap/SYP/ascs00。然后單擊“OK”按鈕。

    選中fstype然后單擊Edit按鈕,在彈出的“Edit Nvpair”對(duì)話(huà)框的Value中輸入文件系統(tǒng)屬性,本示例為ext3。添加的文件系統(tǒng)資源完成后,單擊“Apply”按鈕。

    (13)返回“Add Group-Add Sub-resource For‘g_SAP’”對(duì)話(huà)框,如果要繼續(xù)添加資源,應(yīng)單擊“OK”按鈕。如果添加資源完成,單擊“Cancel”按鈕。本示例已經(jīng)添加完所需資源,單擊“Cancel”按鈕。

    (14)返回“Add Group”對(duì)話(huà)框,本示例中添加一個(gè)Virtual IP地址,加載一個(gè)LVM,加載一個(gè)文件系統(tǒng)。單擊“Apply”按鈕,添加資源組完成。

    (15)返回Pacemaker GUI對(duì)話(huà)框,在“Resources→Group”中可以看到創(chuàng)建的資源組。

    當(dāng)前的資源組還沒(méi)有運(yùn)行。在“Management”中用鼠標(biāo)右鍵單擊資源組的名稱(chēng)g_SAP,在彈出的快捷菜單中選擇Start啟動(dòng)資源組,如果配置正確,資源組啟動(dòng)成功。此時(shí)資源組在節(jié)點(diǎn)1上加載。

    如果群集中2個(gè)節(jié)點(diǎn)全部啟動(dòng),有可能在啟動(dòng)帶有文件系統(tǒng)的資源組時(shí),2臺(tái)服務(wù)器會(huì)立刻重啟。筆者分析,可能是這2個(gè)節(jié)點(diǎn)全部加載了同一個(gè)邏輯卷造成系統(tǒng)沖突引起的。如果出現(xiàn)這一情況,應(yīng)暫時(shí)關(guān)閉一臺(tái)節(jié)點(diǎn)主機(jī),只讓1個(gè)節(jié)點(diǎn)加載文件系統(tǒng),等加載成功之后再啟動(dòng)另一個(gè)節(jié)點(diǎn)即可。

    (16)參照上面的示例,添加第2個(gè)資源組。資源組的名稱(chēng)為g_sypdb,Virtual IP地址為172.16.68.170,加載的卷組為dbvg,加載的邏輯卷分別為SYP、log_dir、sapdata1、sapdata2、sapdata3、sapdata4等邏輯卷。

    (17)配置好第2個(gè)資源組。

    用戶(hù)要求當(dāng)群集中主機(jī)開(kāi)機(jī)后,默認(rèn)的資源組g_SAP在節(jié)點(diǎn)1主機(jī)上加載,g_sypdb在節(jié)點(diǎn)2主機(jī)上加載。如果其中的一個(gè)節(jié)點(diǎn)主機(jī)故障,則資源組會(huì)自動(dòng)在存活主機(jī)自動(dòng)加載。為資源指定群集節(jié)點(diǎn)的操作步驟如下。

    ①資源組g_sypdb在節(jié)點(diǎn)1上加載,用鼠標(biāo)右鍵單擊資源組名稱(chēng)g_sypdb,在彈出的快捷菜單中選擇“Mi grate Resource”。

    ②在“Migrate Resource”對(duì)話(huà)框中,在“To Node”下拉列表中選擇另一個(gè)節(jié)點(diǎn)名稱(chēng)eccprd2,單擊“OK”按鈕。

    ③在資源組切換過(guò)程中,Cluster會(huì)暫時(shí)先停止資源組中的資源,然后再在指定的節(jié)點(diǎn)啟動(dòng)。等資源切換完成后,指定的資源組(默認(rèn))在節(jié)點(diǎn)2運(yùn)行。

    ④參考前面步驟,將g_sypascs資源組(實(shí)驗(yàn)環(huán)境中對(duì)應(yīng)的資源組名稱(chēng)為g_SAP,生產(chǎn)環(huán)境中對(duì)應(yīng)的資源組名稱(chēng)為g_sypascs)遷移到節(jié)點(diǎn)1。

    ⑤在“Constraints(約束條件)”中可以看到,在默認(rèn)情況下,g_sypascs資源組在節(jié)點(diǎn)1(主機(jī)名稱(chēng)為eccprd1),g_sypdb資源組在節(jié)點(diǎn)2(主機(jī)名稱(chēng)為eccprd2)。

    ⑥打開(kāi)終端桌面,執(zhí)行crm status查看Cluster狀態(tài)。

    常見(jiàn)故障解決

    1.如果配置資源的過(guò)程中,服務(wù)器突然退出圖形界面,返回到到命令行界面并報(bào)如下錯(cuò)誤:

    Failed to connect to socket/var/run/dbus/syste m_bus_socket:No such file or directory

    按ALT F1或F2,切換到另一個(gè)窗口,使用root帳戶(hù)登錄,執(zhí)行/etc/init.d/dbus start啟動(dòng)服務(wù)后,服務(wù)器會(huì)再次進(jìn)入圖形界面。

    2.兩臺(tái)服務(wù)器交替重新啟動(dòng)。

    當(dāng)兩臺(tái)群集的心跳線(xiàn)斷開(kāi)后就會(huì)出現(xiàn)這種情況,應(yīng)檢查2臺(tái)服務(wù)器用于心跳的網(wǎng)線(xiàn)。

    猜你喜歡
    群集網(wǎng)卡IP地址
    在DDS 中間件上實(shí)現(xiàn)雙冗余網(wǎng)卡切換的方法
    Cecilia Chiang, pioneer of Chinese cuisine
    鐵路遠(yuǎn)動(dòng)系統(tǒng)幾種組網(wǎng)方式IP地址的申請(qǐng)和設(shè)置
    Server 2016網(wǎng)卡組合模式
    基于SNMP的IP地址管理系統(tǒng)開(kāi)發(fā)與應(yīng)用
    黑龍江電力(2017年1期)2017-05-17 04:25:16
    基于自組織結(jié)對(duì)行為的群集機(jī)器人分群控制方法
    淺談ODX與動(dòng)態(tài)群集
    挑戰(zhàn)Killer網(wǎng)卡Realtek網(wǎng)游專(zhuān)用Dragon網(wǎng)卡
    Windows下計(jì)算機(jī)群集技術(shù)的實(shí)現(xiàn)
    巧識(shí)劣質(zhì)水晶頭
    亚洲国产精品久久男人天堂| 色噜噜av男人的天堂激情| 色综合亚洲欧美另类图片| 哪里可以看免费的av片| 日韩欧美免费精品| 久久久色成人| 国内久久婷婷六月综合欲色啪| 中文字幕高清在线视频| 国产一级毛片七仙女欲春2| ponron亚洲| 香蕉av资源在线| 国产成人福利小说| 高清毛片免费观看视频网站| 日韩欧美国产在线观看| 成人永久免费在线观看视频| 午夜视频精品福利| 欧美在线黄色| 欧美成人性av电影在线观看| aaaaa片日本免费| 午夜久久久久精精品| 天天一区二区日本电影三级| 国产精品影院久久| 亚洲熟妇熟女久久| 丝袜人妻中文字幕| 日本一本二区三区精品| 国产精品一区二区精品视频观看| 成人国产综合亚洲| 国内揄拍国产精品人妻在线| 亚洲中文av在线| 天天躁日日操中文字幕| 国产麻豆成人av免费视频| 怎么达到女性高潮| 国产黄片美女视频| 18禁黄网站禁片免费观看直播| 视频区欧美日本亚洲| 欧美成人一区二区免费高清观看 | 欧美绝顶高潮抽搐喷水| 日韩欧美国产一区二区入口| 久久久久久久久久黄片| 国产黄色小视频在线观看| 三级毛片av免费| 亚洲精品乱码久久久v下载方式 | 欧美日本亚洲视频在线播放| 国产欧美日韩精品亚洲av| 岛国在线免费视频观看| 真实男女啪啪啪动态图| 精品不卡国产一区二区三区| 国产不卡一卡二| 亚洲欧美一区二区三区黑人| 成人av在线播放网站| 99热这里只有精品一区 | 国产不卡一卡二| 亚洲无线在线观看| 麻豆国产av国片精品| 真实男女啪啪啪动态图| 国产视频一区二区在线看| 亚洲美女黄片视频| 91久久精品国产一区二区成人 | 久久九九热精品免费| 欧美黄色淫秽网站| 一级毛片精品| 99久久久亚洲精品蜜臀av| 丰满的人妻完整版| 成人午夜高清在线视频| 免费看日本二区| 无限看片的www在线观看| 国产高清视频在线播放一区| 淫秽高清视频在线观看| 无人区码免费观看不卡| 国产欧美日韩精品一区二区| 欧美三级亚洲精品| 宅男免费午夜| 中国美女看黄片| 免费在线观看亚洲国产| www日本在线高清视频| 日韩精品青青久久久久久| 亚洲av免费在线观看| 国产精品久久久久久人妻精品电影| 99久久国产精品久久久| 久久人妻av系列| 熟女电影av网| 欧美午夜高清在线| 成人无遮挡网站| 高清在线国产一区| 国产精品乱码一区二三区的特点| 村上凉子中文字幕在线| 国产伦人伦偷精品视频| 在线观看日韩欧美| 欧美最黄视频在线播放免费| 国产亚洲精品久久久久久毛片| 18禁国产床啪视频网站| www.www免费av| 亚洲精品456在线播放app | 国产高清激情床上av| 99在线人妻在线中文字幕| 熟女人妻精品中文字幕| 夜夜躁狠狠躁天天躁| h日本视频在线播放| 精品人妻1区二区| 亚洲性夜色夜夜综合| 久久性视频一级片| 精品久久久久久成人av| 丰满人妻熟妇乱又伦精品不卡| 亚洲午夜理论影院| 老汉色∧v一级毛片| 18禁国产床啪视频网站| 免费在线观看亚洲国产| 中文资源天堂在线| 欧美日本亚洲视频在线播放| 久久精品91无色码中文字幕| 欧美极品一区二区三区四区| 两个人看的免费小视频| 亚洲精品在线观看二区| 女生性感内裤真人,穿戴方法视频| 狠狠狠狠99中文字幕| 法律面前人人平等表现在哪些方面| 无限看片的www在线观看| 亚洲精品在线观看二区| 成在线人永久免费视频| 午夜久久久久精精品| 制服人妻中文乱码| 精品国产超薄肉色丝袜足j| 国产主播在线观看一区二区| 中文字幕熟女人妻在线| 在线免费观看不下载黄p国产 | 好男人电影高清在线观看| 五月玫瑰六月丁香| 久久久国产成人免费| 亚洲在线观看片| 日韩中文字幕欧美一区二区| 九色成人免费人妻av| 亚洲欧美激情综合另类| 好看av亚洲va欧美ⅴa在| 97碰自拍视频| 日韩av在线大香蕉| 99久久综合精品五月天人人| 成年版毛片免费区| 亚洲国产精品sss在线观看| 国产精品久久久久久人妻精品电影| 99久国产av精品| 香蕉久久夜色| 欧美乱妇无乱码| 丰满人妻熟妇乱又伦精品不卡| 国产精品99久久久久久久久| 免费电影在线观看免费观看| 这个男人来自地球电影免费观看| 日本三级黄在线观看| 亚洲最大成人中文| 婷婷六月久久综合丁香| 99riav亚洲国产免费| 美女cb高潮喷水在线观看 | 精品国产美女av久久久久小说| 亚洲性夜色夜夜综合| 精品久久久久久成人av| 国产午夜精品论理片| 此物有八面人人有两片| 精品国产乱码久久久久久男人| 久久久国产成人精品二区| 国产av麻豆久久久久久久| 国产精品精品国产色婷婷| 精品一区二区三区视频在线 | 国产精品乱码一区二三区的特点| 少妇丰满av| 久久午夜亚洲精品久久| 真实男女啪啪啪动态图| 悠悠久久av| 中文字幕人成人乱码亚洲影| 18禁美女被吸乳视频| 精品一区二区三区视频在线 | 老司机福利观看| 小蜜桃在线观看免费完整版高清| 男女下面进入的视频免费午夜| 搡老妇女老女人老熟妇| 亚洲精品456在线播放app | 88av欧美| 女警被强在线播放| 三级男女做爰猛烈吃奶摸视频| 欧美av亚洲av综合av国产av| 亚洲av熟女| 在线播放国产精品三级| 全区人妻精品视频| 国产精品久久久人人做人人爽| av女优亚洲男人天堂 | 最近视频中文字幕2019在线8| 久久久国产成人免费| 国产 一区 欧美 日韩| 又黄又粗又硬又大视频| h日本视频在线播放| 天堂动漫精品| 老司机午夜十八禁免费视频| 成人高潮视频无遮挡免费网站| 婷婷精品国产亚洲av在线| 日本 欧美在线| 婷婷丁香在线五月| 国产人伦9x9x在线观看| 国产三级中文精品| 国产精品女同一区二区软件 | 亚洲人成网站高清观看| 亚洲乱码一区二区免费版| 制服丝袜大香蕉在线| 成年女人毛片免费观看观看9| 日韩欧美在线乱码| 波多野结衣高清作品| 国产欧美日韩一区二区精品| 国产精品亚洲美女久久久| 国产精品久久久久久精品电影| 成人无遮挡网站| xxx96com| 丁香欧美五月| 欧美成人一区二区免费高清观看 | 国产黄a三级三级三级人| 欧美色视频一区免费| 国产成人啪精品午夜网站| 国产精品 欧美亚洲| 好男人电影高清在线观看| 最近视频中文字幕2019在线8| 少妇的丰满在线观看| 精品国产超薄肉色丝袜足j| 哪里可以看免费的av片| 午夜激情福利司机影院| 亚洲成av人片在线播放无| 国产蜜桃级精品一区二区三区| 18禁裸乳无遮挡免费网站照片| av黄色大香蕉| 国产精品久久久av美女十八| 天天躁日日操中文字幕| 国内精品久久久久精免费| 欧美在线黄色| 后天国语完整版免费观看| 啦啦啦韩国在线观看视频| 亚洲国产看品久久| 亚洲色图 男人天堂 中文字幕| 丁香六月欧美| 国产野战对白在线观看| 亚洲黑人精品在线| 99热精品在线国产| 久久这里只有精品中国| 成人av在线播放网站| 亚洲成av人片在线播放无| 黄片小视频在线播放| 午夜精品久久久久久毛片777| 亚洲国产欧美网| 国产91精品成人一区二区三区| 99精品久久久久人妻精品| 日韩欧美在线乱码| 美女午夜性视频免费| 黄色片一级片一级黄色片| 久久久久免费精品人妻一区二区| 一区福利在线观看| 亚洲一区高清亚洲精品| 成年女人看的毛片在线观看| 舔av片在线| 淫妇啪啪啪对白视频| 亚洲av成人不卡在线观看播放网| 欧美在线一区亚洲| 亚洲av成人一区二区三| 99re在线观看精品视频| 18禁裸乳无遮挡免费网站照片| 国产视频内射| 亚洲国产高清在线一区二区三| 成年女人永久免费观看视频| 日韩欧美国产在线观看| 亚洲精品一区av在线观看| 嫩草影院精品99| 天堂网av新在线| 日韩精品青青久久久久久| 成人午夜高清在线视频| 午夜精品一区二区三区免费看| avwww免费| 香蕉国产在线看| 久久国产精品人妻蜜桃| 美女免费视频网站| 亚洲色图 男人天堂 中文字幕| 一级毛片精品| 黄片小视频在线播放| xxxwww97欧美| 在线观看66精品国产| 最近视频中文字幕2019在线8| 美女扒开内裤让男人捅视频| 色哟哟哟哟哟哟| 午夜福利在线观看吧| 国产欧美日韩精品一区二区| 在线视频色国产色| 国产麻豆成人av免费视频| 欧美日韩瑟瑟在线播放| 女生性感内裤真人,穿戴方法视频| 中文在线观看免费www的网站| 午夜视频精品福利| 两个人视频免费观看高清| 亚洲国产欧美网| 热99在线观看视频| 亚洲色图 男人天堂 中文字幕| 国产精品1区2区在线观看.| 免费高清视频大片| 一卡2卡三卡四卡精品乱码亚洲| 最好的美女福利视频网| 国产1区2区3区精品| 2021天堂中文幕一二区在线观| 亚洲国产色片| 国产乱人伦免费视频| 亚洲精品粉嫩美女一区| 一级毛片女人18水好多| 18禁黄网站禁片免费观看直播| 久久性视频一级片| 国产人伦9x9x在线观看| avwww免费| 在线观看日韩欧美| 少妇熟女aⅴ在线视频| 日韩 欧美 亚洲 中文字幕| 好男人在线观看高清免费视频| 天堂av国产一区二区熟女人妻| 国产一区在线观看成人免费| 给我免费播放毛片高清在线观看| 国产精品亚洲美女久久久| 国产精品,欧美在线| aaaaa片日本免费| 欧美日韩综合久久久久久 | 美女黄网站色视频| 热99re8久久精品国产| 免费无遮挡裸体视频| 十八禁网站免费在线| 99久久精品国产亚洲精品| 亚洲专区国产一区二区| 欧美性猛交╳xxx乱大交人| 亚洲精品乱码久久久v下载方式 | 在线a可以看的网站| 变态另类丝袜制服| 国产久久久一区二区三区| 中文亚洲av片在线观看爽| 欧美日韩中文字幕国产精品一区二区三区| 美女扒开内裤让男人捅视频| 日韩人妻高清精品专区| 午夜福利在线观看吧| 99国产精品99久久久久| 男女做爰动态图高潮gif福利片| 女警被强在线播放| 欧美日韩综合久久久久久 | 最近最新中文字幕大全免费视频| 天堂网av新在线| www日本黄色视频网| 国产日本99.免费观看| 国产亚洲av高清不卡| 亚洲九九香蕉| 久久久久久久久免费视频了| 精华霜和精华液先用哪个| 禁无遮挡网站| 老司机深夜福利视频在线观看| 天堂动漫精品| 欧洲精品卡2卡3卡4卡5卡区| 嫩草影视91久久| 免费搜索国产男女视频| 国产欧美日韩精品一区二区| 91麻豆精品激情在线观看国产| 美女 人体艺术 gogo| 在线观看66精品国产| 噜噜噜噜噜久久久久久91| 色尼玛亚洲综合影院| 99国产极品粉嫩在线观看| 丝袜人妻中文字幕| 天天一区二区日本电影三级| 女生性感内裤真人,穿戴方法视频| 熟女少妇亚洲综合色aaa.| 大型黄色视频在线免费观看| 在线观看午夜福利视频| 日本熟妇午夜| 一个人免费在线观看的高清视频| 伦理电影免费视频| 国产不卡一卡二| bbb黄色大片| 中文字幕av在线有码专区| av在线蜜桃| 亚洲aⅴ乱码一区二区在线播放| 欧美最黄视频在线播放免费| 亚洲美女视频黄频| 老司机午夜十八禁免费视频| 国内少妇人妻偷人精品xxx网站 | 国产毛片a区久久久久| 国产精品日韩av在线免费观看| 国内久久婷婷六月综合欲色啪| av天堂在线播放| 久久精品91无色码中文字幕| 亚洲国产精品合色在线| 琪琪午夜伦伦电影理论片6080| 国产精品永久免费网站| 国产精品久久久av美女十八| 很黄的视频免费| 精品国产超薄肉色丝袜足j| 日韩av在线大香蕉| 一本综合久久免费| 精品久久久久久久毛片微露脸| 久久热在线av| 一a级毛片在线观看| 老司机午夜十八禁免费视频| 18禁观看日本| 1024手机看黄色片| 在线观看66精品国产| 亚洲av第一区精品v没综合| 成人一区二区视频在线观看| 日韩欧美一区二区三区在线观看| 欧美3d第一页| www.自偷自拍.com| 毛片女人毛片| 欧美日韩综合久久久久久 | 日韩欧美一区二区三区在线观看| 欧美3d第一页| 神马国产精品三级电影在线观看| 亚洲国产色片| 亚洲中文字幕日韩| 又大又爽又粗| 国产黄片美女视频| 日韩av在线大香蕉| 757午夜福利合集在线观看| 一个人免费在线观看的高清视频| 丁香六月欧美| 国产精品一区二区三区四区久久| 国产高清videossex| 97人妻精品一区二区三区麻豆| 国产亚洲精品久久久com| 国产毛片a区久久久久| 国产精品自产拍在线观看55亚洲| 可以在线观看毛片的网站| 久久精品国产清高在天天线| 亚洲国产中文字幕在线视频| 搡老岳熟女国产| 亚洲人成伊人成综合网2020| 麻豆久久精品国产亚洲av| 啪啪无遮挡十八禁网站| 中文资源天堂在线| 久久久久久国产a免费观看| 真实男女啪啪啪动态图| 国产主播在线观看一区二区| 成人三级做爰电影| 国产三级在线视频| 可以在线观看的亚洲视频| 久久香蕉精品热| 91久久精品国产一区二区成人 | 在线免费观看不下载黄p国产 | 美女高潮喷水抽搐中文字幕| 99久久成人亚洲精品观看| 国产一区二区在线观看日韩 | 久久天躁狠狠躁夜夜2o2o| 久久久久免费精品人妻一区二区| 女生性感内裤真人,穿戴方法视频| 一本综合久久免费| 一二三四社区在线视频社区8| 亚洲中文日韩欧美视频| 最近最新中文字幕大全免费视频| 国产亚洲精品久久久久久毛片| 99在线视频只有这里精品首页| 91字幕亚洲| 国产单亲对白刺激| 巨乳人妻的诱惑在线观看| www.熟女人妻精品国产| 国产主播在线观看一区二区| 91麻豆av在线| 亚洲美女黄片视频| 免费在线观看成人毛片| 日韩人妻高清精品专区| 久9热在线精品视频| 一级黄色大片毛片| 国产精品 国内视频| 免费看光身美女| 欧美性猛交黑人性爽| 中文字幕久久专区| 中文字幕人妻丝袜一区二区| xxx96com| 丰满人妻一区二区三区视频av | 色吧在线观看| 午夜久久久久精精品| 丰满的人妻完整版| 伦理电影免费视频| 久久精品国产亚洲av香蕉五月| 国产单亲对白刺激| 久久国产乱子伦精品免费另类| 18禁黄网站禁片午夜丰满| 人妻夜夜爽99麻豆av| 后天国语完整版免费观看| 国产一区二区三区视频了| 这个男人来自地球电影免费观看| 变态另类成人亚洲欧美熟女| 日本 欧美在线| 黄色日韩在线| 18美女黄网站色大片免费观看| 黄色成人免费大全| 国产精品 国内视频| 成年版毛片免费区| 99久久无色码亚洲精品果冻| 成年版毛片免费区| 久久精品91无色码中文字幕| 九九在线视频观看精品| 欧美xxxx黑人xx丫x性爽| 一级黄色大片毛片| 一本久久中文字幕| 日本黄大片高清| 后天国语完整版免费观看| 三级国产精品欧美在线观看 | 日本黄色视频三级网站网址| 一个人观看的视频www高清免费观看 | x7x7x7水蜜桃| 最好的美女福利视频网| 久久久国产成人精品二区| 中文亚洲av片在线观看爽| 免费看十八禁软件| 小说图片视频综合网站| 性色avwww在线观看| 变态另类成人亚洲欧美熟女| 18美女黄网站色大片免费观看| 国产黄片美女视频| 亚洲精品久久国产高清桃花| 国产精品一区二区精品视频观看| 久久天躁狠狠躁夜夜2o2o| 小说图片视频综合网站| 日本一二三区视频观看| 亚洲熟女毛片儿| 日本一二三区视频观看| 精品一区二区三区视频在线观看免费| 麻豆国产av国片精品| 18禁观看日本| 亚洲成a人片在线一区二区| 亚洲欧美日韩无卡精品| 人妻久久中文字幕网| 亚洲国产精品999在线| 色av中文字幕| 午夜福利欧美成人| www.精华液| 久久精品夜夜夜夜夜久久蜜豆| 午夜成年电影在线免费观看| 九九久久精品国产亚洲av麻豆 | 色av中文字幕| 国产一区二区在线观看日韩 | 日韩高清综合在线| 国产精品1区2区在线观看.| 十八禁人妻一区二区| 亚洲人成网站在线播放欧美日韩| 两性夫妻黄色片| 99久久久亚洲精品蜜臀av| 亚洲成人久久爱视频| 又粗又爽又猛毛片免费看| 热99re8久久精品国产| 男人舔女人的私密视频| 美女 人体艺术 gogo| 色在线成人网| 精品久久久久久成人av| 国产高清激情床上av| 国产 一区 欧美 日韩| 男女床上黄色一级片免费看| 亚洲欧美日韩高清在线视频| 成人特级av手机在线观看| 久久精品国产综合久久久| 俄罗斯特黄特色一大片| 日本熟妇午夜| 亚洲国产欧美一区二区综合| 小说图片视频综合网站| 国产成人影院久久av| 精品国产亚洲在线| 国产欧美日韩一区二区精品| 久久久久久九九精品二区国产| 99精品久久久久人妻精品| 伊人久久大香线蕉亚洲五| 成年免费大片在线观看| 国产精品香港三级国产av潘金莲| 伦理电影免费视频| 久久精品影院6| 亚洲av成人一区二区三| 少妇裸体淫交视频免费看高清| 国产免费男女视频| 亚洲五月天丁香| 女同久久另类99精品国产91| tocl精华| 男人舔奶头视频| 欧美3d第一页| 一区福利在线观看| 国产综合懂色| 男女床上黄色一级片免费看| 99久久99久久久精品蜜桃| 性色av乱码一区二区三区2| 激情在线观看视频在线高清| 久久久久九九精品影院| 此物有八面人人有两片| 欧美成人免费av一区二区三区| 久久婷婷人人爽人人干人人爱| 天堂影院成人在线观看| 99精品欧美一区二区三区四区| 91老司机精品| 天堂√8在线中文| 99国产精品99久久久久| 观看美女的网站| 超碰成人久久| 久久精品91无色码中文字幕| 国产一区二区三区视频了| 老司机午夜十八禁免费视频| 国产又色又爽无遮挡免费看| 久久国产精品人妻蜜桃| 国产三级黄色录像| 不卡av一区二区三区| 在线观看午夜福利视频| 人妻夜夜爽99麻豆av| 国内精品久久久久久久电影| 亚洲乱码一区二区免费版| 国产视频内射| 国产又色又爽无遮挡免费看| 久久伊人香网站| 久久这里只有精品中国| 淫妇啪啪啪对白视频| 黄色视频,在线免费观看| 在线十欧美十亚洲十日本专区| 高清毛片免费观看视频网站| 国内少妇人妻偷人精品xxx网站 | 久久精品国产99精品国产亚洲性色| 99re在线观看精品视频| 久久热在线av| 欧美日韩中文字幕国产精品一区二区三区| 亚洲va日本ⅴa欧美va伊人久久| 91久久精品国产一区二区成人 | 久久久色成人|