• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    SUSE Linux 11高可用群集安裝配置指南

    2020-11-11 09:12:10河北王春海
    網(wǎng)絡(luò)安全和信息化 2020年10期
    關(guān)鍵詞:群集網(wǎng)卡IP地址

    ■ 河北 王春海

    編者按:高可用群集HA(High Available)是保證業(yè)務(wù)系統(tǒng)連續(xù)性的有效解決方案。關(guān)于Windows操作系統(tǒng)配置高可用群集的資料較多,SUSE Linux配置群集的資料較小。本文通過(guò)一個(gè)具體的案例,比較詳細(xì)的介紹了基于SUSE Linux配置高可用群集的方法和步驟。

    要配置高可用群集,一般配置2臺(tái)物理主機(jī)加1臺(tái)共享存儲(chǔ),系統(tǒng)運(yùn)行在物理主機(jī)上,數(shù)據(jù)保存在共享存儲(chǔ)上。在主機(jī)上運(yùn)行相同的操作系統(tǒng)及應(yīng)用程序,其中有1臺(tái)主機(jī)的應(yīng)用程序是活動(dòng)節(jié)點(diǎn)?;顒?dòng)節(jié)點(diǎn)連接管理共享存儲(chǔ),另1臺(tái)主機(jī)的應(yīng)用程序是備用節(jié)點(diǎn)(備用節(jié)點(diǎn)暫時(shí)不管理共享存儲(chǔ))。如果活動(dòng)節(jié)點(diǎn)的主機(jī)出現(xiàn)問(wèn)題,備用節(jié)點(diǎn)的應(yīng)用程序會(huì)接管共享存儲(chǔ)并接管應(yīng)用。這種情況要求實(shí)現(xiàn)了業(yè)務(wù)的連續(xù)性,在群集節(jié)點(diǎn)切換期間,業(yè)務(wù)不中斷或短暫中斷。

    客戶(hù)需求介紹

    最近在一個(gè)項(xiàng)目中,客戶(hù)需要使用SUSE Linux For SAP 11 SP4版本的操作系統(tǒng)配置HA的環(huán)境。

    用于HA的主機(jī)配置了2臺(tái)高配置的DELL R740XA的服務(wù)器、1臺(tái)華為OceanStor 5310F V5的全閃存存儲(chǔ)。每臺(tái)主機(jī)配置了1.5 TB內(nèi)存、2個(gè)Intel Gold 6230的CPU、1塊DELL BOSS卡(配置了2塊240 GB的M.2 SSD做RAID-1并安裝SUSE Linux For SAP 11 SP4操作系統(tǒng))。2臺(tái)主機(jī)分別使用2端口16 GB FC HBA卡連接到光纖存儲(chǔ)交換機(jī),再連接到華為5310F存儲(chǔ)。

    HA的項(xiàng)目要求2個(gè)資源包(sypascs、sypdb),需要兩個(gè)浮動(dòng)IP和虛擬主機(jī)名(eccci、eccdb)。具體如下:

    1.卷組1:ascsvg,劃分文件系統(tǒng)/usr/sap/SYP/ASCS 00,用于部署SAP ASCS服務(wù),大小5 TB。

    2.卷組2:db vg,用于存放Db2數(shù)據(jù)庫(kù)相關(guān)數(shù)據(jù)文件及其運(yùn)行日志,主要包含/db 2/SYP/下的相關(guān)目錄和文件系統(tǒng),大小10 GB。

    3.NFS共享文件系統(tǒng):采用NAS文件系統(tǒng),大小60 GB。

    卷組1、卷組2需要2個(gè)LUN,在本次項(xiàng)目中,配置一個(gè)100 MB大小的共享磁盤(pán)用于HA。一共3個(gè)LUN。在華為OceanStor 5310F V5劃分了3個(gè)LUN分配給這2臺(tái)服務(wù)器。這3個(gè)LUN大小分別為100 MB、5 TB、10 GB。

    其中LUN01(100 MB)用于仲裁或見(jiàn)證,LUN02(5 TB)與LUN04(10 GB)用于共享數(shù)據(jù)磁盤(pán)。

    在華為OceanStor 5310F V5劃分了2個(gè)文件系統(tǒng),大小分別為10 GB、50 GB,用于NAS文件系統(tǒng),采用NFS共享文件。

    在本項(xiàng)目中,2臺(tái)主機(jī)的IP地址分別是172.16.68.221與172.16.68.222。配置的2個(gè)Virtual IP分別為172.16.68.168與172.16.68.170。共享文件系統(tǒng)指定給這4個(gè)IP地址使用。其他IP地址無(wú)法訪問(wèn)。

    要求2臺(tái)主機(jī)使用SUSE HA進(jìn)行配置。創(chuàng)建2個(gè)資源組,其中第1個(gè)資源組分配1個(gè)Virtual IP(本示例為172.16.68.168),同時(shí)加載10 GB的LUN04,這個(gè)資源組默認(rèn)在節(jié)點(diǎn)1加載;第2個(gè)資源組分別1個(gè)Virtual IP(本示例中為172.16.68.170)并加載5 TB的LUN02,這個(gè)資源組默認(rèn)在節(jié)點(diǎn)2加載。同一時(shí)間只能有1臺(tái)主機(jī)掛載共享盤(pán),如果其中1臺(tái)主機(jī)故障,另1臺(tái)主機(jī)馬上接管并掛載共享磁盤(pán)。項(xiàng)目最終配置完成后,執(zhí)行“crm status”命令,如圖1所示。

    說(shuō)明:對(duì)于大多數(shù)只熟悉Windows操作系統(tǒng)和Windows群集的系統(tǒng)管理員來(lái)說(shuō),只要你了解Linux、掌握一些Linux的基本命令,就能參考本文完成配置。

    圖1 查看資源狀態(tài)

    下面介紹配置的主要流程、步驟,安裝配置中出現(xiàn)的問(wèn)題及解決方法進(jìn)行整理,希望對(duì)有同樣需求的朋友有所幫助。

    安裝FC HBA卡驅(qū)動(dòng)與多路徑軟件

    本次項(xiàng)目中用到的SUSE Linux For SPA 11 SP4的安裝鏡像,可以登錄其官網(wǎng)下載,鏈接地址為:https://www.suse.com/zh-cn/download-linux。

    實(shí)際使用中只需要下載SLE-11-SP4-SAP-DVD-x86_64-GM-DVD1.iso、SLE-HA-11-SP4-x86_64-GM-CD1.iso這兩個(gè)文件即可。關(guān)于SUSE Linux 11的安裝本文不做過(guò)多介紹。

    在服務(wù)器上安裝SUSE Linux 11 SP4操作系統(tǒng)之后,需要安裝FC HBA卡驅(qū)動(dòng)及多路徑軟件。可以使用SUSE Linux操作系統(tǒng)自帶的多路徑軟件,也可以使用廠商提供的多路徑軟件。

    本示例中安裝華為提供的多路徑軟件。當(dāng)前2臺(tái)DELL R740XD配置的FC HBA卡是Emulex LPE 31002雙端口16 Gb光纖通道 HBA。在SUSE 11中不包含該HBA卡的驅(qū)動(dòng),需要單獨(dú)下載安裝。DELL提供的驅(qū)動(dòng)程序下載地址為:

    https://docs.broadcom.com/docs-and-downloads/oem/support/elx/rt11.4.1/11.4.142.23/elx-lpfc-ddsles11sp-11.4.142.21-1.tar.gz

    下載驅(qū)動(dòng)程序之后,解壓縮展開(kāi),然后使用SFTP上傳到Linux主機(jī)的/tmp文件夾進(jìn)行安裝。主要步驟如下(如圖2所示)。

    chmod +x elx_lpfc_install.sh

    ./elx_lpfc_install.sh

    安裝FC HBA卡驅(qū)動(dòng)之后,可以執(zhí)行“fidsk -l”就可以顯示出存儲(chǔ)分配給當(dāng)前主機(jī)的LUN。但對(duì)于同一個(gè)LUN會(huì)顯示為多個(gè)相同的磁盤(pán),這需要啟用多路徑。因?yàn)楫?dāng)前使用的是華為存儲(chǔ),華為提供了多路徑軟件。

    (1)拷貝華為多路徑軟件到SUSE Linux的/tmp文件夾??梢允褂肧FTP軟件將多路徑軟件上傳到Linux主機(jī)的/tmp文件夾。

    (2)進(jìn)入驅(qū)動(dòng)程序文件夾,使用chmod命令為安裝程序添加運(yùn)行權(quán)限。

    chmod +x install.sh

    (3)執(zhí)行安裝

    eccprd2:/tmp/SLES #./install.sh

    (4)選擇從本地引導(dǎo)。在出現(xiàn)以下提示是輸入1并按回車(chē)鍵。

    圖2 安裝FC HBA卡驅(qū)動(dòng)

    If the operating sys tem is installed on a lo cal drive of the server,you are advised

    to choose boot from local;if the operating system is installed on a SAN storage

    system,you must choo se boot from san.Please choose the boot type of your system:

    <1>--boot-from-Local

    <2>--boot-from-SAN

    please input your select:1

    (5)安裝完成后重新引導(dǎo)系統(tǒng)

    The install ation is com plete.Whether to restart the system now?

    :y

    配置網(wǎng)絡(luò)與host name文件

    用于HA的2臺(tái)主機(jī),每臺(tái)主機(jī)配置了1塊4端口10 Gbit/s網(wǎng)卡,集成4端口1 Gbit/s網(wǎng)卡。本項(xiàng)目中使用配置10 Gbit/s網(wǎng)卡用于業(yè)務(wù)通訊(配置172.16.68.0網(wǎng)段),1 Gbit/s網(wǎng)卡用于群集心跳(規(guī)劃使用192.168.68.0網(wǎng)段)。本項(xiàng)目中主機(jī)名、IP地址規(guī)劃如表1所列。

    下面以第1臺(tái)主機(jī)的設(shè)置為例。另一臺(tái)主機(jī)設(shè)置與此類(lèi)似。在本項(xiàng)目中,172.16.68.0網(wǎng)段的網(wǎng)關(guān)地址為172.16.68.8,DNS為172.16.5.11。

    表1 主機(jī)表與IP地址規(guī)劃表

    1.在“Yast”中單擊“Network Sett ings”,在網(wǎng)絡(luò)設(shè)置的“Routing”選項(xiàng)中添加網(wǎng)關(guān)地址,本示例中172.16.68.0/24的網(wǎng)關(guān)地址為172.16.68.8。

    2.在“Hostname/DNS”選項(xiàng)卡中,設(shè)置主機(jī)名稱(chēng)為eccprd1,在Name Ser ver中設(shè)置DNS服務(wù)器的IP地址,本示例中DNS服務(wù)器的IP地址為172.16.5.11。

    3.選中第一塊網(wǎng)卡(用于對(duì)外提供服務(wù)的網(wǎng)卡),單擊“Edit”按鈕,設(shè)置IP地址為172.16.68.221,設(shè)置Hostname為eccprd1。

    4.選中用于群集心跳的網(wǎng)卡,單擊“Edit”按鈕,設(shè)置IP地址為192.168.68.221,設(shè)置Hostname為eccprd1-lan。

    5.在當(dāng)前實(shí)驗(yàn)環(huán)境中,第三塊網(wǎng)卡用于連接iSCSI共享存儲(chǔ),設(shè)置這塊網(wǎng)卡的IP地址為192.168.0.221。在實(shí)際的生產(chǎn)環(huán)境中,服務(wù)器通過(guò)16G FC HBA卡連接到存儲(chǔ)。

    圖3 編輯主機(jī)hostname文件

    對(duì)于群集中另一臺(tái)主機(jī)與此設(shè)置相類(lèi)似,只是服務(wù)器的IP地址設(shè)置為172.16.68.222,群集心跳網(wǎng)絡(luò)地址設(shè)置為192.168.68.222,對(duì)應(yīng)的名稱(chēng)分別是eccprd2、eccprd2-lan。

    設(shè)置連接iSCSI存儲(chǔ)的網(wǎng)卡的IP地址為192.168.0.222。在群集中每臺(tái)主機(jī)編輯hostname文件,添加主機(jī)名對(duì)IP地址的解析。

    在Yast中單擊hostname,將2臺(tái)群集主機(jī)hostname添加到另一臺(tái)主機(jī)名稱(chēng)的解析,編輯之后如圖3所示。

    172.16.68.221 eccprd1 eccprd1

    172.16.68.222 eccprd2 eccprd2

    192.168.68.221 eccprd1-lan eccprd1-lan

    192.168.68.222 eccprd2-lan eccprd2-lan

    SSH免密碼互聯(lián)服務(wù)配置

    HA集群的兩臺(tái)HANA服務(wù)器的需要配置SSH免密碼互聯(lián)服務(wù),執(zhí)行過(guò)程如下。

    生成認(rèn)證公鑰:

    登錄主節(jié)點(diǎn)分別執(zhí)行命令“ssh-key gen -t rsa”“sshkeygen -t dsa”生成公鑰。

    在主節(jié)點(diǎn)依次執(zhí)行下面命令復(fù)制公鑰到對(duì)方節(jié)點(diǎn)。提示輸入節(jié)點(diǎn)密碼時(shí)輸入root用戶(hù)密碼。其他直接按回車(chē)鍵。

    ssh-keygen -t rsa

    ssh-keygen -t dsa

    ssh eccprd1 "echo $(cat/root/.ssh/id_dsa.pub) >>/root/.ssh/authorized_keys"

    ssh eccprd2 "echo $(cat/root/.ssh/id_dsa.pub) >>/root/.ssh/authorized_keys"

    ssh eccprd1 "echo $(cat/root/.ssh/id_rsa.pub) >>/root/.ssh/authorized_keys"

    ssh eccprd2 "echo $(cat/root/.ssh/id_rsa.pub) >>/root/.ssh/authorized_keys"

    登錄服務(wù)器節(jié)點(diǎn)2,參考服務(wù)器節(jié)點(diǎn)1的方法,依次執(zhí)行下面命令復(fù)制公鑰到對(duì)方節(jié)點(diǎn):

    ssh eccprd1 "echo $(cat/root/.ssh/id_dsa.pub) >>/root/.ssh/authorized_keys"

    ssh eccprd2 "echo $(cat/root/.ssh/id_dsa.pub) >>/root/.ssh/authorized_keys"

    ssh eccprd1 "echo $(cat/root/.ssh/id_rsa.pub) >>/root/.ssh/authorized_keys"

    ssh eccprd2 "echo $(cat/root/.ssh/id_rsa.pub) >>/root/.ssh/authorized_keys"

    在配置完成后,登錄服務(wù)器節(jié)點(diǎn)1,運(yùn)行ssh eccprd2,可以直接登錄到節(jié)點(diǎn)2,不需要輸入密碼。在另一臺(tái)計(jì)算機(jī)上運(yùn)行ssh eccprd1可以直接登錄到節(jié)點(diǎn)1,表示配置正確。

    安裝Suse 11 SP4 Cluster組件

    加載或拷貝SLE-HA-11-SP4-x86_64-GM-CD1.iso安裝鏡像,安裝SUSE HA軟件。主要步驟和過(guò)程如下。

    1.在Yast中單擊“Addon Products”,在“Installed Add-on Products”,單擊“Add”按鈕。

    2.在 “Media Type”按鈕中單擊選擇加載安裝包的方式,可以指定URL、FTP、HTTP、SMB、NFS路徑,也可以加載SLE-HA-11-SP4-x86_64-GM-CD1.iso安裝。

    3.在“License Agreeme nt”中單擊“Yes,I Agree to the License Agreement”,接受許可協(xié)議。

    4.在“Software Selectio n and System Tasks”中確認(rèn)“High Availability”已經(jīng)選中。然后單擊“OK”按鈕開(kāi)始安裝。

    5.安裝完成之后,重新啟動(dòng)啟動(dòng)計(jì)算機(jī)。群集中的每一臺(tái)計(jì)算機(jī)都要安裝HA組件,安裝完成之后重新啟動(dòng)計(jì)算機(jī)。再次進(jìn)入系統(tǒng)之后,在Yast中可以看到“Cluster”和“Pacemaker GUI”程序組件。

    在安裝HA之后,修改hac luster用戶(hù)密碼。打開(kāi)終端界面,執(zhí)行:

    passwd hacluster

    然后為群集帳戶(hù)haclu ster設(shè)置密碼。一般直接設(shè)置與root用戶(hù)的密碼一樣。

    在配置與使用SUSE 11的時(shí)候,為了簡(jiǎn)化配置,一般建議關(guān)閉關(guān)閉系統(tǒng)默認(rèn)的防火墻,并且讓系統(tǒng)重新啟動(dòng)后不加載防火墻。主要步驟和過(guò)程如下。

    (1)在Yast中單擊Fire wall,在“Firewall Confi guration:Start-UP”對(duì)話(huà)框中選擇“Disable Firewall Automatic Starting”,并單擊“Stop Firewall Now”按鈕以停止防火墻服務(wù),然后單擊“Next”按鈕并完成設(shè)置。

    (2)在“Firewall star ting”對(duì)話(huà)框中單擊“Fini sh”按鈕,完成配置。

    為節(jié)點(diǎn)添加iSCSI存儲(chǔ)并進(jìn)行磁盤(pán)分區(qū)

    在生產(chǎn)環(huán)境中采用的是FC連接的共享存儲(chǔ)。這一步實(shí)驗(yàn)抓圖采用的是iSCSI共享存儲(chǔ)。在本示例中,使用iSCSI服務(wù)器為群集中的2個(gè)節(jié)點(diǎn)提供共享磁盤(pán)服務(wù)。首先為主節(jié)點(diǎn)添加iSCSI服務(wù)器分配的LUN磁盤(pán)。

    1.在節(jié)點(diǎn)1的服務(wù)器上的“Yast”中單擊“iSCSI Initiator”,在“iSCSI Init iator Overview”對(duì)話(huà)框中的“Service”選項(xiàng)卡中,單擊選中“When Booting”讓iSCSI客戶(hù)端在系統(tǒng)啟動(dòng)時(shí)開(kāi)始服務(wù)。

    2.在“Connected Targets”選項(xiàng)卡中單擊“Add”按鈕,添加iSCSI服務(wù)器的地址,本示例為192.168.0.110,添加之后設(shè)置系統(tǒng)啟動(dòng)時(shí)自動(dòng)連接。

    在配置群集完成之前,建議只有一臺(tái)主機(jī)連接到共享存儲(chǔ)。如果要在節(jié)點(diǎn)1主機(jī)上進(jìn)行配置,可以暫時(shí)把節(jié)點(diǎn)2主機(jī)連接到存儲(chǔ)的光纖拔下。等群集配置完成之后再插上光纖并連接存儲(chǔ)。在當(dāng)前項(xiàng)目中,主機(jī)連接到存儲(chǔ)的3個(gè)LUN,其中100 MB的LUN不需要配置,5 TB與10 GB的LUN根據(jù)項(xiàng)目要求創(chuàng)建卷組并創(chuàng)建邏輯卷。創(chuàng)建完成后的如圖4所示。

    使用sleha-init配置群集

    在準(zhǔn)備用做主節(jié)點(diǎn)的服務(wù)器中,執(zhí)行“sleha-init”命令初始化主節(jié)點(diǎn),主要步驟如下。

    在本示例中,設(shè)置IP地址為172.16.68.221、主機(jī)名稱(chēng)為eccprd1為節(jié)點(diǎn)1,IP地址為172.16.68.222、主機(jī)名稱(chēng)為eccprd2的為節(jié)點(diǎn)2。

    在節(jié)點(diǎn)1主機(jī)上運(yùn)行Suse 11 Cluster命令進(jìn)行集群的初始化。

    圖4 5TB共享磁盤(pán)劃分情況

    1.以root用戶(hù)登錄服務(wù)器節(jié)點(diǎn)1(配置為主節(jié)點(diǎn)),執(zhí)行命令“sleha-init”,進(jìn)行初始化。執(zhí)行過(guò)程中根據(jù)提示選擇。

    2.出現(xiàn)提示“/root/.ssh/id_rsa already exists-overwrite? [y/N]”時(shí),選擇輸入“N”,不覆蓋id_rsa。

    3.如果該服務(wù)器之前做過(guò)配置,當(dāng)出現(xiàn)提示“csync2 is already configured -overwrite? [y/N]”時(shí),選擇輸入“Y”,覆蓋原有配置。

    4.Configure Corosync。當(dāng)提示“Network address to bind to(e.g.:192.168.1.0)”時(shí),請(qǐng)輸入集群的通信網(wǎng)絡(luò),即選擇服務(wù)器操作系統(tǒng)的維護(hù)網(wǎng)段,當(dāng)前示例為192.168.68.0(不需要輸入具體的IP地址,只需要輸入子網(wǎng)地址)。

    5.Multicast address(e.g.:239.x.x.x)默認(rèn)不變,按Enter。

    6.當(dāng)提示:Mult icast port [5405]默認(rèn)不變,按Enter。

    7.Configure SBD:使用SBD模式,輸入Y。然后配置SBD。

    在生產(chǎn)環(huán)境中,使用LUN 01的100 MB共享磁盤(pán)用做SBD。在當(dāng)前環(huán)境的2臺(tái)群集主機(jī)中,主機(jī)本地硬盤(pán)為sda,LUN01、LUN02、LUN03、LUN04加載的共享磁盤(pán)依次為sdb、sdc、sde。

    說(shuō)明:在配置存儲(chǔ)的時(shí)候多劃了一個(gè)LUN03,在后期從主機(jī)映射中移除了LUN03這個(gè)共享磁盤(pán)。

    再次打開(kāi)一個(gè)終端窗口,執(zhí)行“l(fā)s -l/dev/disk/byid/”命令,搜索查看sdb設(shè)備名稱(chēng),該設(shè)備名稱(chēng)以scsi -3開(kāi)頭。本示例中該名稱(chēng)為scsi-36446747100ee045300 0957e400000000。復(fù)制該設(shè)備名稱(chēng),切換到sleha-init窗口,在Path to storage device(e.g./dev/disk/byid/...) []后面輸入:

    /dev/disk/by-id/scsi-36446747100ee045300095 7e400000000

    之后按Enter,在Are you sure you wish to use this device [y/N]后面輸入y,然后按Enter完成初始化。

    配置完成后,登錄https://172.16.68.221,可以看到STONITH已啟用。也可以執(zhí)行“crm_mon”,可以看到名為stonith-sbd的資源已經(jīng)啟動(dòng)。

    在集群服務(wù)器備節(jié)點(diǎn)上,運(yùn)行sleha-join命令將其他節(jié)點(diǎn)加入現(xiàn)有的集群中。

    (1)以root用戶(hù)登錄集群主節(jié)點(diǎn),將主節(jié)點(diǎn)配置文件復(fù)制到備節(jié)點(diǎn)。命令如下。在本示例中,eccprd1為主節(jié)點(diǎn),eccprd2為備節(jié)點(diǎn)。

    scp/etc/csync2/csync2.cfg root@eccprd2:/etc/csync2

    scp/etc/csync2/key_hagroup root@eccprd2:/etc/csync2

    scp/etc/corosync/authkey root@eccprd2:/etc/corosync/

    scp/etc/corosync/coros ync.conf root@eccprd2:/etc/corosync/

    (2)以root用戶(hù)登錄集群備節(jié)點(diǎn),運(yùn)行命令“slehajoin”。

    (3)當(dāng)出現(xiàn)提示“IP add ress or hostname of exist ing node”時(shí),輸入主節(jié)點(diǎn)的OS管理的IP地址。本示例中為172.16.68.221。

    (4)Enable sshd servi ce:當(dāng)出現(xiàn)提示“/root/.ssh/id_rsa already exists -overwrite? [y/N]”時(shí),輸入“N”,然后“Enter”,選擇不覆蓋;等待加入完成。

    加入群集之后,執(zhí)行crm_mon,會(huì)顯示當(dāng)前有2個(gè)節(jié)點(diǎn)在線(xiàn),一個(gè)stonith資源已經(jīng)啟動(dòng)。

    如果提示安裝失敗:“WARNING:csync2 of/etc/csync2/csync2.cfg failed WARNING:csync2 of/etc/csync2/csync2.cfg failed--file may not be in sync file may not be in sync on all nodeson all nodes;”,則需要在主節(jié)點(diǎn)運(yùn)行命令將主節(jié)點(diǎn)的配置文件復(fù)制到備節(jié)點(diǎn)。

    這包括csync2.cfg等文件,然后重新執(zhí)行命令行命令slehasleha—join join加入現(xiàn)有群集。在執(zhí)行命令前停止備節(jié)點(diǎn)的群集服務(wù)。

    使用Pacemaker GUI配置資源

    在群集中任意一個(gè)節(jié)點(diǎn)中運(yùn)行Pacemaker GUI配置資源。在配置的時(shí)候,建議將另一個(gè)節(jié)點(diǎn)主機(jī)關(guān)機(jī),等群集資源配置完成后再打開(kāi)另一個(gè)節(jié)點(diǎn)并讓節(jié)點(diǎn)聯(lián)機(jī)。

    1.在“YaST Control Center”單擊Pacemaker GUI,在Pacemaker GUI中單擊Co nnection,在彈出的Login對(duì)話(huà)框中,輸入用戶(hù)名hac luster及密碼,單擊“OK”按鈕登錄。

    2.在CRM Config中,在“No Quorum Policy”下拉列表中選擇ignore。然后單擊“Apply”按鈕。

    3.在“Resources”中當(dāng)前只有“stonith-sbd”的一個(gè)資源。下面添加一個(gè)資源組,在該資源組中添加一個(gè)Virtual IP,同時(shí)加載一個(gè)邏輯卷及加載一個(gè)文件系統(tǒng)。

    (1)左側(cè)單擊Resources,在右側(cè)單擊“Add”按鈕,在彈出的對(duì)話(huà)框中選擇Group,然后單擊“OK”按鈕。

    (2)在“Add Group”對(duì)話(huà)框中“ID”文本框中輸入新添加的資源組的名稱(chēng),本示例中為g_SAP,然后單擊“Forward”按鈕。

    (3)在“Add Group -Add Sub-resource For ‘g_SAP’”中默認(rèn)為Primitive,單擊“OK”按鈕。

    (4)在“Add Primitive -Basic Settings”中,在 “ID”文本框中輸入子資源名稱(chēng),本示例中為r_sappap_vip,在“Class”下拉列表中選擇ocf,在“Provider”下拉列表中選擇heartbeat,在“Type”下拉列表中選擇IPaddr2,然后單擊“Forward”按鈕。

    (5)在“instance Attribut es”選項(xiàng)卡中選中IP,然后單擊“Edit”按鈕,在“Value”中輸入Virtual IP地址,本示例中為172.16.68.168,然后單擊“OK”按鈕。

    注意,新添加的虛擬IP地址應(yīng)該是當(dāng)前網(wǎng)段中未分配未使用的。

    (6)返回到“Add Primiti ve -Summary of ‘r_sapap_vip’”對(duì)話(huà)框,單擊“Apply”按鈕。

    (7)返回“Add Group -Add Sub-resource For ‘g_SAP’”對(duì)話(huà)框,如果要繼續(xù)添加資源,應(yīng)單擊“OK”按鈕。如果添加資源完成,單擊“Cancel”按鈕。本示例中繼續(xù)添加子資源。

    (8)在“Add Primitive”對(duì)話(huà)框中的“ID”文本框中輸入新添加的子資源名稱(chēng),本示例為r_ascsvg,在“Class”下拉列表中選擇ocf,然后在“Provider”下拉列表中選擇heartbeat,在“Type”下拉列表中選擇LVM。

    (9)在“instance Attri butes”選項(xiàng)卡中選中volgrp name,然后單擊“Edit”按鈕,在“Edit Nvpair”的Value中輸入要加載的卷組的名稱(chēng),本示例為ascsvg,單擊“OK”按鈕。

    (10)返回到“Add Primi tive”對(duì)話(huà)框,單擊“Apply”按鈕,返回“Add Group -Add Sub-resource For ‘g_SAP’”對(duì)話(huà)框,如果要繼續(xù)添加資源,應(yīng)單擊“OK”按鈕。如果添加資源完成,單擊“Cancel”按鈕。本示例中繼續(xù)添加子資源。

    (11)在“Add Primitive”對(duì)話(huà)框中的“ID”文本框中輸入新添加的子資源名稱(chēng),本示例為r_sap_ascs00,在“Class”下拉列表中選擇ocf,在“Provider”下拉列表中選擇heartbeat,在“Type”下拉列表中選擇Filesystem。然后單擊“Forward”按鈕。

    (12)在“Add Primitive-Summary Of ‘r_sap_asc s00’”對(duì)話(huà)框中,在添加文件系統(tǒng)時(shí),需要添加設(shè)備名稱(chēng)、要加載到的目錄、加載的文件屬性。

    在YaST2中執(zhí)行Partit ioner程序,查看創(chuàng)建的名為ascsvg卷組屬性,本示例中卷組名稱(chēng)為ascsvg,要加載的邏輯卷的名稱(chēng)為ascs00,其Device(設(shè)備名稱(chēng))為/dev/ascsvg/ascs00。

    選擇Device,然后單擊“Edit”按鈕,在彈出的“Edit Nvpair”對(duì)話(huà)框的“Value”中輸入要加載的文件系統(tǒng)的設(shè)備,名稱(chēng)為/dev/ascsvg/ascs00,然后單擊“OK”按鈕。

    這個(gè)設(shè)備要加載到本地的一個(gè)目錄中,本示例中將其加載到/usr/sap/SYP/ascs00目錄中。在此需要?jiǎng)?chuàng)建/usr/sap/SYP目錄。選中directory,然后單擊“Edit”按鈕,在彈出的“Edit Nvpair”對(duì)話(huà)框的Value中輸入要加載的位置,本示例中為/usr/sap/SYP/ascs00。然后單擊“OK”按鈕。

    選中fstype然后單擊Edit按鈕,在彈出的“Edit Nvpair”對(duì)話(huà)框的Value中輸入文件系統(tǒng)屬性,本示例為ext3。添加的文件系統(tǒng)資源完成后,單擊“Apply”按鈕。

    (13)返回“Add Group-Add Sub-resource For‘g_SAP’”對(duì)話(huà)框,如果要繼續(xù)添加資源,應(yīng)單擊“OK”按鈕。如果添加資源完成,單擊“Cancel”按鈕。本示例已經(jīng)添加完所需資源,單擊“Cancel”按鈕。

    (14)返回“Add Group”對(duì)話(huà)框,本示例中添加一個(gè)Virtual IP地址,加載一個(gè)LVM,加載一個(gè)文件系統(tǒng)。單擊“Apply”按鈕,添加資源組完成。

    (15)返回Pacemaker GUI對(duì)話(huà)框,在“Resources→Group”中可以看到創(chuàng)建的資源組。

    當(dāng)前的資源組還沒(méi)有運(yùn)行。在“Management”中用鼠標(biāo)右鍵單擊資源組的名稱(chēng)g_SAP,在彈出的快捷菜單中選擇Start啟動(dòng)資源組,如果配置正確,資源組啟動(dòng)成功。此時(shí)資源組在節(jié)點(diǎn)1上加載。

    如果群集中2個(gè)節(jié)點(diǎn)全部啟動(dòng),有可能在啟動(dòng)帶有文件系統(tǒng)的資源組時(shí),2臺(tái)服務(wù)器會(huì)立刻重啟。筆者分析,可能是這2個(gè)節(jié)點(diǎn)全部加載了同一個(gè)邏輯卷造成系統(tǒng)沖突引起的。如果出現(xiàn)這一情況,應(yīng)暫時(shí)關(guān)閉一臺(tái)節(jié)點(diǎn)主機(jī),只讓1個(gè)節(jié)點(diǎn)加載文件系統(tǒng),等加載成功之后再啟動(dòng)另一個(gè)節(jié)點(diǎn)即可。

    (16)參照上面的示例,添加第2個(gè)資源組。資源組的名稱(chēng)為g_sypdb,Virtual IP地址為172.16.68.170,加載的卷組為dbvg,加載的邏輯卷分別為SYP、log_dir、sapdata1、sapdata2、sapdata3、sapdata4等邏輯卷。

    (17)配置好第2個(gè)資源組。

    用戶(hù)要求當(dāng)群集中主機(jī)開(kāi)機(jī)后,默認(rèn)的資源組g_SAP在節(jié)點(diǎn)1主機(jī)上加載,g_sypdb在節(jié)點(diǎn)2主機(jī)上加載。如果其中的一個(gè)節(jié)點(diǎn)主機(jī)故障,則資源組會(huì)自動(dòng)在存活主機(jī)自動(dòng)加載。為資源指定群集節(jié)點(diǎn)的操作步驟如下。

    ①資源組g_sypdb在節(jié)點(diǎn)1上加載,用鼠標(biāo)右鍵單擊資源組名稱(chēng)g_sypdb,在彈出的快捷菜單中選擇“Mi grate Resource”。

    ②在“Migrate Resource”對(duì)話(huà)框中,在“To Node”下拉列表中選擇另一個(gè)節(jié)點(diǎn)名稱(chēng)eccprd2,單擊“OK”按鈕。

    ③在資源組切換過(guò)程中,Cluster會(huì)暫時(shí)先停止資源組中的資源,然后再在指定的節(jié)點(diǎn)啟動(dòng)。等資源切換完成后,指定的資源組(默認(rèn))在節(jié)點(diǎn)2運(yùn)行。

    ④參考前面步驟,將g_sypascs資源組(實(shí)驗(yàn)環(huán)境中對(duì)應(yīng)的資源組名稱(chēng)為g_SAP,生產(chǎn)環(huán)境中對(duì)應(yīng)的資源組名稱(chēng)為g_sypascs)遷移到節(jié)點(diǎn)1。

    ⑤在“Constraints(約束條件)”中可以看到,在默認(rèn)情況下,g_sypascs資源組在節(jié)點(diǎn)1(主機(jī)名稱(chēng)為eccprd1),g_sypdb資源組在節(jié)點(diǎn)2(主機(jī)名稱(chēng)為eccprd2)。

    ⑥打開(kāi)終端桌面,執(zhí)行crm status查看Cluster狀態(tài)。

    常見(jiàn)故障解決

    1.如果配置資源的過(guò)程中,服務(wù)器突然退出圖形界面,返回到到命令行界面并報(bào)如下錯(cuò)誤:

    Failed to connect to socket/var/run/dbus/syste m_bus_socket:No such file or directory

    按ALT F1或F2,切換到另一個(gè)窗口,使用root帳戶(hù)登錄,執(zhí)行/etc/init.d/dbus start啟動(dòng)服務(wù)后,服務(wù)器會(huì)再次進(jìn)入圖形界面。

    2.兩臺(tái)服務(wù)器交替重新啟動(dòng)。

    當(dāng)兩臺(tái)群集的心跳線(xiàn)斷開(kāi)后就會(huì)出現(xiàn)這種情況,應(yīng)檢查2臺(tái)服務(wù)器用于心跳的網(wǎng)線(xiàn)。

    猜你喜歡
    群集網(wǎng)卡IP地址
    在DDS 中間件上實(shí)現(xiàn)雙冗余網(wǎng)卡切換的方法
    Cecilia Chiang, pioneer of Chinese cuisine
    鐵路遠(yuǎn)動(dòng)系統(tǒng)幾種組網(wǎng)方式IP地址的申請(qǐng)和設(shè)置
    Server 2016網(wǎng)卡組合模式
    基于SNMP的IP地址管理系統(tǒng)開(kāi)發(fā)與應(yīng)用
    黑龍江電力(2017年1期)2017-05-17 04:25:16
    基于自組織結(jié)對(duì)行為的群集機(jī)器人分群控制方法
    淺談ODX與動(dòng)態(tài)群集
    挑戰(zhàn)Killer網(wǎng)卡Realtek網(wǎng)游專(zhuān)用Dragon網(wǎng)卡
    Windows下計(jì)算機(jī)群集技術(shù)的實(shí)現(xiàn)
    巧識(shí)劣質(zhì)水晶頭
    亚洲第一区二区三区不卡| 国产一级毛片在线| 久久久久久大精品| 欧美一区二区国产精品久久精品| 国产大屁股一区二区在线视频| 精品久久久久久成人av| 直男gayav资源| 啦啦啦观看免费观看视频高清| 秋霞伦理黄片| 国产精品人妻久久久久久| 内射极品少妇av片p| 精品少妇黑人巨大在线播放 | 亚洲精品日韩在线中文字幕| eeuss影院久久| 高清日韩中文字幕在线| 色哟哟·www| 校园人妻丝袜中文字幕| 一区二区三区乱码不卡18| 日本欧美国产在线视频| 麻豆成人午夜福利视频| 蜜桃亚洲精品一区二区三区| 天堂av国产一区二区熟女人妻| 久久久久国产网址| 99视频精品全部免费 在线| 午夜福利高清视频| 成人国产麻豆网| 久久久久久久午夜电影| 国产精华一区二区三区| 欧美高清性xxxxhd video| 亚洲,欧美,日韩| av在线蜜桃| 国产私拍福利视频在线观看| 69av精品久久久久久| 能在线免费观看的黄片| 国产精品久久电影中文字幕| 看黄色毛片网站| 久久人妻av系列| 国产精品一及| 精品不卡国产一区二区三区| 三级男女做爰猛烈吃奶摸视频| 永久网站在线| 欧美一区二区精品小视频在线| 国产av在哪里看| 久久这里只有精品中国| 国产精品一区二区三区四区久久| 美女xxoo啪啪120秒动态图| 毛片一级片免费看久久久久| 精品欧美国产一区二区三| 久久精品久久久久久久性| 99久久成人亚洲精品观看| 秋霞伦理黄片| 看十八女毛片水多多多| 国产爱豆传媒在线观看| 亚洲av免费在线观看| 男插女下体视频免费在线播放| videos熟女内射| 欧美日韩综合久久久久久| 国产精品无大码| 日韩成人av中文字幕在线观看| 成人鲁丝片一二三区免费| 日日摸夜夜添夜夜添av毛片| 亚洲精品成人久久久久久| 校园人妻丝袜中文字幕| 成人亚洲精品av一区二区| 久久鲁丝午夜福利片| 亚洲成人中文字幕在线播放| 午夜免费激情av| 国产成人精品一,二区| 欧美日韩一区二区视频在线观看视频在线 | 国产精品精品国产色婷婷| 人妻系列 视频| 人人妻人人看人人澡| 久久久午夜欧美精品| 青春草亚洲视频在线观看| 日韩一区二区三区影片| 日本熟妇午夜| 国产精品av视频在线免费观看| 国产精品久久久久久av不卡| 国产一区有黄有色的免费视频 | 久久热精品热| 欧美一区二区亚洲| 久久草成人影院| 人妻制服诱惑在线中文字幕| 亚洲av男天堂| 毛片女人毛片| 在线播放无遮挡| 只有这里有精品99| 亚洲五月天丁香| 日韩欧美国产在线观看| 日韩av在线免费看完整版不卡| 中国国产av一级| 日本黄色片子视频| 免费无遮挡裸体视频| 亚洲av.av天堂| 久久国内精品自在自线图片| 国产免费又黄又爽又色| 国产精品国产三级专区第一集| 一级二级三级毛片免费看| 欧美3d第一页| 一级黄色大片毛片| 高清av免费在线| 亚洲人与动物交配视频| 国产毛片a区久久久久| 日本wwww免费看| 一区二区三区乱码不卡18| 亚洲在线观看片| 中文字幕av成人在线电影| 成人漫画全彩无遮挡| 欧美成人精品欧美一级黄| 波野结衣二区三区在线| 久久久久久国产a免费观看| 非洲黑人性xxxx精品又粗又长| 国产伦一二天堂av在线观看| 搡女人真爽免费视频火全软件| 久久久久九九精品影院| 欧美高清成人免费视频www| 欧美日韩在线观看h| 少妇猛男粗大的猛烈进出视频 | 特大巨黑吊av在线直播| 亚洲欧美精品自产自拍| 极品教师在线视频| 亚洲成人av在线免费| 色噜噜av男人的天堂激情| 一区二区三区乱码不卡18| 亚洲三级黄色毛片| 久久99蜜桃精品久久| 亚洲aⅴ乱码一区二区在线播放| 尤物成人国产欧美一区二区三区| 亚洲av中文av极速乱| 免费看美女性在线毛片视频| 在线播放国产精品三级| 男的添女的下面高潮视频| 深爱激情五月婷婷| 精品人妻一区二区三区麻豆| 婷婷色麻豆天堂久久 | 亚洲成人av在线免费| 国产成人精品婷婷| a级毛色黄片| 欧美激情久久久久久爽电影| 色吧在线观看| 少妇熟女欧美另类| 精品不卡国产一区二区三区| 精品久久国产蜜桃| 亚洲不卡免费看| 日本黄色视频三级网站网址| 久久综合国产亚洲精品| 国产成人a区在线观看| 一区二区三区高清视频在线| 午夜亚洲福利在线播放| 欧美一级a爱片免费观看看| 午夜福利在线在线| 亚洲综合精品二区| 国产伦一二天堂av在线观看| 国产精品人妻久久久影院| 免费黄色在线免费观看| 欧美区成人在线视频| 国产黄a三级三级三级人| 少妇熟女欧美另类| av.在线天堂| 国产高清国产精品国产三级 | 国产男人的电影天堂91| 99久国产av精品| av天堂中文字幕网| 日本五十路高清| 永久免费av网站大全| 村上凉子中文字幕在线| 欧美精品国产亚洲| 国产精品女同一区二区软件| 国产精品一区www在线观看| 精品久久久噜噜| 精品国产一区二区三区久久久樱花 | 九草在线视频观看| 亚洲成人精品中文字幕电影| 久久久久久大精品| 亚洲成人久久爱视频| 啦啦啦观看免费观看视频高清| 中文亚洲av片在线观看爽| 亚洲伊人久久精品综合 | 国产黄片美女视频| 床上黄色一级片| 99久国产av精品| 国产精品久久久久久久电影| 久久精品综合一区二区三区| 高清在线视频一区二区三区 | 亚洲欧美清纯卡通| 人妻制服诱惑在线中文字幕| 九九热线精品视视频播放| 亚洲人成网站在线播| av在线蜜桃| 69人妻影院| 一级爰片在线观看| 久久久久精品久久久久真实原创| 99热6这里只有精品| 欧美不卡视频在线免费观看| 国产亚洲最大av| 国产久久久一区二区三区| 两个人的视频大全免费| videossex国产| 国产精品野战在线观看| 国产伦精品一区二区三区视频9| 国产淫片久久久久久久久| 少妇熟女aⅴ在线视频| 亚州av有码| 婷婷色av中文字幕| 久久久亚洲精品成人影院| 亚洲aⅴ乱码一区二区在线播放| 青春草视频在线免费观看| 国产亚洲5aaaaa淫片| 成人无遮挡网站| 成人午夜精彩视频在线观看| 国产精品久久久久久精品电影| 亚洲欧美一区二区三区国产| 亚洲色图av天堂| 久久久久久久午夜电影| 国产成人a区在线观看| 国产 一区精品| 中文乱码字字幕精品一区二区三区 | 三级男女做爰猛烈吃奶摸视频| 综合色av麻豆| 青春草视频在线免费观看| 精品久久久久久久久亚洲| 好男人在线观看高清免费视频| 亚洲最大成人中文| 国产一区亚洲一区在线观看| 一个人免费在线观看电影| 久久精品久久久久久噜噜老黄 | 精品一区二区三区视频在线| 久久久精品大字幕| 一级黄色大片毛片| 99久久中文字幕三级久久日本| 男人的好看免费观看在线视频| 亚洲人成网站在线播| 亚洲欧美成人精品一区二区| 日本与韩国留学比较| 九九热线精品视视频播放| 国产人妻一区二区三区在| 亚洲美女搞黄在线观看| 精品少妇黑人巨大在线播放 | 在现免费观看毛片| 亚洲在线自拍视频| 午夜福利在线观看免费完整高清在| 精品久久久久久久久av| 99在线视频只有这里精品首页| 99久久成人亚洲精品观看| 女人久久www免费人成看片 | 亚洲欧美中文字幕日韩二区| 高清午夜精品一区二区三区| 性插视频无遮挡在线免费观看| 亚洲人成网站在线观看播放| 高清av免费在线| 蜜桃久久精品国产亚洲av| 国产精品综合久久久久久久免费| 毛片女人毛片| 精品国产露脸久久av麻豆 | 超碰97精品在线观看| 三级国产精品欧美在线观看| 插阴视频在线观看视频| 亚洲色图av天堂| 欧美性猛交╳xxx乱大交人| 一级爰片在线观看| 国产成人免费观看mmmm| 久久久国产成人精品二区| 亚洲精品aⅴ在线观看| 欧美xxxx黑人xx丫x性爽| 日日摸夜夜添夜夜添av毛片| АⅤ资源中文在线天堂| 十八禁国产超污无遮挡网站| 26uuu在线亚洲综合色| 日韩 亚洲 欧美在线| 人体艺术视频欧美日本| 久久午夜福利片| 亚洲,欧美,日韩| 有码 亚洲区| 老女人水多毛片| 精华霜和精华液先用哪个| 午夜激情福利司机影院| 国产乱人视频| 国产真实乱freesex| 国产熟女欧美一区二区| 性插视频无遮挡在线免费观看| 亚洲性久久影院| 国产一区二区在线av高清观看| 级片在线观看| 亚洲综合色惰| 久久久久久久久久久丰满| 免费观看a级毛片全部| 99热6这里只有精品| 国内精品美女久久久久久| 亚洲五月天丁香| 不卡视频在线观看欧美| 国产精品女同一区二区软件| 日日摸夜夜添夜夜添av毛片| 精品久久国产蜜桃| 日韩一区二区视频免费看| 国产私拍福利视频在线观看| 天堂影院成人在线观看| 久久久久精品久久久久真实原创| 老司机福利观看| 2022亚洲国产成人精品| 中文字幕精品亚洲无线码一区| 亚洲av日韩在线播放| 好男人视频免费观看在线| 国产探花极品一区二区| 九九热线精品视视频播放| 大又大粗又爽又黄少妇毛片口| 99热网站在线观看| 尤物成人国产欧美一区二区三区| 黄片wwwwww| 女人被狂操c到高潮| 亚洲精品亚洲一区二区| 国产精品美女特级片免费视频播放器| 国产爱豆传媒在线观看| 久99久视频精品免费| 日本-黄色视频高清免费观看| 毛片一级片免费看久久久久| www.av在线官网国产| 我要搜黄色片| 两性午夜刺激爽爽歪歪视频在线观看| 国产精品爽爽va在线观看网站| 可以在线观看毛片的网站| 在线免费观看的www视频| 高清毛片免费看| 日韩中字成人| 欧美成人精品欧美一级黄| 村上凉子中文字幕在线| 国产单亲对白刺激| 97人妻精品一区二区三区麻豆| 国产精品一二三区在线看| 亚洲精品自拍成人| 日韩一区二区三区影片| 久久99蜜桃精品久久| 韩国av在线不卡| 精品人妻偷拍中文字幕| 国产中年淑女户外野战色| 两个人的视频大全免费| 精品人妻熟女av久视频| 三级国产精品欧美在线观看| av在线播放精品| 啦啦啦韩国在线观看视频| 亚洲一区高清亚洲精品| 国产69精品久久久久777片| 亚洲人成网站在线观看播放| 最新中文字幕久久久久| 国产麻豆成人av免费视频| 国语自产精品视频在线第100页| 长腿黑丝高跟| 18禁动态无遮挡网站| 成年女人看的毛片在线观看| 一夜夜www| 99热精品在线国产| 亚洲乱码一区二区免费版| 亚洲高清免费不卡视频| av黄色大香蕉| 久久精品人妻少妇| 一区二区三区乱码不卡18| 国产精品国产高清国产av| 偷拍熟女少妇极品色| 亚洲在线观看片| 免费看a级黄色片| 久久久久九九精品影院| 一级毛片aaaaaa免费看小| eeuss影院久久| 成人性生交大片免费视频hd| 少妇高潮的动态图| 国产成人福利小说| 欧美成人午夜免费资源| 波多野结衣高清无吗| 天堂√8在线中文| 婷婷色av中文字幕| 精品人妻偷拍中文字幕| 午夜福利在线观看吧| 国产黄色视频一区二区在线观看 | 久久欧美精品欧美久久欧美| 亚洲精品色激情综合| 嘟嘟电影网在线观看| 美女脱内裤让男人舔精品视频| 97在线视频观看| 干丝袜人妻中文字幕| 精品熟女少妇av免费看| 中国国产av一级| 最近最新中文字幕大全电影3| 久久99精品国语久久久| 国产亚洲精品久久久com| 内射极品少妇av片p| 变态另类丝袜制服| 亚洲av电影不卡..在线观看| 日韩av不卡免费在线播放| 一区二区三区乱码不卡18| 欧美人与善性xxx| 九色成人免费人妻av| 亚洲国产精品久久男人天堂| 只有这里有精品99| 亚洲欧美日韩高清专用| 精品酒店卫生间| 欧美性猛交黑人性爽| 日本一本二区三区精品| 免费播放大片免费观看视频在线观看 | 久久久久久久久久久丰满| www.色视频.com| 精品人妻一区二区三区麻豆| 又粗又硬又长又爽又黄的视频| 一级毛片aaaaaa免费看小| 丰满乱子伦码专区| kizo精华| 欧美zozozo另类| 黄色日韩在线| 国产精品嫩草影院av在线观看| 成人毛片a级毛片在线播放| 国产人妻一区二区三区在| 日韩精品青青久久久久久| 久久99热6这里只有精品| 亚洲精品日韩av片在线观看| 99热这里只有精品一区| 日韩欧美三级三区| 精品久久久久久久人妻蜜臀av| 青春草亚洲视频在线观看| 两性午夜刺激爽爽歪歪视频在线观看| 18禁在线无遮挡免费观看视频| 你懂的网址亚洲精品在线观看 | 国产午夜精品久久久久久一区二区三区| 建设人人有责人人尽责人人享有的 | 欧美一区二区亚洲| 三级经典国产精品| 2021少妇久久久久久久久久久| 麻豆乱淫一区二区| 欧美bdsm另类| 十八禁国产超污无遮挡网站| 国国产精品蜜臀av免费| 色5月婷婷丁香| av在线播放精品| av福利片在线观看| 欧美色视频一区免费| 男女啪啪激烈高潮av片| 免费看日本二区| 草草在线视频免费看| 十八禁国产超污无遮挡网站| a级毛片免费高清观看在线播放| 中文资源天堂在线| 99国产精品一区二区蜜桃av| 亚洲电影在线观看av| av女优亚洲男人天堂| 久久精品人妻少妇| 晚上一个人看的免费电影| 搡女人真爽免费视频火全软件| 久久人妻av系列| 男女边吃奶边做爰视频| 两性午夜刺激爽爽歪歪视频在线观看| 最后的刺客免费高清国语| 边亲边吃奶的免费视频| 亚洲成人久久爱视频| av播播在线观看一区| 国产精品久久电影中文字幕| 亚洲国产欧美在线一区| 亚洲欧美精品综合久久99| 免费观看a级毛片全部| 直男gayav资源| 国产亚洲91精品色在线| 亚洲性久久影院| 天天躁日日操中文字幕| 大话2 男鬼变身卡| 美女高潮的动态| 热99在线观看视频| 亚洲三级黄色毛片| 精品久久久久久久久av| 一级毛片aaaaaa免费看小| 天堂√8在线中文| 日韩视频在线欧美| АⅤ资源中文在线天堂| 99热精品在线国产| 国产一区二区亚洲精品在线观看| 美女被艹到高潮喷水动态| 亚洲av福利一区| 真实男女啪啪啪动态图| 少妇丰满av| 欧美3d第一页| 自拍偷自拍亚洲精品老妇| 少妇人妻精品综合一区二区| 国产精品综合久久久久久久免费| 午夜精品在线福利| 日本免费在线观看一区| 国语对白做爰xxxⅹ性视频网站| 在线观看66精品国产| 卡戴珊不雅视频在线播放| 欧美激情久久久久久爽电影| 69人妻影院| 伊人久久精品亚洲午夜| 亚洲av一区综合| 高清视频免费观看一区二区 | 亚洲国产精品成人综合色| 九草在线视频观看| 亚洲欧美日韩卡通动漫| 天天一区二区日本电影三级| 精品少妇黑人巨大在线播放 | 久久久国产成人精品二区| 九草在线视频观看| 舔av片在线| 看黄色毛片网站| 丰满乱子伦码专区| 大又大粗又爽又黄少妇毛片口| 黑人高潮一二区| 亚洲在线观看片| 又粗又硬又长又爽又黄的视频| 精品久久久噜噜| 中文精品一卡2卡3卡4更新| 亚洲天堂国产精品一区在线| 色综合亚洲欧美另类图片| 99久久成人亚洲精品观看| 美女国产视频在线观看| 国产大屁股一区二区在线视频| 国产精品,欧美在线| 又爽又黄a免费视频| 99热网站在线观看| 丝袜喷水一区| 五月玫瑰六月丁香| 欧美一级a爱片免费观看看| 亚洲熟妇中文字幕五十中出| 精品国内亚洲2022精品成人| 国产av不卡久久| 美女被艹到高潮喷水动态| 久久久精品94久久精品| 亚洲精华国产精华液的使用体验| 中国国产av一级| 一个人看视频在线观看www免费| 国产黄片视频在线免费观看| 日本黄色视频三级网站网址| 女人被狂操c到高潮| 亚洲av免费在线观看| 高清视频免费观看一区二区 | 亚洲人成网站高清观看| 午夜亚洲福利在线播放| 身体一侧抽搐| 欧美极品一区二区三区四区| 国产精品三级大全| 人人妻人人澡人人爽人人夜夜 | 国产91av在线免费观看| 亚洲国产欧美人成| 国产精品一区二区在线观看99 | 亚洲国产精品久久男人天堂| 色综合站精品国产| 在线a可以看的网站| 麻豆乱淫一区二区| 日韩欧美三级三区| 两性午夜刺激爽爽歪歪视频在线观看| 亚洲欧美日韩高清专用| 色噜噜av男人的天堂激情| 秋霞伦理黄片| 18禁在线无遮挡免费观看视频| 久久欧美精品欧美久久欧美| 亚洲天堂国产精品一区在线| 亚洲av一区综合| 寂寞人妻少妇视频99o| 欧美成人免费av一区二区三区| 少妇的逼好多水| 亚洲色图av天堂| 三级毛片av免费| 菩萨蛮人人尽说江南好唐韦庄 | 国产国拍精品亚洲av在线观看| www.av在线官网国产| 国产成人aa在线观看| 久久婷婷人人爽人人干人人爱| 午夜免费男女啪啪视频观看| 一本久久精品| av免费观看日本| 免费观看精品视频网站| 国产免费视频播放在线视频 | 偷拍熟女少妇极品色| 成年女人看的毛片在线观看| 亚洲欧美精品综合久久99| 男女边吃奶边做爰视频| 欧美区成人在线视频| 超碰97精品在线观看| 天堂√8在线中文| h日本视频在线播放| 99热全是精品| 国产精品人妻久久久影院| 看免费成人av毛片| 欧美xxxx性猛交bbbb| 美女国产视频在线观看| 熟妇人妻久久中文字幕3abv| 国产淫片久久久久久久久| 亚洲美女视频黄频| 日日摸夜夜添夜夜添av毛片| 1024手机看黄色片| 久久婷婷人人爽人人干人人爱| 久久久久免费精品人妻一区二区| 99久国产av精品国产电影| 少妇被粗大猛烈的视频| 国产成人午夜福利电影在线观看| 午夜福利视频1000在线观看| 欧美bdsm另类| 免费av观看视频| 午夜精品在线福利| 亚洲av成人精品一二三区| av在线亚洲专区| 久久久国产成人免费| 精品一区二区免费观看| 国产午夜精品论理片| 久久久国产成人免费| 色综合亚洲欧美另类图片| 国产探花极品一区二区| 国产麻豆成人av免费视频| 日韩欧美三级三区| 伦理电影大哥的女人| a级毛色黄片| 99在线人妻在线中文字幕| 国语自产精品视频在线第100页| 国产69精品久久久久777片| 精品久久久久久久久av| 熟女电影av网| 久久久久久久国产电影| 欧美性猛交╳xxx乱大交人| 纵有疾风起免费观看全集完整版 | 欧美高清成人免费视频www| 男人和女人高潮做爰伦理| 精品久久久久久电影网 |