lvs负载均衡安装配置、测试全攻略

前面我们介绍了相关的lvs负载均衡的概念，以及集群和负载均衡的含义。那么如何进行lvs负载均衡的实现呢？现在我们就将其中的具体操作步骤为大家呈现出来。希望广大的读者能从中总结经验，让您的配置工作如鱼得水。

以四台服务器为例实现lvs负载均衡:

安装配置lvs负载均衡

1. 安装前准备:

(1)首先说明,lvs并不要求集群中的服务器规格划一,相反,可以根据服务器的不同配置和负载状况,调整负载分配策略,充分利用集群环境中的每一台服务器｡如下表:

Srv Eth0 Eth0:0 Eth1 Eth1:0 vs1 10.0.0.1 10.0.0.2 192.168.10.1 192.168.10.254 vsbak 10.0.0.3 192.168.10.102 real1 192.168.10.100 real2 192.168.10.101

其中,10.0.0.2是允许用户访问的IP｡

(2)这4台服务器中,vs1作为虚拟服务器(即lvs负载均衡的服务器),负责将用户的访问请求转发到集群内部的real1,real2,然后由real1,real2分别处理｡ Client为客户端测试机器,可以为任意操作系统｡

(3)所有OS为redhat6.2,其中vs1 和vsbak 的核心是2.2.19, 而且patch过ipvs的包, 所有real server的Subnet mask 都是24位, vs1和vsbak 的10.0.0. 网段是24 位｡

2.理解lvs中的相关术语

(1) ipvsadm :ipvsadm是lvs的一个用户界面｡在lvs负载均衡器上编译､安装ipvsadm｡

(2) 调度算法: lvs负载均衡器有以下几种调度规则:Round-robin,简称rr;weighted Round-robin,简称wrr;每个新的连接被轮流指派到每个物理服务器｡Least-connected,简称lc;weighted Least-connected,简称wlc,每个新的连接被分配到负担最小的服务器｡

(3) Persistent client connection,简称pcc,(持续的客户端连接,内核2.2.10版以后才支持)｡所有来自同一个IP的客户端将一直连接到同一个物理服务器｡超时时间被设置为360秒｡Pcc是为https和cookie服务设置的｡在这处调度规则下,第一次连接后,所有以后来自相同客户端的连接(包括来自其它端口)将会发送到相同的物理服务器｡但这也会带来一个问题,因为大约有25%的Internet 可能具有相同的IP地址｡

(4) Persistent port connection调度算法:在内核2.2.12版以后,pcc功能已从一个调度算法(你可以选择不同的调度算法:rr､wrr､lc､wlc､pcc)演变成为了一个开关选项(你可以让rr､ wrr､lc､wlc具备pcc的属性)｡在设置时,如果你没有选择调度算法时,ipvsadm将默认为wlc算法｡ 在Persistent port connection(ppc)算法下,连接的指派是基于端口的,例如,来自相同终端的80端口与443端口的请求,将被分配到不同的物理服务器上｡不幸的是,如果你需要在的网站上采用cookies时将出问题,因为http是使用80端口,然而cookies需要使用443端口,这种方法下,很可能会出现cookies不正常的情况｡

(5)Load Node Feature of Linux Director:让Load balancer 也可以处理users 请求｡

(6)IPVS connection synchronization｡

(7)ARP Problem of lvs/TUN and lvs/DR:这个问题只在lvs/DR,lvs/TUN 时存在｡#p#

3. lvs负载均衡配置实例

(1) 需要的软件包和包的安装:

I. piranha-gui-0.4.12-2*.rpm (GUI接口cluster设定工具);

II. piranha-0.4.12-2*.rpm;

III. ipchains-1.3.9-6lp*.rpm (架设NAT)｡

取得套件或mount到光盘,进入RPMS目录进行安装:

# rpm -Uvh piranha* # rpm -Uvh ipchains*

(2) real server群:

真正提供服务的server(如web server),在NAT形式下是以内部虚拟网域的形式,设定如同一般虚拟网域中Client端使用网域:192.168.10.0/24 架设方式同一般使用虚拟IP之局域网络｡

a. 设网卡IP

real1 :192.168.10.100/24 real2 :192.168.10.101/24

b.每台server均将default gateway指向192.168.10.254｡ 192.168.10.254为该网域唯一对外之信道,设定在virtual server上,使该网域进出均需通过virtual server ｡

c.每台server均开启httpd功能供web server服务,可以在各real server上放置不同内容之网页,可由浏览器观察其对各real server读取网页的情形｡

d.每台server都开启rstatd､sshd､rwalld､ruser､rsh､rsync,并且从Vserver上面拿到相同的lvs.conf文件｡

(3) virtual server:

作用在导引封包的对外主机,专职负责封包的转送,不提供服务,但因为在NAT型式下必须对进出封包进行改写,所以负担亦重｡

a.IP设置:

对外eth0:IP:10.0.0.1 eth0:0 :10.0.0.2

对内eth1:192.168.10.1 eth1:0 :192.168.10.254

NAT形式下仅virtual server有真实IP,real server群则为透过virtual server.

b.设定NAT功能

# echo 1 >; /proc/sys/net/ipv4/ip_forward # echo 1 >; /proc/sys/net/ipv4/ip_always_defrag # ipchains -P forward MASQ

c.设定piranha 进入X-window中 (也可以直接编辑/etc/lvs.cf )

a).执行面板系统piranha

b).设定“整体配置"(Global Settings) 主lvs服务器主机IP:10.0.0.2, 选定网络地址翻译(预设) NAT路径名称: 192.168.10.254, NAT 路径装置: eth1:0

c).设定虚拟服务器(Virtual Servers) 添加编辑虚拟服务器部分:(Virtual Server)名称:(任意取名);应用:http;协议: tcp;连接:80;地址:10.0..0.2;装置:eth0:0; 重入时间:180 (预设);服务延时:10 (预设);加载监控工具:ruptime (预设);调度策略:Weighted least-connections; 持续性:0 (预设); 持续性屏蔽: 255.255.255.255 (预设); 按下激活:实时服务器部分:(Real Servers); 添加编辑:名字:(任意取名); 地址: 192.168.10.100; 权重:1 (预设) 按下激活

另一架real server同上,地址:192.168.10.101｡

d). 控制/监控(Controls/Monitoring) 控制:piranha功能的激活与停止,上述内容设定完成后即可按开始键激活piranha.监控器:显示ipvsadm设定之routing table内容 可立即更新或定时更新｡#p#

(4)备援主机的设定(HA)

单一virtual server的cluster架构virtual server 负担较大,提供另一主机担任备援,可避免virtual server的故障而使对外服务工作终止;备份主机随时处于预备状态与virtual server相互侦测

a.备份主机:

eth0: IP 10.0.0.3

eth1: IP 192.168.10.102 同样需安装piranha,ipvsadm,ipchains等套件

b.开启NAT功能(同上面所述)｡

c.在virtual server(10.0.0.2)主机上设定｡

a).执行piranha冗余度 ;

b).按下“激活冗余度";

冗余lvs服务器IP: 10.0.0.3;HEARTBEAT间隔(秒数): 2 (预设)

假定在…秒后进入DEAD状态: 5 (预设); HEARTBEAT连接埠: 539 (预设)

c).按下“套用";

d).至“控制/监控"页,按下“在当前执行层添加PULSE DEAMON" ,按下“开始";

e).在监控器按下“自动更新",这样可由窗口中看到ipvsadm所设定的routing table,并且动态显示real server联机情形,若real server故障,该主机亦会从监视窗口中消失｡

d.激活备份主机之pulse daemon (执行# /etc/rc.d/init.d/pulse start)｡

至此,HA功能已经激活,备份主机及virtual server由pulse daemon定时相互探询,一但virtual server故障,备份主机立刻激活代替;至virtual server 正常上线后随即将工作交还virtual server｡

lvs负载均衡测试

经过了上面的lvs负载均衡配置步骤,现在可以测试lvs负载均衡了,步骤如下:

1. 分别在vs1,real1,real2上运行/etc/lvs/rc.lvs_dr｡注意,real1,real2上面的/etc/lvs 目录是vs2输出的｡如果您的NFS配置没有成功,也可以把vs1上/etc/lvs/rc.lvs_dr复制到real1,real2上,然后分别运行｡确保real1,real2上面的apache已经启动并且允许telnet｡

2. 测试Telnet:从client运行telnet 10.0.0.2, 如果登录后看到如下输出就说明集群已经开始工作了:(假设以guest用户身份登录)

[guest@real1 guest]$——说明已经登录到服务器real1上｡

再开启一个telnet窗口,登录后会发现系统提示变为:

[guest@real2 guest]$——说明已经登录到服务器real2上｡

3. 测试http:从client运行iexplore http://10.0.0.2

因为在real1 和real2 上面的测试页不同,所以登录几次之后,显示出的页面也会有所不同,这样说明real server 已经在正常工作了｡