负载均衡实例：如何解放昼夜不眠的网管？

笔者曾为客户设计过一系列项目方案，在真正施工时发现：如果客户方有24小时监控人员时，单台Nginx也是没问题的(很多为客户设计的1+2架构就能满足客户需求)，如果机器多的话，建议用Keepalived作双Nginx负载均衡器的HA。Nginx作负载均衡器的优点许多，简单概括为:①实现了可弹性化的架构，在压力增大的时候可以临时添加tomcat服务器添加到这个架构里面去;②upstream具有负载均衡能力，可以自动判断下面的机器，并且自动踢出不能正常提供服务的机器；③相对于lvs而言，正则分发和重定向更为灵活。而Keepalvied可保证单个nginx负载均衡器的有效性，避免单点故障，整个拓补如下：

布置整个环境用到的软件为:

apache-tomcat-6.0.20.tar.gz 
jdk-6u16-linux-i586.bin 
nginx-0.7.17.tar.gz 
prce-7.7.tar.gz

①首先分别在3台tomcat主机上布置java环境，安装tomcat，具体步骤如下（apache-tomcat-6.0.tar.gz可在apache.org上下载，jdk-6u16-linux-i586.bin可是用文件挖掘者直接搜索下载http://www.fdigg.net/search_jdk-6-linux-i586.htm）：

第一步，安装java环境。

JDK的安装

#chmod+xjdk-6u16-linux-i586.bin 
#./jdk-6u16-linux-i586.bin

到此JDK已经安装完成

建立符号链接

#ln-s/usr/local/jdk-1.6.0-16/bin/java/usr/bin/java 
#ln-s/usr/local/jdk-1.6.0-16/bin/javac/usr/bin/javac 
ln-s/usr/local/jdk-1.6.0-16/usr/local/jdk 
ln-s/usr/local/jdk-1.6.0-16/jre/usr/local/jre

TOMCAT的安装

#tarzxvfapache-tomcat-6.0.20.tar.gz 
#mvapache-tomcat-6.0.20/usr/local/tomcat

设置环境变量: vim /etc/rc.d/rc.local，以追加的形式添加如下内容

JAVA_HOME=/usr/local/jdk 
exportJAVA_HOME 
JRE_HOME=/usr/local/jre 
exportJRE_HOME 
CLASSPATH=/usr/local/tomcat/common/lib/:/usr/local/jdk/lib:/usr/local/jre/lib 
exportCLASSPATH 
PATH=$PATH:/usr/local/tomcat/bin/:/usr/local/apache/bin:/usr/local/jdk/bin:/usr/local/jre/bin 
exportPATH 
TOMCAT_HOME=/usr/local/tomcat 
exportTOMCAT_HOME

重启服务器，启动tomcat以检查是否存在错误：

#cd/usr/local/tomcat/bin 
#./startup.sh

http://IP地址:8080 可以看到猫头:)成功了。#p#

②分别在二台nginx负载均衡器上安装nginx及配置

下载及安装nginx:

wgetftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-7.7.tar.gz 
tarzxvfpcre-7.7.tar.gz 
cdpcre-7.7/ 
./configure 
make&&makeinstall 
wgethttp://sysoev.ru/nginx/nginx-0.7.17.tar.gz 
tarzxvfnginx-0.7.17.tar.gz 
cdnginx-0.7.17/ 
./configure--prefix=/usr/local/nginx--with-http_stub_status_module 
make&&makeinstall

这里贴上nginx.conf配置文件，不加任何说明，方便用X-shell直接粘贴，很人性化的噢:)二个nginx负载均衡器的文件一样，配置完成后分别用/usr/local/nginx/sbin/nginx启动。

userwwwwww; 
worker_processes8; 
pid/usr/local/nginx/logs/nginx.pid; 
worker_rlimit_nofile51200; 
events 
{ 
useepoll; 
worker_connections51200; 
} 
http{ 
includemime.types; 
default_typeapplication/octet-stream; 
server_names_hash_bucket_size128; 
client_header_buffer_size32k; 
large_client_header_buffers432k; 
client_max_body_size8m; 
sendfileon; 
tcp_nopushon; 
keepalive_timeout60; 
tcp_nodelayon; 
fastcgi_connect_timeout300; 
fastcgi_send_timeout300; 
fastcgi_read_timeout300; 
fastcgi_buffer_size64k; 
fastcgi_buffers464k; 
fastcgi_busy_buffers_size128k; 
fastcgi_temp_file_write_size128k; 
gzipon; 
gzip_min_length1k; 
gzip_buffers416k; 
gzip_http_version1.0; 
gzip_comp_level2; 
gzip_typestext/plainapplication/x-javascripttext/cssapplication/xml; 
gzip_varyon; 
upstreambackend 
{ 
server192.168.1.102:8080; 
server192.168.1.103:8080; 
server192.168.1.105:8080; 
} 
server{ 
listen80; 
server_namewww.yuhongchun027.com; 
location/{ 
root/var/www; 
indexindex.jspindex.htmindex.html; 
proxy_redirectoff; 
proxy_set_headerHost$host; 
proxy_set_headerX-Real-IP$remote_addr; 
proxy_set_headerX-Forwarded-For$proxy_add_x_forwarded_for; 
proxy_passhttp://backend; 
} 
#location/nginx{ 
#access_logon; 
#auth_basic"NginxStatus"; 
#auth_basic_user_file/usr/local/nginx/htpasswd; 
#} 
log_formataccess'$remote_addr-$remote_user[$time_local]"$request"' 
'$status$body_bytes_sent"$http_referer"' 
'"$http_user_agent"$http_x_forwarded_for'; 
access_log/var/log/access.logaccess; 
} 
}

③在二台Nginx机上安装及配置keepalived，做双机互备。

#wgethttp://www.keepalived.org/software/keepalived-1.1.15.tar.gz 
#tarzxvfkeepalived-1.1.15.tar.gz 
#cdkeepalived-1.1.15 
#./configure 
#make 
#makeinstall

将keepalived做成启动脚务，方便管理:

#cp/usr/local/etc/rc.d/init.d/keepalived/etc/rc.d/init.d/ 
#cp/usr/local/etc/sysconfig/keepalived/etc/sysconfig/ 
#mkdir/etc/keepalived 
#cp/usr/local/etc/keepalived/keepalived.conf/etc/keepalived/ 
#cp/usr/local/sbin/keepalived/usr/sbin/ 
#servicekeepalivedstart|stop

在二台Nginx上，我分别贴出keepalived.conf配置文件，配置完成后分别用service keepalived start启动。检验keepalived是否成功可用命令ip a

vrrp_instanceVI_INET1{ 
stateMASTER 
interfaceeth0 
virtual_router_id53 
priority200 
advert_int1 
authentication{ 
auth_typepass 
auth_passyourpass 
} 
virtual_ipaddress{ 
192.168.1.108 
} 
} 
vrrp_instanceVI_INET1{ 
stateBACKUP 
interfaceeth0 
virtual_router_id53 
priority100 
advert_int1 
authentication{ 
auth_typepass 
auth_passyourpass 
} 
virtual_ipaddress{ 
192.168.1.108 
} 
}

#p#

项目实施过程中遇到的问题:

1、session复制问题

以前用apache做负载均衡的时候，是选择了用 session sticky的模式，这样的话，用户每次进来都会是同一个服务器中的session，不会被转发到其他的服务器上。在这样的情况下，tomcat即使不做session复制也不会影响用户访问;Nginx有个类似模块ip_hash能解决此问题，但采用了ip_hash后，nginx就不能正常地用轮询将客户的要求平等的分发到后端tomcat服务器，所幸客户对并发要求不高，他们更关心的是后端的tomcat的高可用问题。

2、页面同步

办法①可以采用rsync自动同步的办法。

办法②后端采用存储，读数据采用同一个源。

办法③在程序上实现动态的调取数据(如图片及文字)采用后端的唯一数据库。

3、关于测试

公司的测试组用的测试工具为windows2003下的Load Runner，很强大的一款，但有时采用了ip_hash后，结果并不准确；解决为：在多台服务器上，采用多种测试工具，如:webbench、Load Runner来进行交叉测试。此外，生产环境下，并发1000就是一个很大的数值，用户数为100万的用户系统往往并未达到此数，这点也是让我们很惊异的；

4、安全方面：最前端建议放置Cisco四层防火墙+web防火墙的方法，效果相当好；整个系统出口带宽建议为100M，cisco防火墙映射整个系统的vip地址及80端口，系统内所有服务器均关闭iptables防火墙。

5、监控方面：用传说中的监控之神Nagios吧，配合139邮箱，效果不错。另，签于生产环境下的严谨性，欢迎来信交流抚琴煮酒：yuhongchun027@163.com。