LB集群之LVS介绍

1. LB集群之LVS介绍

LB集群是load balance 集群的简写，翻译成中文就是负载均衡集群。常用的负载均衡开源软件有，nginx、lvs、keepalived，商业的硬件负载均衡设备有F5，Netscale。

LB集群的结构如下图，原理也很简单，就是当用户的请求过来时，会直接发到分发器（Director Server）上，然后它把用户的请求根据预先设置好的算法，只能均衡的分发到后端真正的服务器（Real Server）上。如果不同的机器，可能用户请求到的数据不一样，为了避免这样情况的发生，所以用到了共享存储，这样保证所有用户请求的数据是一样的。

LVS是一个实现负载均衡集群的开源软件项目，LVS架构从逻辑上课分为调度层（Director），server层（Real server）和共享存储。LVS从实现上，分为下面三种模式：

NAT（调度器将请求的目标IP即vip改为Real Server的ip，返回的数据包也经过调度器，调度器再把原地址修改为vip）。
TUN （调度器将请求来的数据包封装加密通过IP隧道转发到后端的real server上，而real server会直接把数据返回给客户端，而不再经过调度器。）
DR （调度器将请求来的数据包的目标mac地址改为real server的mac地址，返回的时候也不经过调度器，直接返回给客户端）
参考资料：LVS原理详解（3种工作方式8种调度算法）

图中出现的几个IP概念，需要解释一下：

DIP（Director ip）为分发器IP，NAT模式下它必须是公网IP，要对外服务。
VIP（Virtual ip）为虚拟IP，用在TUN和DR模式中，需要同时配置在分发器和后端真实服务器上。
RIP（Real ip）为后端真实服务器的IP，在TUN和DR模式中，RIP为公网IP。

要想把用户的请求调度给后端RS，是需要经过调度算法来实现的，那么关于LVS的调度算法，都有哪些？

轮叫调度（Round Robin）（简称rr），这种算法是最简单的，不管后端RS配置和处理能力，非常均衡的分发下去。
加权轮叫（Weighted Round Robin）（简称wrr），比上面的算法多了一个权重概念，可以给RS设置权重，权重越高，那么分发的请求数越多，权重的取值范围0-100.
最少链接（least connection）（LC），这个算法会根据后端RS的连接数来决定把请求分发给谁，比如RS1链接数比RS2链接数少，那么请求就优先发给RS1。
加权最少链接（Weighted Least Connection）（WLC），比第三个算法多了一个权重概念。
基于局部性的最少连接调度算法(lblc)是请求数据包的目标IP地址的一种调度算法，该算法先根据请求的目标IP地址寻找最近的该目标IP地址所有使用的服务器，如果这台服务器依然可用，并且用能力处理该请求，调度器会尽量选择相同的服务器，否则会继续选择其他可行的服务器。
带复杂的基于局部性最少的连接算法(lblcr)激励的不是一个目标IP与一台服务器之间的连接记录，他会维护一个目标IP到一组服务器之间的映射关系，防止单点服务器负责过高。
目标地址散列调度算法(DH)也是根据目标IP地址通过散列函数将目标IP与服务器建立映射关系，出现服务器不可用或负载过高的情况下，发往该目标IP的请求会固定发给该服务器。
源地址散列调度算法(SH)与目标地址散列调度算法类似，但它是根据源地址散列算法进行静态分配固定的服务器资源。

2. LVS的NAT模式

1. 环境说明

台服务器一台作为director, 两台作为real server
Director 有一个外网ip (192.168.31.166) 和一个内网ip(192.168.21.166), 两个real server上只有内网ip(192.168.21.100)和(192.168.21.101) 并且需要把两个real server的内网网关设置为director的内网ip(192.168.21.166)

补充：lvs nat模式时设置网络环境的方法

2. 安装和配置

两个real server 上都安装httpd:

1	yum install -y nginx

Director上安装ipvsadm

1	yum install -y ipvsadm

Direcotr 上

vim /usr/local/sbin/lvs_nat.sh //增加:


#! /bin/bash
# director 服务器上开启路由转发功能: 
echo 1 > /proc/sys/net/ipv4/ip_forward 
# 关闭icmp的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth0/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth1/send_redirects

# director 设置nat防火墙
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.21.0/24  -j MASQUERADE
# director设置ipvsadm
IPVSADM='/sbin/ipvsadm'
$IPVSADM -C
$IPVSADM -A -t 192.168.31.166:80 -s lc -p 300
$IPVSADM -a -t 192.168.31.166:80 -r 192.168.21.100:80 -m -w 1
$IPVSADM -a -t 192.168.31.166:80 -r 192.168.21.101:80 -m -w 1

直接运行这个脚本就可以完成lvs/nat的配置了:

1	/bin/bash /usr/local/sbin/lvs_nat.sh

3. 测试

通过浏览器测试两台机器上的web内容，为了区分开，我们可以把nginx的默认页修改一下：

1 2	rs1上： echo "rs1rs1" >/usr/share/nginx/html/index.html rs2上： echo "rs2rs2" >/usr/share/nginx/html/index.html

3. LVS的DR设置

1. 环境说明

三台机器:
director(eth0192.168.31.166, vip eth0:0: 192.168.31.110)
real server1(eth0 rip: 192.168. 31.100, vip lo:0: 192.168.31.110)
real server2(eth0 rip: 192.168.31.101, vip lo:0: 192.168.31.110)

2. 编写脚本

Director 上

vim /usr/local/sbin/lvs_dr.sh //增加

#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/sbin/ipvsadm
vip=192.168.31.110
rs1=192.168.31.100
rs2=192.168.31.101
ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev eth0:0
$ipv -C
$ipv -A -t $vip:80 -s rr 
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

两台rs上：

vim /usr/local/sbin/lvs_dr_rs.sh
#! /bin/bash
vip=192.168.31.110
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up 
route add -host $vip lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

关于arp_ignore和 arp_announce参考：LVS负载均衡中arp_ignore和arp_annonuce参数配置的含义

然后director上执行:

1	bash /usr/local/sbin/lvs_dr.sh

两台rs上执行:

1	bash /usr/local/sbin/lvs_dr_rs.sh

Windows下浏览器测试访问。

4. LVS/DR + keepalived配置

注意：前面虽然我们已经配置过一些操作，但是下面我们使用keepaliave操作和之前的操作是有些冲突的，所以若是之前配置过DR，请首先做如下操作：

dr上执行：

1 2	$ipv -C ifconfig eth0:0 down

前面的lvs虽然已经配置成功也实现了负载均衡，但是我们测试的时候发现，当某台real server把httpd进程停掉，那么director照样会把请求转发过去，这样就造成了某些请求不正常。所以需要有一种机制用来检测real server的状态，这就是keepalived。它的作用除了可以检测rs状态外，还可以检测备用director的状态，也就是说keepalived可以实现ha集群的功能，当然了也需要一台备用director.
备用director也需要安装一下keepalived软件

1	yum install -y keepalived

安装好后，编辑配置文件

vim /etc/keepalived/keepalived.conf   //加入如下：
vrrp_instance VI_1 {
    state MASTER   #备用服务器上为 BACKUP
    interface eth0
    virtual_router_id 51
    priority 100  #备用服务器上为90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.31.110
    }
}
virtual_server 192.168.31.110 80 {
    delay_loop 6                  #(每隔10秒查询realserver状态)
    lb_algo wlc                  #(lvs 算法)
    lb_kind DR                  #(Direct Route)
    persistence_timeout 60        #(同一IP的连接60秒内被分配到同一台realserver)
    protocol TCP                #(用TCP协议检查realserver状态)

real_server 192.168.31.100 80 {
        weight 100               #(权重)
        TCP_CHECK {
        connect_timeout 10       #(10秒无响应超时)
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
real_server 192.168.31.101 80 {
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
}

以上为主director的配置文件，从director的配置文件只需要修改

1 2	state MASTER -> state BACKUP priority 100 -> priority 90

配置完keepalived后，需要开启端口转发（主从都要做）：

1	echo 1 > /proc/sys/net/ipv4/ip_forward

然后，两个rs上执行 /usr/local/sbin/lvs_dr_rs.sh 脚本：

1	bash /usr/local/sbin/lvs_dr_rs.sh

最后，两个director上启动keepalived服务（先主后从）：

1	/etc/init.d/keepalived start

另外，需要注意的是，启动keepalived服务会自动生成vip和ipvsadm规则，不需要再去执行上面提到的/usr/local/sbin/lvs_dr.sh 脚本。