大型网站集群构建之五 (load balancing)

From: http://blog.chinaunix.net/u/31455/showart.php?id=483445

Load balancing 是在高可用集群你非常重要的一部分，本来是非常复杂的一部分工作，由于有了张文嵩博士的软件变得非常简单和容易使用，张老师的网站是 http://www.linuxvirtualserver.org ，真希望能有更多这么牛的软件开源，大家用这个软件的时候别忘了从心里谢谢软件的作者啊。
    lvs软件现在高版本的基本上已经集成进内核了，操作方法也非常简单，非常像iptables样子，上手非常容易，简单介绍如下：

-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也
就是增加一台新的虚拟服务器。
-E --edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D --delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。
-C --clear 清除内核虚拟服务器表中的所有记录。
-R --restore 恢复虚拟服务器规则
-S --save 保存虚拟服务器规则，输出为-R 选项可读的格式
-a --add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器
记录。也就是在一个虚拟服务器中增加一台新的真实服务器
-e --edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录
-d --delete-server 删除一条虚拟服务器记录中的某条真实服务器记录
-L|-l --list 显示内核虚拟服务器表
-Z --zero 虚拟服务表计数器清零（清空当前的连接数量等）
--set tcp tcpfin udp 设置连接超时值
--start-daemon 启动同步守护进程。他后面可以是master 或backup，用来说
明LVS Router 是master 或是backup。在这个功能上也可以采用keepalived 的
VRRP 功能。
--stop-daemon 停止同步守护进程
-h --help 显示帮助信息
其他的选项:
-t --tcp-service service-address 说明虚拟服务器提供的是tcp 的服务
[vip:port] or [real-server-ip:port]
-u --udp-service service-address 说明虚拟服务器提供的是udp 的服务
[vip:port] or [real-server-ip:port]
-f --fwmark-service fwmark 说明是经过iptables 标记过的服务类型。
-s --scheduler scheduler 使用的调度算法，有这样几个选项
rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,
调度算法就有10中之多，你可以选择相应的算法来满足你的需求。
默认的调度算法是： wlc.
-p --persistent [timeout] 持久稳固的服务。这个选项的意思是来自同一个客
户的多次请求，将被同一台真实的服务器处理。timeout 的默认值为300 秒。
-M --netmask netmask persistent granularity mask
-r --real-server server-address 真实的服务器[Real-Server:port]
-g --gatewaying 指定LVS 的工作模式为直接路由模式（也是LVS 默认的模式）
-i --ipip 指定LVS 的工作模式为隧道模式
-m --masquerading 指定LVS 的工作模式为NAT 模式
-w --weight weight 真实服务器的权值
--mcast-interface interface 指定组播的同步接口
-c --connection 显示LVS 目前的连接 如：ipvsadm -L -c
--timeout 显示tcp tcpfin udp 的timeout 值 如：ipvsadm -L --timeout
--daemon 显示同步守护进程状态
--stats 显示统计信息
--rate 显示速率信息
--sort 对虚拟服务器和真实服务器排序输出
--numeric -n 输出IP 地址和端口的数字形式
    ipvsadm虽然已经满足了load balancing但他不能自动检测出real_server的好坏，如果一台real坏掉了，ipvsadm仍然会给他分配连接，为了解决这个问题，我们使用heartbead自带ldirectord来解决这个问题，ldirectord是用perl开发的需要安装一些perl模块。
    ldirectord的配置文件是ldirectord.cf，默认放在/etc下，我们只要配置好这个文件启动就可以了，而lvs只需要安装，不需要任何配置。
    ldirectord 配置文件如下：
用于mysql的ldirectord.cf(port nat)

# Global Directives
checktimeout=2
checkinterval=1
autoreload=yes
logfile="/var/log/ldirectord.log"
quiescent=yes

#Sample configuration for a MySQL virtual service.
virtual = 192.168.10.100:3306
        real=192.168.200.90->192.168.200.99:3306 masq
        real=172.16.200.90:3306 masq 2
        fallback=127.0.0.1:3306
        service=mysql
        scheduler=wlc
        netmask=255.255.255.0
        protocol=tcp
        checktype=negotiate
        login="db_username"
        passwd="db_password"
        database="db"
        request="select ... ...;"

用于apache的ldirectord.cf(mark dr)


# Global Directives
checktimeout=2
checkinterval=1
autoreload=yes
logfile="/var/log/ldirectord.log"
quiescent=yes

#Sample configuration for a MySQL virtual service.
virtual=80
        real=192.168.200.150->192.168.200.199:80 gate
        service=http
        scheduler=wlc
        protocol=fwm
        checktype=negotiate
        checkport=80
        virtualhost=web.xinyv.com
        request="welcome.shtml"
        receive="WELCOME"

iptables -t mangle -A PREROUTING -i eth0 -p tcp -m tcp --dport 80 -j MARK --set-mark 0x50

我习惯用端口号做mark标记，这样好记。

做完这些以后再服务器上绑定要做load balancing的虚拟ip

启动ldirectord服务应该就可以看到负载被分到下面的real机器上了。