haproxy

HAProxy是一个开源的,高性能的,高可用的,可以支持TCP和HTTP的负载均衡代理服务软件。

  • 支持双机热备
  • 良好的服务器节点健康检查
  • 故障节点服务器自动剔除
  • 节点服务器恢复后自动加入负载集群的功能
  • 能够补充Nginx的一些缺点比如Session的保持,Cookie的引导等工作
  • HAProxy是支持虚拟主机的,通过frontend指令来实现
  • HAProxy可以对Mysql读进行负载均衡,对后端的MySQL节点进行检测和负载均衡,不过在后端的MySQL slaves数量超过10台时性能不如LVS,所以我向大家推荐LVS+Keepalived。
  • 能对请求的url和header中的信息做匹配
  • HAProxy的负载均衡算法现在也越来越多了,具体有如下8种:
    ①roundrobin,表示简单的轮询,这个不多说,这个是负载均衡基本都具备的;
    ②static-rr,表示根据权重,建议关注;
    ③leastconn,表示最少连接者先处理,建议关注;
    ④source,表示根据请求源IP,这个跟Nginx的IP_hash机制类似,我们用其作为解决session问题的一种方法
    ⑤ri,表示根据请求的URI;
    ⑥rl_param,表示根据请求的URl参数"balance url_param" requires an URL parameter name;
    ⑦hdr(name),表示根据HTTP请求头来锁定每一次HTTP请求;
    ⑧rdp-cookie(name),表示根据据cookie(name)来锁定并哈希每一次TCP请求。

HAProxy简介

HAProxy特别适用于高负载,访问量大,但又需要回话保持的七层应用的代理业务.HAProxy几乎不需要任何优化,就可以支持数以万计的并发链接.Haproxy的代理模式,使得所有的应用服务器不会被暴露到公网上。

从1.3版本开始,Haproxy引入了frontend和backend的概念,frontend(acl规则匹配)可以让运维管理人员根局任意的HTTP请求头做规则匹配,然后把请求定向到相关的backend。

HAproxy支持两种主要的代理模式:

  • 基于4层的tcp应用代理(例如:邮件服务,内部协议通信服务器,mysql,https服务等)
  • 基于7层的http代理。在4层tcp代理模式下,HAproxy尽在客户端和服务器之间进行流量转发。但是在7层http代理模式下,HAProxy会分析应用层协议,并且能通过允许,拒绝,交换,增加,修改或者删除请求(request)或者响应(response)里指定内容控制协议.

拓扑结构图

四层代理

七层代理

安装

本安装脚本基于操作系统Ubuntu14.04 Server
安装的shell脚本保存于https://github.com/hanxt/haproxy_setup/setup.sh, 如下:

#!/bin/bash

ROOTPATH=`pwd`

export LANG=en
#wget  http://www.haproxy.org/download/1.6/src/haproxy-1.6.7.tar.gz;
tar zxvf  ./haproxy-1.6.7.tar.gz
cd $ROOTPATH/haproxy-1.6.7
make TARGET=linux2628 ARCH=x86_64
sudo make PREFIX=/usr/local/haproxy-1.6.7 install
sudo ln -s /usr/local/haproxy-1.6.7  /usr/local/haproxy;

cd /usr/local/haproxy;
sudo mkdir -p bin conf logs var/run  var/chroot

sudo useradd haproxy -s /sbin/nologin;
sudo chown -R haproxy:haproxy /usr/local/haproxy/var/run/;

sudo cp ./haproxy.cfg /usr/local/haproxy/conf;

查看README,可以获得关于更多的编译安装的帮助信息.

配置haproxy的日志环境,不同的操作系统配置方法不一致。

# vim /etc/syslog.conf 
添加: 
local0.*        /usr/local/logs/haproxy.log 
local3.*        /usr/local/logs/haproxy_err.log 
#vim /etc/sysconfig/syslog 
修改: 
SYSLOGD_OPTIONS="-r -m 0" 
service syslog restart
注: -r enables logging from remote machines

内核参数修改

注意:/etc/sysctl.conf为ubuntu系统内核参数修改文件,Centos待确认!
net.ipv4.ip_forward = 1 #基于NAT模式的负载均衡器都需要打开系统转发的功能

#使内核参数修改生效
sysctl -p

其他的常用参数优化:

haproxy.conf配置文件说明

HAProxy配置文件总体分为五个部分:

  • global:全局配置参数段,主要用来控制HAProxy启动前的进程及系统相关设置.
  • defaults:配置一些默认参数,如果frontend,backend,listen等端未设置就使用defaults的配置.
  • listen:frontend和backend的组合体
  • frontend:用来匹配接收客户所请求的域名,url等,并针对不同的匹配,做不同的请求处理.
  • backend:定义后端服务集群,以及后端服务器的权重,队列,连接数等选项。

一个http负载均衡代理的配置模板

global   # 全局参数的设置 
     log 127.0.0.1 local0 info 
     # log语法:log [max_level_1] 
     # 全局的日志配置,使用log关键字,指定使用127.0.0.1上的syslog服务中的local0日志设备,
     记录日志等级为info的日志 
     user haproxy 
     group haproxy 
     # 设置运行haproxy的用户和组,也可使用uid,gid关键字替代之 
     daemon 
     # 以守护进程的方式运行 
     nbproc 16
     # 设置haproxy启动时的进程数,根据官方文档的解释,我将其理解为:该值的设置应该和服务
     #器的CPU核心数一致,即常见的2颗8核心CPU的服务器,即共有16核心,则可以将其值设置为:
     #<=16 ,创建多个进程数,可以减少每个进程的任务队列,但是过多的进程数也可能会导致进程
     #的崩溃。这里我设置为16 
     maxconn 4096 
     # 定义每个haproxy进程的最大连接数 ,由于每个连接包括一个客户端和一个服务器端,所以单
     #个进程的TCP会话最大数目将是该值的两倍。 
     #ulimit -n 65536 
     # 设置最大打开的文件描述符数,在1.4的官方文档中提示,该值会自动计算,所以不建议进行
     #设置 
     pidfile /var/run/haproxy.pid 
     # 定义haproxy的pid
      
      
defaults # 默认部分的定义
     mode http
     # mode语法:mode {http|tcp|health} 。http是七层模式,tcp是四层模式,health是健康检测
     #,返回OK
     log 127.0.0.1 local3 err
     # 使用127.0.0.1上的syslog服务的local3设备记录错误信息
     retries 3
     # 定义连接后端服务器的失败重连次数,连接失败次数超过此值后将会将对应后端服务器标记为
     #不可用
     option httplog
     # 启用日志记录HTTP请求,默认haproxy日志记录是不记录HTTP请求的,只记录“时间[Jan 5 13
     #:23:46] 日志服务器[127.0.0.1] 实例名已经pid[haproxy[25218]] 信息[Proxy http_80_in s
     #topped.]”,日志格式很简单。
     option redispatch
     # 当使用了cookie时,haproxy将会将其请求的后端服务器的serverID插入到cookie中,以保证
     #会话的SESSION持久性;而此时,如果后端的服务器宕掉了,但是客户端的cookie是不会刷新的
     #,如果设置此参数,将会将客户的请求强制定向到另外一个后端server上,以保证服务的正常
     option abortonclose
     # 当服务器负载很高的时候,自动结束掉当前队列处理比较久的链接
     option dontlognull
     # 启用该项,日志中将不会记录空连接。所谓空连接就是在上游的负载均衡器或者监控系统为了
     #探测该服务是否存活可用时,需要定期的连接或者获取某一固定的组件或页面,或者探测扫描
     #端口是否在监听或开放等动作被称为空连接;官方文档中标注,如果该服务上游没有其他的负
     #载均衡器的话,建议不要使用该参数,因为互联网上的恶意扫描或其他动作就不会被记录下来
     option httpclose
     # 这个参数我是这样理解的:使用该参数,每处理完一个request时,haproxy都会去检查http头
     #中的Connection的值,如果该值不是close,haproxy将会将其***,如果该值为空将会添加为:
     #Connection: close。使每个客户端和服务器端在完成一次传输后都会主动关闭TCP连接。与该
     #参数类似的另外一个参数是“option forceclose”,该参数的作用是强制关闭对外的服务通道
     #,因为有的服务器端收到Connection: close时,也不会自动关闭TCP连接,如果客户端也不关
     #闭,连接就会一直处于打开,直到超时。
     contimeout 5000
     # 设置成功连接到一台服务器的最长等待时间,默认单位是毫秒,新版本的haproxy使用timeout
     #connect替代,该参数向后兼容
     clitimeout 3000
     # 设置连接客户端发送数据时的成功连接最长等待时间,默认单位是毫秒,新版本haproxy使用
     #timeout client替代。该参数向后兼容
     srvtimeout 3000
     # 设置服务器端回应客户度数据发送的最长等待时间,默认单位是毫秒,新版本haproxy使用
     #timeout server替代。该参数向后兼容
      
listen status 
     # 定义一个名为status的部分,可以在listen指令指定的区域中定义匹配规则和后端服务器ip,
     #相当于需要在其中配置frontend,backend的功能。一般做tcp转发比较合适,不用太多的规则
     #匹配。
     bind 0.0.0.0:1080
     # 定义监听的套接字
     mode http
     # 定义为HTTP模式
     log global
     # 继承global中log的定义
     stats refresh 30s
     # stats是haproxy的一个统计页面的套接字,该参数设置统计页面的刷新间隔为30s
     stats uri /admin?stats
     # 设置统计页面的uri为/admin?stats
     stats realm Private lands
     # 设置统计页面认证时的提示内容
     stats auth admin:password
     # 设置统计页面认证的用户和密码,如果要设置多个,另起一行写入即可
     stats hide-version
     # 隐藏统计页面上的haproxy版本信息
      
      
frontend http_80_in # 定义一个名为http_80_in的前端部分,haproxy会监听bind的端口
     bind 0.0.0.0:80
     # http_80_in定义前端部分监听的套接字
     mode http
     # 定义为HTTP模式
     log global
     # 继承global中log的定义
     option forwardfor
     # 启用X-Forwarded-For,在requests头部插入客户端IP发送给后端的server,使后端server获
     #取到客户端的真实IP
     acl static_down nbsrv(static_server) lt 1
     # 定义一个名叫static_down的acl,当backend static_sever中存活机器数小于1时会被匹配到
     acl php_web url_reg /*.php$
     #acl php_web path_end .php
     # 定义一个名叫php_web的acl,当请求的url末尾是以.php结尾的,将会被匹配到,上面两种写
     #法任选其一
     acl static_web url_reg /*.(css|jpg|png|jpeg|js|gif)$
     #acl static_web path_end .gif .png .jpg .css .js .jpeg
     # 定义一个名叫static_web的acl,当请求的url末尾是以.css、.jpg、.png、.jpeg、.js、.gif
     #结尾的,将会被匹配到,上面两种写法任选其一
     use_backend php_server if static_down
     # 如果满足策略static_down时,就将请求交予backend php_server
     use_backend php_server if php_web
     # 如果满足策略php_web时,就将请求交予backend php_server
     use_backend static_server if static_web
     # 如果满足策略static_web时,就将请求交予backend static_server
      
      
backend php_server #定义一个名为php_server的后端部分,frontend定义的请求会到到这里处理
     mode http
     # 设置为http模式
     balance source
     # 设置haproxy的调度算法为源地址hash
     cookie SERVERID
     # 允许向cookie插入SERVERID,每台服务器的SERVERID可在下面使用cookie关键字定义
     option httpchk GET /test/index.php
     # 开启对后端服务器的健康检测,通过GET /test/index.php来判断后端服务器的健康情况
     server php_server_1 10.12.25.68:80 cookie 1 check inter 2000 rise 3 fall 3 weight 2
     server php_server_2 10.12.25.72:80 cookie 2 check inter 2000 rise 3 fall 3 weight 1
     server php_server_bak 10.12.25.79:80 cookie 3 check inter 1500 rise 3 fall 3 backup
     # server语法:server [:port] [param*]
     # 使用server关键字来设置后端服务器;为后端服务器所设置的内部名称[php_server_1],该名
     #称将会呈现在日志或警报中、后端服务器的IP地址,支持端口映射[10.12.25.68:80]、指定该
     #服务器的SERVERID为1[cookie 1]、接受健康监测[check]、监测的间隔时长,单位毫秒[inter 
     #2000]、监测正常多少次后被认为后端服务器是可用的[rise 3]、监测失败多少次后被认为后端
     #服务器是不可用的[fall 3]、分发的权重[weight 2]、最为备份用的后端服务器,当正常的服
     #务器全部都宕机后,才会启用备份服务器[backup]
      
      
backend static_server
     mode http
     option httpchk GET /test/index.html
     server static_server_1 10.12.25.83:80 cookie 3 check inter 2000 rise 3 fall 3

tcp负载均衡的代理配置例子


轮询测试:

实现haproxy启动/关闭/重启SHELL脚本

#!/bin/bash

#set -x
# chkconfig 2345 on 
# description: HAProxy is a TCP/HTTP reverse proxy which is particularly suited for high availability environments.
if [ `whoami` = "root" ];then  
    echo "root用户!"  
else  
    echo "请使用root用户执行该命令,或者使用sudo!"  
    exit 1;
fi  

config="/usr/local/haproxy/conf/haproxy.cfg"
exec="/usr/local/haproxy/sbin/haproxy"
PID="/usr/local/haproxy/var/run/haproxy.pid"
if [ -f $config ];then
   echo ""
else
   echo "/usr/local/haproxy/conf/haproxy.cfg配置文件不存在,请检查"
   exit 1;
fi 

RETVAL=0 
start() { 
  $exec -c -q -f $config 
    if [ $? -ne 0 ]; then 
        echo "Errors found in configuration file." 
        return 1 
    fi 
  echo -n "Starting HAproxy: " 
  $exec -D -f $config -p $PID
  RETVAL=$? 
  echo 
  [ $RETVAL -eq 0 ]  
  return $RETVAL 
}

stop() { 
 echo -n "Shutting down HAproxy: " 
 kill `cat $PID`
 RETVAL=$? 
 echo 
 [ $RETVAL -eq 0 ] && rm -f $PID 
 return $RETVAL 
}

restart() { 
 $exec -c -q -f $config 
   if [ $? -ne 0 ]; then 
       echo "Errors found in configuration file, check it with "haproxy check"." 
       return 1 
   fi 
 stop 
 start 
}

rhstatus() { 
 status haproxy 
}

check(){
 $exec -c -f $config
}


# See how we were called. 
case "$1" in 
 start) 
        start 
        ;; 
 stop) 
        stop 
        ;; 
 restart) 
        restart 
        ;; 
 status) 
        rhstatus 
        ;; 
 check)
        check
        ;;
 *) 
        echo $"Usage: haproxy {start|stop|restart|status|check}" 
        RETVAL=1 
esac 
exit $RETVAL

chmod +x /etc/init.d/haproxy
可通过以下命令实现haproxy的启动关闭重启等操作
service haproxy start/stop/restart
service haproxy status 查看运行状态
出自:http://lxsym.blog.51cto.com/1364623/852363

虚拟主机核心配置

如下配置中忽略了global,defaults等配置,案例如下:

frontend lvs2-lvs3
    bind *:8080
    acl is_lvs2 hdr_end(host) -i lvs2.test.net:8080
    #使用hdr_end指令取request header中的host,如果host后缀部分匹配lvs2.test.net:8080,则匹配请求,
    #然后把请求打到对应use_backend指定的后端server上
    acl is_lvs3 hdr_beg(host) -i lvs3.test.net:8080
    #用于测试request header中的host前缀部分是否匹配到lvs3.test.net:8080
    use_backend lvs2 if is_lvs2
    #如果规则if指定的acl匹配,则打到use_backend指定的后端server上
    use_backend lvs3 if is_lvs3
 
     
backend lvs2
#定义后端server
    balance roundrobin
    #采用轮询的负载均衡方法,网后端server转发请求
    server  free172 10.253.3.14:80 weight 10
    server  free173 10.253.3.15:80 weight 10
   
     
backend lvs3
    balance roundrobin
    server  free174 10.253.3.16:80 weight 10
    server  free173 10.253.3.15:80 weight 10

健康监测

1、通过监听端口进行健康检测
这种检测方式,haproxy只会去检查后端server的端口,并不能保证服务的真正可用。

listen http_proxy 0.0.0.0:80 
        mode http 
        cookie SERVERID 
        balance roundrobin 
        option httpchk 
        server web1 192.168.1.1:80 cookie server01 check 
        server web2 192.168.1.2:80 cookie server02 check inter 500 rise 1 fall 2 

2、通过URI获取进行健康检测
这种检测方式,是用过去GET后端server的的web页面,基本上可以代表后端服务的可用性。

listen http_proxy 0.0.0.0:80 
        mode http 
        cookie SERVERID 
        balance roundrobin 
        option httpchk GET /index.html 
        server web1 192.168.1.1:80 cookie server01 check 
        server web2 192.168.1.2:80 cookie server02 check inter 500 rise 1 fall 2 

3、通过request获取的头部信息进行匹配进行健康检测
这种检测方式,则是基于高级,精细的一些监测需求。通过对后端服务访问的头部信息进行匹配检测。

listen http_proxy 0.0.0.0:80 
        mode http 
        cookie SERVERID 
        balance roundrobin 
        option httpchk HEAD /index.jsp HTTP/1.1
Host: www.xxx.com 
        server web1 192.168.1.1:80 cookie server01 check 
        server web2 192.168.1.2:80 cookie server02 check inter 500 rise 1 fall 2 

haproxy实现持久连接

1 调度算法source
haroxy 将用户IP经过hash计算后 指定到固定的真实服务器上(类似于nginx 的IP hash 指令)
配置指令 balance source
2 cookie 识别
haproxy 将WEB服务端发送给客户端的cookie中插入(或添加加前缀)haproxy定义的后端的服务器COOKIE ID。
配置指令例举 cookie SESSION_COOKIE insert indirect nocache
3 session 识别
haproxy 将后端服务器产生的session和后端服务器标识存在haproxy中的一张表里。客户端请求时先查询这张表。然后根据session分配后端server。
配置指令:appsession len timeout
详细参考:http://bbs.linuxtone.org/thread-9526-1-1.html

参考

http://leejia.blog.51cto.com/4356849/1421882

文章导航