想做负载均衡？可以考虑用Impala实现-群英

上一篇：nginx配置访问认证提高安全性下一篇：centos服务器上如何准备java网站项目运行环境

今天我们来学习关于“想做负载均衡？可以考虑用Impala实现”的内容，下文有详解方法和实例，内容详细，逻辑清晰，有需要的朋友可以参考，希望大家阅读完这篇文章后能有所收获，那么下面就一起来了解一下吧。

1.文档编写目的

在使用Impala JDBC连接Impala服务时，默认是不带负载均衡的，但一个Impala Daemon很可能会产生单点的问题，这里我们就需要考虑Impala Daemon的负载均衡，官方推荐并支持的负载均衡为HAProxy，参考：

https://www.cloudera.com/documentation/enterprise/latest/topics/impala_proxy.html。

但我们常常会碰到企业已经在用Nginx，Nginx毕竟在http和反向代理这块是最优秀的，这个时候我们就需要考虑复用Nginx。所以在这篇文章就介绍一下如何使用Nginx实现Impala服务的负载均衡。

内容概述

1.Nginx安装及启停

2.配置Impala负载均衡策略

3.Impala shell及JDBC测试

4.使用keepalived保证nginx高可用

测试环境

1.CM和CDH版本为5.13.0

2.采用root用户操作CentOS7.4

3.Nginx1.12.2

4.集群未启用Kerberos

5.机器角色分配 A（192.168.32.138）需要安装Nginx Keepalived B（192.168.32.134）需要安装Nginx Keepalived

2.Nginx服务安装及启停

1.下载Nginx安装包，下载地址如下

选择集群中任意一台服务器用来安装Nginx服务或者选用一台独立的服务器用来部署Nginx，需要确保Nginx所在的服务器与集群中所有的Impala节点网络是通的（包括端口号21050）

http://nginx.org/download/nginx-1.12.2.tar.gz

安装编译Nginx必备工具

yum install -y gcc

yum install -y gcc-c++

yum install -y pcre pcre-devel

yum install -y zlib zlib-devel

yum install -y openssl openssl-devel

cd /usr/local/src/

wget http://nginx.org/download/nginx-1.12.2.tar.gz

2.解压nginx-1.21.2.tar.gz压缩包，并进行编译安装

tar -zxf nginx-1.12.2.tar.gz

 cd nginx-1.12.2

./configure --with-stream

make && make install

注意：必须编译stream模块

默认Nginx的安装目录为/usr/local/nginx

3.启动与停止Nginx

启动

cd /usr/local/nginx/sbin/

./nginx

停止

./nginx -s stop

4.测试Nginx是否正常访问，在浏览器输入http://{安装Nginx的服务器IP}

出现 Welcome to nginx！页面表示nginx已启动成功。

3.配置Impala负载均衡策略

1.修改/usr/local/nginx/conf/nginx.conf文件，在文件末尾增加如下配置

stream{
  log_format basic '$remote_addr [$time_local] ' '$protocol $status $bytes_sent $bytes_received' '$session_time';

  upstream impala { #impala daemon
    least_conn; #路由策略:least_conn:最少连接
    server 192.168.32.134:21000;
    server 192.168.32.135:21000;

    server 192.168.32.136:21000;

}
upstream impalajdbc {
least_conn;

    server 192.168.32.134:21050;

server 192.168.32.135:21050;
server 192.168.32.136:21050;
}
server{ #impala 负载均衡
listen 21001;
proxy_pass impala;
}
server{ #impala jdbc 负载均衡
listen 21051;
proxy_pass impalajdbc;

}

2.重启Nginx

停止

cd /usr/local/nginx/sbin/

./nginx -s stop

启动

./nginx

4.测试Impala负载均衡

1.在192.168.32.134节点使用impala-shell连接Impala（假设此时nginx安装在192.168.32.134上）

 impala-shell -i 192.168.32.134:21001

经过多条sql语句测试即可测出执行sql操作时，连接的不为同一个Impala Daemon。

5.Impala JDBC连接测试

此处使用工具dbeaver链接Impala进行测试。

ip 192.168.32.134

port 21051

6.使用Keepalived保证Nginx高可用

1、keepalived简介

Keepalived是一个基于VRRP协议来实现的服务高可用方案，可以利用其来避免IP单点故障，类似的工具还有heartbeat、corosync、pacemaker。

但是它一般不会单独出现，而是与其它负载均衡技术（如lvs、haproxy、nginx）一起工作来达到集群的高可用。

Keepalived的作用是检测服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作；

当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的服务器。

2、安装

cd /usr/local/src

#下载
wget http://www.keepalived.org/software/keepalived-1.2.23.tar.gz
#解压
tar -zxvf keepalived-1.2.23.tar.gz
cd keepalived-1.2.23
#安装
./configure --prefix=/usr/local/keepalived   #prefix指定安装目录
make
make install

3、配置
    指定配置文件，修改 /usr/local/keepalived/etc/sysconfig/keepalived

KEEPALIVED_OPTIONS="-D -f /usr/local/keepalived/etc/keepalived/keepalived.conf" #指定keepalived配置文件路径
因为我们使用非默认路径（/usr/local）安装keepalived，需要设置一些软链接以保证keepalived能正常启动

ln -s /usr/local/keepalived/sbin/keepalived  /usr/bin #将keepalived主程序加入到环境变量
ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived  /etc/init.d/ #keepalived启动脚本，放到/etc/init.d/目录下就可以使用service命令便捷调用
ln -s /usr/local/keepalived/etc/sysconfig/keepalived  /etc/sysconfig/ #keepalived启动脚本变量引用文件，默认文件路径是/etc/sysconfig/，也可以不做软链接，直接修改启动脚本中文件路径即可

4、启动

service keepalived start|stop|restart
chkconfig keepalived on

默认的配置文件中，指定了虚拟IP :192.168.32.200，可使用ip addr（或ip a）命令验证之。

5、应用

keepalived两种模式：主-备

主-备

虚拟IP：192.168.32.200 主节点：192.168.32.138 备用节点：192.168.32.134

主配置文件

【/usr/local/keepalived/etc/keepalived/keepalived.conf】

global_defs {
    notification_email { #指定keepalived在发生事情的时候，发送邮件告知，可以有多个地址，每行一个。
        acassen@firewall.loc
        failover@firewall.loc
        sysadmin@firewall.loc
    }
    notification_email_from Alexandre.Cassen@firewall.loc #指定发件人
    smtp_server 127.0.0.1 #发送email的smtp地址
    smtp_connect_timeout 30 #超时时间
    router_id LVS_DEVEL #运行keepalived的机器的一个标识,多个节点标识可以相同，也可以不同
    vrrp_skip_check_adv_addr 
    vrrp_strict
    vrrp_garp_interval 0
    vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    state MASTER #指定当前节点为主节点 备用节点上设置为BACKUP即可
    interface eth0 #绑定虚拟IP的网络接口
    virtual_router_id 51 #VRRP组名，两个节点的设置必须一样，以指明各个节点属于同一VRRP组
    priority 100 #主节点的优先级（1-254之间），备用节点必须比主节点优先级低
    advert_int 1
    authentication { #设置验证信息，两个节点必须一致
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress { #指定虚拟IP, 两个节点设置必须一样
        192.168.32.200
    }
}    

备配置文件
【/usr/local/keepalived/etc/keepalived/keepalived.conf】

global_defs {
    notification_email { #指定keepalived在发生事情的时候，发送邮件告知，可以有多个地址，每行一个。
        acassen@firewall.loc
        failover@firewall.loc
        sysadmin@firewall.loc
    }
    notification_email_from Alexandre.Cassen@firewall.loc #指定发件人
    smtp_server 127.0.0.1 #发送email的smtp地址
    smtp_connect_timeout 30 #超时时间
    router_id LVS_DEVEL #运行keepalived的机器的一个标识,多个节点标识可以相同，也可以不同
    vrrp_skip_check_adv_addr 
    vrrp_strict
    vrrp_garp_interval 0
    vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    state BACKUP #指定当前节点为主节点 备用节点上设置为BACKUP即可
    interface eth0 #绑定虚拟IP的网络接口
    virtual_router_id 51 #VRRP组名，两个节点的设置必须一样，以指明各个节点属于同一VRRP组
    priority 99 #主节点的优先级（1-254之间），备用节点必须比主节点优先级低
    advert_int 1
    authentication { #设置验证信息，两个节点必须一致
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress { #指定虚拟IP, 两个节点设置必须一样
        192.168.32.200
    }
}

以上就是关于“想做负载均衡？可以考虑用Impala实现”的相关知识，感谢各位的阅读，想要掌握这篇文章的知识点还需要大家自己动手实践使用过才能领会，如果想了解更多相关内容的文章，欢迎关注群英网络，小编每天都会为大家更新不同的知识。