JVerice Java Dev Engineer

redis集群


redis的使用

redis介绍

什么是redis

Redis是用C语言开发的一个开源的高性能键值对(key-value)数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求,目前为止Redis支持的键值数据类型如下:

  • String
  • Hash
  • List
  • Set
  • SortedSet

redis的应用场景

  • 缓存(数据查询、短连接、新闻内容、商品内容等等)。(最多使用)
  • 分布式集群架构中的session分离。
  • 聊天室的在线好友列表。
  • 任务队列。(秒杀、抢购、12306等等)
  • 应用排行榜。
  • 网站访问统计。
  • 数据过期处理(可以精确到毫秒)

redis的安装

redis是C语言开发,建议在linux上运行,安装redis需要先将官网下载的源码进行编译,编译依赖gcc环境,如果没有gcc环境,需要安装gcc:yum install gcc-c++

  • 版本说明

    使用redis3.0版本。3.0版本主要增加了redis集群功能。

  • 源码下载

    redis源码本站下载

    redis源码官网下载

  • 解压源码

    tar -zxvf redis-3.0.0.tar.gz

    (z解压方式,x解压,v列出详细,f后接解压包)

  • 进入解压后的目录进行编译

    cd /usr/local/redis-3.0.0

    make

  • 安装到指定目录

    make install PREFIX=/usr/local/redis

  • redis.conf

    redis.conf是redis的配置文件,redis.conf在redis源码目录。

    注意修改port作为redis进程的端口,port默认6379。

  • 拷贝配置文件到安装目录下

    进入源码目录,里面有一份配置文件redis.conf,然后将其拷贝到安装路径下

    cp /usr/local/redis-3.0.0/redis.conf  /usr/local/redis/bin

redis启动

  • 前端启动

    /usr/local/redis/bin/redis-server

    默认是前端启动,端口是6379

  • 后端启动

    1. 从redis的源码目录中复制redis.conf到redis的安装目录。
    2. 修改配置文件:daemonize no 改为daemonize yes
    3. ./redis-server redis.conf
  • 观看进程

    ps aux | grep redis

redis常用命令

使用./redis-cli进入命令输入

127.0.0.1:6379> set a 10

ok

127.0.0.1:6379> get a

"10"

127.0.0.1:6379>ping

pong

redis集群

集群原理

  • redis-cluster 架构图

  • 架构细节

    1. 所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。
    2. 节点的fail是通过集群中超过半数的节点检测失效时才生效。
    3. 客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。
    4. redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护node<->slot<->value

    Redis 集群中内置了 16384 个哈希槽,当需要在 Redis 集群中放置一个 key-value 时,redis 先对 key 使用 crc16 算法算出一个结果,然后把结果对 16384 求余数,这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽,redis 会根据节点数量大致均等的将哈希槽映射到不同的节点

  • redis-cluster投票:容错

  1. 领着投票过程是集群中所有master参与,如果半数以上master节点与master节点通信超过(cluster-node-timeout),认为当前master节点挂掉。

  2. 什么时候整个集群不可用(cluster_state:fail)? 

    • 如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态. ps : redis-3.0.0.rc1加入cluster-require-full-coverage参数,默认关闭,打开集群兼容部分失败。
    • 如果集群超过半数以上master挂掉,无论是否有slave集群进入fail状态。

    当集群不可用时,所有对集群的操作做都不可用,收到((error) CLUSTERDOWN The cluster is down)错误

ruby环境

redis集群管理工具redis-trib.rb依赖ruby环境,首先需要安装ruby环境。

  • 安装ruby

    yun install ruby

    yun install tubygems

  • 安装ruby和redis的接口程序

    拷贝redis-3.0.0.gem至/usr/local下

    执行:gem install /usr/local/redis-3.0.0.gem

  • redis集群管理工具

    cd redis-3.0.0

    cd src

    ll *.rb

    -rwxrwxr-x. 1 root root 48141 Apr  1 07:01 redis-trib.rb

集群的搭建

  1. 创建6个redis实例,端口号从7001~7006

  2. 修改redis的配置文件

    • 修改端口号

      port 7001

    • 打开cluster-enable前的注释

      cluster-enable yes

  3. 把创建集群的ruby脚本复制到redis-cluster目录下。

  4. 第四步:启动6个redis实例(可编写一个shell脚本)

startall.sh

cd redis01
./redis-server redis.conf
cd ..
cd redis02
./redis-server redis.conf
cd ..
cd redis03
./redis-server redis.conf
cd ..
cd redis04
./redis-server redis.conf
cd ..
cd redis05
./redis-server redis.conf
cd ..
cd redis06
./redis-server redis.conf
cd ..

chmod +x startall.sh

./startall.sh

  1. 创建集群

    ./redis-trib.rb create --replicas 1 192.168.110.131:7001 192.168.110.131:7002 192.168.110.131:7003 192.168.110.131:7004 192.168.110.131:7005  192.168.110.131:7006

测试集群

redis01/redis-cli -h 192.168.110.131 -p 7002 -c

192.168.110.131:7002&gt; set a 100-&gt; Redirected to slot [15495] located at 192.168.110.131:7003 192.168.110.131:7002> set a 100 -> Redirected to slot [15495] located at 192.168.110.131:7003 OK

关闭redis

redis01/redis-cli -p 7001 shutdown


Comments