当前位置:首页 > PS视频 > 正文内容

Redis集群搭建

编辑3个月前 (04-28)PS视频64

redis集群是一个无中心结构,数据根据算法 计算然后存放一个节点中,连接哪个节点都能够查到数据,所有的 redis 节点彼此互联(PING-PONG 机制),内部使用二进制协议,优化了传输速度和带宽。


分布存储机制-槽

(1)redis-cluster 把所有的物理节点映射到[0-16383]slot 上,cluster 负责维护

node <->slot<->value

(2)Redis 集群中内置了 16384 个哈希槽,当需要在 Redis 集群中放置一个 key-value 时,redis 先对 key 使用 crc16 算法算出一个结果,然后把结果对 16384 求余数,这样每个key 都会对应一个编号在 0-16383 之间的哈希槽,redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。

例如三个节点:槽分布的值如下:

SERVER1: 0-5460

SERVER2: 5461-10922

SERVER3: 10923-16383


容错机制-投票

(1)选举过程是集群中所有master参与,如果半数以上master节点与故障节点通信超过(cluster-node-timeout),认为该节点故障,自动触发故障转移操作. 故障节点对应的从节点自动升级为主节点

(2)什么时候整个集群不可用(cluster_state:fail)?

如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态.


======================================================================


1、安装redis

https://www.cnblogs.com/zuidongfeng/p/8032505.html

(1)下载redis

wget http://download.redis.io/releases/redis-4.0.6.tar.gz

太慢了,我就不下载了


(2)解压缩

tar -zxvf redis-4.0.6.tar.gz

(3)由于redis是c语言开发的,安装redis需安装c语言环境

yum install gcc

(4)进入redis目录,编译redis

make MALLOC=libc

再执行下

cd src && make install

(5)每台服务器复制两份redis,用来做主从备份

① 先创建目录:mkdir redisCluster

②复制两台redis到redisCluster目录:cp -r redis-4.0.6 redisCluster/redis-1


2、先启动一个redis进行测试,看redis能不能用

(1)进入到src下进行启动,启动redis必须指定配置文件,不指定也能用,会使用默认的,不过以后还需要配置redis端口号等,不指定redis.conf端口号不能用

./redis-server …/redis.conf


(2)启动后在windows下连接下,发现连接不上,原因是redis里默认限制外网访问,需要放开限制。

有的时候连接上了也会报下面的错,插入不了数据,这时候都得需要配置放开限制


redis远程连接访问报错:https://blog.csdn.net/bug_moving/article/details/54907725

①把只允许本地访问注销掉


bind 127.0.0.1

②关闭保护模式

protected-mode no

③启动redis后开启的是非守护是进程,也就是Linux下启动redis后,不能再操作其它了,我们希望redis启动在后台启动,之后我们还能操作其它东西,这时候我们需要把daemonize no改为yes

daemonize yes


(3)以上配置完成后启动,就可以远程连接操作啦


(4)停止redis通过客户端向redis发送通知,停止redis

./redis-cli SHUTDOWN


=========================================

搭建集群:


可参考 https://www.cnblogs.com/zhoujie/p/redis3.html


1、安装ruby脚本,redis集群配置是经过插件 进行处理的,这个插件是用ruby语言开发的,所以需要安装ruby环境

https://blog.csdn.net/u010533511/article/details/89389906

执行命令:yum -y install ruby ruby-devel rubygems


2、把6个redis都关闭保护模式和改成守护式进程启动

3、配置redis端口号和打开集群,不能冲突,把6个redis端口号改成7001-7006

找到redis.conf下的端口号进行更改:port 7001

配置redis打开集群,把注释放开:cluster-enabled yes

4、ruby和redis接口,通过它可以让redis使用ruby搭建集群,把每台服务器上都上传上下面的插件


(1)安装:gem install redis-3.0.0.gem


5、启动所有redis节点

6、查看是否在启动

ps -ef | grep redis


7、进入到redis-1的src目录下,找到redis-trib.rb,运行下面命令,注意:搭建redis集群,只需要在一台服务器上运行下面命令,自动配置成功三主三从,不需要做额外处理

./redis-trib.rb create --replicas 1 192.168.133.128:7001 192.168.133.128:7002 192.168.133.133:7003 192.168.133.133:7004 192.168.133.134:7005 192.168.133.134:7006

(1)启动失败,原因是因为redis-1一开始添加过数据,需要清空数据才能够进行启动集群,清空redis用redis命令:flushdb


清空redis


(2)执行命令运行依然失败报错:/usr/local/share/gems/gems/redis-3.0.0/lib/redis/client.rb:79:in `call’: ERR Slot 5798 is already busy (Redis::CommandError)


原因是因为同一台服务器的redis是拷贝的,造成配置异常,所以需要删除掉所有redis/src下的nodes.conf,然后再开启指定本机的node.conf就可以了

①删除所有nodes.conf


②在redis.conf中找到cluster-config-file nodes-6379.conf把前面注释去掉


配置完成后重启redis就好了。

关闭redis得指定端口了

./redis-cli -p 7002 SHUTDOWN


8、重新配置集群主从


9、连接集群

(1)使用redis客户端连接集群

redis-cli -p 主机ip -p 端口(集群中任意端口) -c

-c:代表连接的是 redis 集群

必须带上-c,带上-c将会根据算法默认把数据放到某个节点上

从下面可以看出,登陆的是redis的7001,数据放到了7003上面


10、项目中使用redis

(1)springboot中使用redis集群:

https://blog.csdn.net/zhuyu19911016520/article/details/81221406

(2)xml中使用redis集群


<?xml version="1.0" encoding="UTF-8"?> 

<beans xmlns="http://www.springframework.org/schema/beans" 

  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p" 

  xmlns:context="http://www.springframework.org/schema/context" 

  xsi:schemaLocation="http://www.springframework.org/schema/beans   

            http://www.springframework.org/schema/beans/spring-beans.xsd   

            http://www.springframework.org/schema/context   

            http://www.springframework.org/schema/context/spring-context.xsd">  

<!-- 加载配置属性文件 -->  

<context:property-placeholder ignore-unresolvable="true" location="classpath:properties/redis-cluster-config.properties" />  

<bean id="redis-clusterConfiguration" class="org.springframework.data.redis.connection.redis-clusterConfiguration">  

<property name="maxRedirects" value="${redis.maxRedirects}"></property>  

<property name="clusterNodes">  

<set>  

<bean class="org.springframework.data.redis.connection.redis-clusterNode">  

<constructor-arg name="host" value="${redis.host1}"></constructor-arg>  

<constructor-arg name="port" value="${redis.port1}"></constructor-arg>  

</bean>  

<bean class="org.springframework.data.redis.connection.redis-clusterNode">  

<constructor-arg name="host" value="${redis.host2}"></constructor-arg>  

<constructor-arg name="port" value="${redis.port2}"></constructor-arg>  

</bean>  

<bean class="org.springframework.data.redis.connection.redis-clusterNode">  

<constructor-arg name="host" value="${redis.host3}"></constructor-arg>  

<constructor-arg name="port" value="${redis.port3}"></constructor-arg>  

</bean>  

     <bean class="org.springframework.data.redis.connection.redis-clusterNode">  

         <constructor-arg name="host" value="${redis.host4}"></constructor-arg>  

         <constructor-arg name="port" value="${redis.port4}"></constructor-arg>  

      </bean>  

      <bean class="org.springframework.data.redis.connection.redis-clusterNode">  

         <constructor-arg name="host" value="${redis.host5}"></constructor-arg>  

         <constructor-arg name="port" value="${redis.port5}"></constructor-arg>  

      </bean>  

 <bean class="org.springframework.data.redis.connection.redis-clusterNode">  

<constructor-arg name="host" value="${redis.host6}"></constructor-arg>  

<constructor-arg name="port" value="${redis.port6}"></constructor-arg>  

 </bean>  

   </set>  

 </property>  

</bean>  

<bean id="jedisPoolConfig"   class="redis.clients.jedis.JedisPoolConfig">  

   <property name="maxIdle" value="${redis.maxIdle}" />   

   <property name="maxTotal" value="${redis.maxTotal}" />   

</bean>  

<bean id="jeidsConnectionFactory" class="org.springframework.data.redis.connection.jedis.JedisConnectionFactory"  >  

<constructor-arg ref="redis-clusterConfiguration" />  

<constructor-arg ref="jedisPoolConfig" />  

</bean>    

<bean id="redisTemplate" class="org.springframework.data.redis.core.RedisTemplate">  

<property name="connectionFactory" ref="jeidsConnectionFactory" />  

</bean>  

</beans>

一键获取完整项目代码

java

<?xml version="1.0" encoding="UTF-8"?> 

<beans xmlns="http://www.springframework.org/schema/beans" 

  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p" 

  xmlns:context="http://www.springframework.org/schema/context" 

  xsi:schemaLocation="http://www.springframework.org/schema/beans   

            http://www.springframework.org/schema/beans/spring-beans.xsd   

            http://www.springframework.org/schema/context   

            http://www.springframework.org/schema/context/spring-context.xsd">  

<!-- 加载配置属性文件 -->  

<context:property-placeholder ignore-unresolvable="true" location="classpath:properties/redis-cluster-config.properties" />  

<bean id="redis-clusterConfiguration" class="org.springframework.data.redis.connection.redis-clusterConfiguration">  

<property name="maxRedirects" value="${redis.maxRedirects}"></property>  

<property name="clusterNodes">  

<set>  

<bean class="org.springframework.data.redis.connection.redis-clusterNode">  

<constructor-arg name="host" value="${redis.host1}"></constructor-arg>  

<constructor-arg name="port" value="${redis.port1}"></constructor-arg>  

</bean>  

<bean class="org.springframework.data.redis.connection.redis-clusterNode">  

<constructor-arg name="host" value="${redis.host2}"></constructor-arg>  

<constructor-arg name="port" value="${redis.port2}"></constructor-arg>  

</bean>  

<bean class="org.springframework.data.redis.connection.redis-clusterNode">  

<constructor-arg name="host" value="${redis.host3}"></constructor-arg>  

<constructor-arg name="port" value="${redis.port3}"></constructor-arg>  

</bean>  

     <bean class="org.springframework.data.redis.connection.redis-clusterNode">  

         <constructor-arg name="host" value="${redis.host4}"></constructor-arg>  

         <constructor-arg name="port" value="${redis.port4}"></constructor-arg>  

      </bean>  

      <bean class="org.springframework.data.redis.connection.redis-clusterNode">  

         <constructor-arg name="host" value="${redis.host5}"></constructor-arg>  

         <constructor-arg name="port" value="${redis.port5}"></constructor-arg>  

      </bean>  

 <bean class="org.springframework.data.redis.connection.redis-clusterNode">  

<constructor-arg name="host" value="${redis.host6}"></constructor-arg>  

<constructor-arg name="port" value="${redis.port6}"></constructor-arg>  

 </bean>  

   </set>  

 </property>  

</bean>  

<bean id="jedisPoolConfig"   class="redis.clients.jedis.JedisPoolConfig">  

   <property name="maxIdle" value="${redis.maxIdle}" />   

   <property name="maxTotal" value="${redis.maxTotal}" />   

</bean>  

<bean id="jeidsConnectionFactory" class="org.springframework.data.redis.connection.jedis.JedisConnectionFactory"  >  

<constructor-arg ref="redis-clusterConfiguration" />  

<constructor-arg ref="jedisPoolConfig" />  

</bean>    

<bean id="redisTemplate" class="org.springframework.data.redis.core.RedisTemplate">  

<property name="connectionFactory" ref="jeidsConnectionFactory" />  

</bean>  

</beans>


添加属性文件redis-cluster-config.properties

#cluster configuration

redis.host1=192.168.25.140

redis.port1=7001


redis.host2=192.168.25.140

redis.port2=7002


redis.host3=192.168.25.140

redis.port3=7003


redis.host4=192.168.25.140

redis.port4=7004


redis.host5=192.168.25.140

redis.port5=7005


redis.host6=192.168.25.140

redis.port6=7006


redis.maxRedirects=3

redis.maxIdle=100

redis.maxTotal=600

————————————————

版权声明:本文为CSDN博主「四舍五入不如六」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/xuemin__/article/details/105393672


扫描二维码推送至手机访问。

版权声明:本文由手机数据加工厂发布,如需转载请注明出处。

本文链接:https://cryp6.com/?id=177

“Redis集群搭建” 的相关文章

微信记录彻底备份教程,换手机一键迁移

全程不用复杂操作,老人也能看懂,每一步都对应截图位置。一、手机直接互传(换手机首选,免费最快)适合:旧手机换新手机、当场迁移所有聊天1新旧手机都连上同一个 WiFi,登录同一个微信号2打开微信 → 点【我】→【设置】3找到【通用】→【聊天记录迁移与备份】4选择【迁移聊天记录到另一台设备】5旧手机勾选...

手机与电脑如何传递数据

手机+电脑 极简传文件速查表(直接照做,保存备忘录) 一、通用懒人(所有手机+电脑,小文件) 微信/QQ文件传输助手 1. 手机、电脑登录同一账号 2. 互相发送图片、文档、截图 3. 缺点:视频、图片会压缩,大文件慢 二、有线极速(原图/大视频/无压缩,推荐) 安卓 + 电...

怎样才能提高手机电脑数据同步的速度?

怎样提高手机与电脑数据同步的速度切换高速网络优先连接5G 频段 WiFi,避开速度慢、干扰大的 2.4G WiFi;手机和电脑连接同一个无线网络,使用局域网传输,不消耗外网网速,速度更快。缩短设备距离让手机和电脑靠近摆放,远离墙壁、金属障碍物,减少信号遮挡,保证网络信号稳定强劲。关闭占用网速的程序暂...

 如何在电脑上关闭云同步功能?

如何在电脑上关闭云同步功能?

下面分 Windows 和 Mac,把系统自带云同步和 ** 常见第三方云盘(OneDrive/iCloud/ 百度网盘)** 都一次性关掉,适合你要 “改记录不被覆盖” 的场景。Windows 电脑:关闭所有云同步1. 先关 OneDrive(最关键)右下角任务栏,找到蓝色云朵 OneDrive...

如何彻底删除云端数据?

下面按 “先断同步→删云端文件→清回收站→清备份 / 版本→退出账号”,把主流云盘(OneDrive、iCloud、百度网盘、华为 / 小米等)一次性彻底删干净,防止恢复与覆盖。一、先把所有设备同步全关(必做)电脑:退出 OneDrive/iCloud/ 百度网盘,取消链接此设备,关闭自动同步。手机...

算力调度算法:基于AI的智能算力分配方法

下面我用偏工程、好落地的方式,把 “基于 AI 的智能算力调度算法(智能算力分配方法)” 讲清楚:从核心思路、主流 AI 算法、典型流程,到鸿蒙 / 端侧场景怎么用。一、问题背景:为什么要用 AI 调度算力?传统算力调度(轮询、加权轮询、静态优先级)靠人工规则,面对 AI 任务(大模型训练 / 推理...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。