Centos 6.8 下 Amoba 3.0 实现mysql 读写分离

前端之家收集整理的这篇文章主要介绍了Centos 6.8 下 Amoba 3.0 实现mysql 读写分离前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。


什么是 Amoba

Amoeba(变形虫)项目,该开源框架于2008年 开始发布一款 Amoeba for MysqL软件。这个软件致力于MysqL的分布式数据库前端代理层,它主要在应用层访问MysqL的 时候充当sql路由功能,专注于分布式数据库代理层(Database Proxy)开发。座落与 ClientDB Server(s)之间,对客户端透明。具有负载均衡、高可用性、sql过滤、读写分离、可路由相关的到目标数据库、可并发请求多台数据库合并结果。 通过Amoeba你能够完成多数据源的高可用、负载均衡、数据切片的功能,目前Amoeba已在很多 企业的生产线上面使用。

Amoeba在分布式数据库领域将致力解决数据切分,应付客户端“集中式”处理分布式数据。这里集中式是一个相对概念,客户端不需要知道某种数据的物理存储地。避免这种逻辑出现在业务端, 大大简化了客户端操作分布式数据的复杂程度。

分布式数据库系统的优点:

1降低费用。分布式数据库在地理上可以式分布的。其系统的结构符合这种分布的要求。允许用户在自己的本地录用、查询、维护等操作,实行局部控制,降低通信代价,避免集中式需要更高要求 的硬件设备。而且分布式数据库在单台机器上面数据量较少,其响应速度明显提升。

2提高系统整体可用性。避免了因为单台数据库的故障而造成全部瘫痪的后果。

3易于扩展处理能力和系统规模。分布式数据库系统的结构可以很容易地扩展系统,在分布式数据库增加一个新的节点,不影响现有系统的正常运行。这种方式比扩大集中式系统要灵活经济。在集中式系统中扩大系统和系统升级,由于有硬件不兼容和软件改变困难等缺点,升级的代价常常是昂贵和不可行的。

Amoeba for MysqL

Amoeba for MysqL 对客户端程序来说是什么呢? 我们就当它是MysqL吧,它是一个虚拟的MysqL,对外提供MysqL协议。客户端连接amoeba就象连接MysqL一样。在amoeba内部需要配置相关的认证属性

wKiom1hvmaqwldL4AAEbOeWFiJY727.png-wh_50

Amoeba for MysqLMysqL Proxy 比较

MysqL proxy 6.0版本 上面如果想要读写分离并且 读集群、写集群 机器比较多情况下,用MysqL proxy 需要相当大的工作量,目前MysqL proxy没有现成的 lua脚本。MysqL proxy根本没有配置文件lua脚本就是它的全部,当然lua是相当方便的。那么同样这种东西需要编写大量的脚本才能完成一 个复杂的配置。而Amoeba for MysqL只需要进行相关的配置就可以满足需求。

Amoeba 不能做什么?

1、目前还不支持事务

2、暂时不支持存储过程(近期会支持

3、不适合从amoeba导数据的场景或者对大数据量查询query并不合适(比如一次请求返回10w以上甚至更多数据的场合)

4、暂时不支持分库分表,amoeba目前只做到分数据库实例,每个被切分的节点需要保持库表结构一致

Amoeba 3.0版本区别

1采用更稳定的NIO框架

2取消了很多不必要的同步锁,能够更好的利用高并发特性

3代码结构更加合理,重构以后很多可重用的东西将提取出来作为公用类库,未来升级方便

4配置有所改动(不兼容),由于重构,class所在的包名字将有所有变化,但是基本维持原来的配置结构不变,如果熟悉2.X,那么3.0上手非常容易

5启动脚本有变化,3.xbin/launcher 作为启动脚本(启动以后直接可作为后台进程,不需要增加nohup等命令), bin/shutdown作为关闭脚本

6解决last_insert_id问题

Amoeba 安装

1Amoeba 配置环境

  1. Master192.168.200.140centos6.8MysqL-5.5.53
  2. Slave192.168.200.180centos6.8MysqL-5.5.53
  3. Amoeba192.168.200.210centos6.8
  4. #Amoeba192.168.200.210(可以使用master代替)

服务器安装软件版本

  1. Mysq5.5.53
  2. Amoeba3.05RC
  3. JDK1.7.79

2、MysqL 主从复制安装这里就不描述了;详见mysql 主从复制简易配置指南

3、配置jdk 环境

由于Amoeba框架是基于Java SE1.5开发的,所以它需要在JDK 的环境下运行,

检查amoeba 服务器的 java 环境

  1. [root@bogon~]#rpm-qajava#查看是否安装java
  2. [root@bogon~]#java-version#如果已经安装java,查看java版本,必须在1.5以上
  3. [root@bogon~]#echo$JAVA_HOME查看是否安装配置了JDK

如果你的机器上没有安装JDK环境,需要安装java

  1. wgethttp://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz

解压JDK

  1. tar-zvxfjdk-7u79-linux-x64.tar.gz
  2. mvjdk1.7.0_79//usr/local/jdk1.7/
  3. 编辑环境变量文件
  4. vim/etc/profile
  5. #
  6. 文件最后部分加入
  7. exportJAVA_HOME=/usr/local/jdk1.7#jdk安装目录
  8. exportPATH=$JAVA_HOME/bin:$PATH#java家目录的路径
  9. exportPATH=$PATH:$HOME/bin:/usr/local/amoeba/bin#amoeba的安装目录
  10. exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar#java相应的工具目录
  11.  
  12. source/etc/profile

jdk 的官方下载站点

4Amoeba 安装

AmoebaSourceForge的主页下载Amoeba

  1. [root@bogon~]#wgethttps://sourceforge.net/settings/mirror_choices?projectname=amoeba&filename=Amoeba%20for%20MysqL/3.x/amoeba-MysqL-3.0.5-RC-distribution.zip

解压 amoeba

  1. [root@bogon~]#unzipamoeba-MysqL-3.0.5-RC-distribution.zip-d/application/amoeba

启动Amoeba

  1. [root@bogon~]#/application/amoeba/launcher

关闭Amoeba

  1. [root@bogon~]#/application/amoeba/shutdown

启动时会出现如下错误

  1. Thestacksizespecifiedistoosmall,Specifyatleast228k
    Error:CouldnotcreatetheJavaVirtualMachine.
    Error:Afatalexceptionhasoccurred.Programwillexit.
    错误文字上看,应该是由于stacksize太小,导致JVM启动失败,要

如何修改呢?
其实Amoeba已经考虑到这个问题,并将JVM参数配置写在属性文件里。现在,让我们通过该属性文件修改JVM参数。
修改jvm.properties文件JVM_OPTIONS参数。
=============================================================
解决方法

  1. vi /$AMOEBA_HOME/jvm.properties

更改成

  1. JVM_OPTIONS="-server -Xms1024m -Xmx1024m -Xss256k -XX:PermSize=16m -XX:MaxPermSize=96m"

===============================================================

Amoeba3.0 版本以下解决办法:


打开bin目录下 的amoeba启动文件修改58行的Xss参数:

  1. DEFAULT_OPTS=”-server-Xms1024m-Xmx1024m-Xss128k

修改为:

  1. DEFAULT_OPTS=”-server -Xms1024m -Xmx1024m -Xss256k

===============================================================

5、配置Amoeba

Amoeba有主要的配置文件

$AMOEBA_HOME/conf/dbServers.xml配置主机信息,如主机ip,端口,amoeba 连接的用户名与密码等

$AMOEBA_HOME/conf/rule.xml配置与切分规则相关的信息

$AMOEBA_HOME/conf/functionMap.xml描述了sql函数名和函数处理的关系

$AMOEBA_HOME/conf/rule.xml配置自己定义的函数

$AMOEBA_HOME/conf/ruleFunctionMap.xml中定义自定义函数名与函数处理的关系

$AMOEBA_HOME/conf/access_list.conf配置访问控制

$AMOEBA_HOME/conf/log4j.xml配置输出日志级别和方式

通过更改amoeba.xml和dbServer.xml 配置文件实现MysqL主从读写分离,配置如下:

amoeba.xml 配置如下:

  1. <?xmlversion="1.0"encoding="gbk"?>
  2.  
  3. <!DOCTYPEamoeba:configurationSYSTEM"amoeba.dtd">
  4. <amoeba:configurationxmlns:amoeba="http://amoeba.meidusa.com/">
  5.  
  6. <proxy>
  7. <!--serviceclassmustimplementscom.meidusa.amoeba.service.Service-->
  8. <servicename="AmoebaforMysqL"class="com.meidusa.amoeba.MysqL.server.MysqLService">
  9. <!--proxyserverport-->
  10. <propertyname="port">8066</property>#proxyserver绑定的端口号
  11. <!--bindipAddress-->
  12. <propertyname="ipAddress">192.168.200.210</property>#proxyserver绑定的ip地址
  13. <propertyname="connectionFactory">
  14. <beanclass="com.meidusa.amoeba.MysqL.net.MysqLClientConnectionFactory">
  15. <propertyname="sendBufferSize">128</property>
  16. <propertyname="receiveBufferSize">64</property>
  17. </bean>
  18. </property>
  19. <propertyname="authenticateProvider">
  20. <beanclass="com.meidusa.amoeba.MysqL.server.MysqLClientAuthenticator">
  21. <propertyname="user">root</property>#通过proxyserver访问MysqL用户名
  22. <propertyname="password">123</property>#通过proxyserver访问MysqL的密码
  23. <propertyname="filter">
  24. <beanclass="com.meidusa.toolkit.net.authenticate.server.IPAccessController">
  25. <propertyname="ipFile">${amoeba.home}/conf/access_list.conf</property>
  26. </bean>
  27. </property>
  28. </bean>
  29. </property>
  30. </service>
  31. <runtimeclass="com.meidusa.amoeba.MysqL.context.MysqLRuntimeContext">
  32. <!--proxyserverclientprocessthreadsize-->
  33. <propertyname="executeThreadSize">128</property>
  34. <!--perconnectioncachepreparedstatementsize-->
  35. <propertyname="statementCacheSize">500</property>
  36. <!--defaultcharset-->
  37. <propertyname="serverCharset">utf8</property>
  38. <!--querytimeout(default:60second,TimeUnit:second)-->
  39. <propertyname="queryTimeout">60</property>
  40. </runtime>
  41. </proxy>
  42. <!--
  43. EachConnectionManagerwillstartasthread
  44. managerresponsiblefortheConnectionIOread,DeathDetection
  45. -->
  46. <connectionManagerList>
  47. <connectionManagername="defaultManager"class="com.meidusa.toolkit.net.MultiConnectionManagerWrapper">
  48. <propertyname="subManagerClassName">com.meidusa.toolkit.net.AuthingableConnectionManager</property>
  49. </connectionManager>
  50. </connectionManagerList>
  51. <!--defaultusingfileloader-->
  52. <dbServerLoaderclass="com.meidusa.amoeba.context.DBServerConfigFileLoader">
  53. <propertyname="configFile">${amoeba.home}/conf/dbServers.xml</property>
  54. </dbServerLoader>
  55. <queryRouterclass="com.meidusa.amoeba.MysqL.parser.MysqLQueryRouter">
  56. <propertyname="ruleLoader">
  57. <beanclass="com.meidusa.amoeba.route.TableRuleFileLoader">
  58. <propertyname="ruleFile">${amoeba.home}/conf/rule.xml</property>
  59. <propertyname="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>
  60. </bean>
  61. </property>
  62. <propertyname="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
  63. <propertyname="LRUMapSize">1500</property>
  64. <propertyname="defaultPool">multiPool</property>
  65. <!--<propertyname="writePool">server1</property>
  66. <propertyname="readPool">multiPool</property>
  67. -->
  68. <propertyname="needParse">true</property>
  69. </queryRouter>
  70. </amoeba:configuration>

dbServer.xml 配置如下:

  1. <?xmlversion="1.0"encoding="gbk"?>
  2.  
  3. <!DOCTYPEamoeba:dbServeRSSYSTEM"dbserver.dtd">
  4. <amoeba:dbServersxmlns:amoeba="http://amoeba.meidusa.com/">
  5.  
  6. <!--
  7. EachdbServerneedstobeconfiguredintoaPool,IfyouneedtoconfiguremultipledbServerwithloadbalancingthatcanbesimplifiedbythefollowingconfiguration:
  8. addattributewithnamevirtual="true"indbServer,buttheconfigurationdoesnotallowtheelementwithnamefactoryConfig
  9. suchas'multiPool'dbServer
  10. -->
  11. <dbServername="abstractServer"abstractive="true">
  12. <factoryConfigclass="com.meidusa.amoeba.MysqL.net.MysqLServerConnectionFactory">
  13. <propertyname="connectionManager">${defaultManager}</property>
  14. <propertyname="sendBufferSize">64</property>
  15. <propertyname="receiveBufferSize">128</property>
  16. <!--MysqLport-->
  17. <propertyname="port">3306</property>
  18. <!--MysqLschema-->
  19. <propertyname="schema">test</property>
  20. <!--MysqLuser-->
  21. <propertyname="user">amoeba</property>
  22. <propertyname="password">think</property>
  23. </factoryConfig>
  24.  
  25. <poolConfigclass="com.meidusa.toolkit.common.poolable.PoolableObjectPool">
  26. <propertyname="maxActive">500</property>
  27. <propertyname="maxIdle">500</property>
  28. <propertyname="minIdle">1</property>
  29. <propertyname="minEvictableIdleTimeMillis">600000</property>
  30. <propertyname="timeBetweenEvictionRunsMillis">600000</property>
  31. <propertyname="testOnBorrow">true</property>
  32. <propertyname="testOnReturn">true</property>
  33. <propertyname="testWhileIdle">true</property>
  34. </poolConfig>
  35. </dbServer>
  36.  
  37. <dbServername="server1"parent="abstractServer">
  38. <factoryConfig>
  39. <!--MysqLip-->
  40. <propertyname="ipAddress">192.168.200.140</property>
  41. </factoryConfig>
  42. </dbServer>
  43. <dbServername="server2"parent="abstractServer">
  44. <factoryConfig>
  45. <!--MysqLip-->
  46. <propertyname="ipAddress">192.168.200.180</property>
  47. </factoryConfig>
  48. </dbServer>
  49. <dbServername="multiPool"virtual="true">
  50. <poolConfigclass="com.meidusa.amoeba.server.MultipleServerPool">
  51. <!--Loadbalancingstrategy:1=ROUNDROBIN,2=WEIGHTBASED,3=HA-->
  52. <propertyname="loadbalance">1</property>
  53. <!--Separatedbycommas,suchas:server1,server2,server1-->
  54. <propertyname="poolNames">server1,server2</property>
  55. </poolConfig>
  56. </dbServer>
  57. </amoeba:dbServers>
  1. [root@bogon~]#/application/amoeba/bin/launcher&//启动amoeba服务

  1. #检查启动状态
  2. [root@bogon~]#ps-aux|grepamoeba
  3. Warning:badSyntax,perhapsabogus'-'?See/usr/share/doc/procps-3.2.8/FAQ
  4. root39150.00.11060721392pts/6S+03:220:00/bin/bash/application/amoeba/bin/launcher
  5. root39201.28.3188336083648pts/6Sl+03:220:03/usr/local/jdk1.7/bin/java-server-Xms256m-Xmx1024m-Xss256k-XX:PermSize=16m-XX:MaxPermSize=96m-Dproject.home=/application/amoeba-Damoeba.home=/application/amoeba-Dproject.name=Amoeba-MysqL-Dproject.output=/application/amoeba/logs-Dignore.signals=1,2-Dclassworlds.conf=/application/amoeba/bin/launcher.classpath-classpath/application/amoeba/lib/plexus-classworlds-2.4.2-HEXNOVA.jarorg.codehaus.classworlds.Launcher
  6. root39210.00.0100952656pts/6S+03:220:00tail-f/application/amoeba/logs/console.log
  7.  
  8. [root@bogon~]#netstat-lntpu|grep8066
  9. tcp00::ffff:192.168.200.210:8066:::*LISTEN3920/java
  10. 看到进程以及端口说明amoeba服务启动正常

6、测试MysqL的读写分离

测试之前先要保证amoeba-server有访问两个主从服务器test库的权限,在主从MysqL上都执行

  1. MysqL>grantallontest.*toamoeba@'192.168.200.%'identifiedby'think';
  2. MysqL>flushprivileges;

登录amoeba服务器使用如下命令(用户名密码和上面配置的要一致):

  1. MysqL-uroot-p123-h192.168.200.210-P8066

如果可以登陆并且没有任何错误就说明是OK的。登录上去后,为了测试读和写必须先把MysqL的主从复制停掉,才能更清楚地看出读写的服务器是哪台,在从上使用stop slave;登录到amoeba-MysqL上,使用命令MysqL -uroot -p123-h192.168.200.210 -P8066,然后执行写和读操作,查看写的是哪台服务器,读的是哪台服务器,实验结果显示:写只在主上进行,读在主和从都进行,比率是1:1

在没有停止同步之前先在master服务器上创建一个表

  1. MysqL>createtableamoeba(idint(10),namevarchar(10));

然后在slave服务器上停止数据同步

  1. MysqL>stopslave;

在主从上各插入一条不同数据(供测试读的时候用):

在master上插入:

  1. MysqL>insertintosxitvalues('1','amoeba1');

在slave上插入:

  1. MysqL>insertintosxitvalues('2','amoeba2');

登陆到amoeba服务器,进行读写分离的测试:

  1. [root@bogon~]#MysqL-uroot-p123-h192.168.200.210-P8066
  2.  
  3. MysqL>usetest;
  4.  
  5. MysqL>select*fromamoeba;#第一次执行select是在master服务器上查询
  6. +------+----------+
  7. |id|name|
  8. +------+----------+
  9. |1|amoeba1|
  10. +------+----------+
  11. 1rowsinset(0.00sec)
  12.  
  13. MysqL>select*fromamoeba;#第二次执行select是在slave服务器上查询
  14. +------+----------+
  15. |id|name|
  16. +------+----------+
  17. |2|amoeba2|
  18. +------+----------+
  19. 1rowsinset(0.00sec)
  20.  
  21. MysqL>insertintoamoebavalues('3','amoeba3');#插入一条数据,然后在select
  22. QueryOK,1rowaffected(0.05sec)
  23.  
  24. MysqL>select*fromamoeba;#可以看到上面新插入的语句在master上了
  25. +------+----------+
  26. |id|name|
  27. +------+----------+
  28. |1|amoeba1|
  29. |3|amoeba3|
  30. +------+----------+
  31. 2rowsinset(0.00sec)
  32.  
  33. MysqL>select*fromsxit;#slave服务器上是没有这条新的语句的,+------+------+
  34. |id|name|
  35. +------+------+
  36. |2|lisi|
  37. +------+------+
  38. 1rowinset(0.00sec)

参考文档:http://docs.hexnova.com/amoeba/rw-splitting.html

猜你在找的CentOS相关文章