云复制平台产品使用说明书V13.pdf

该【云复制平台产品使用说明书V13 】是由【小屁孩】上传分享，文档一共【35】页，该文档可以免费在线阅读，需要了解更多关于【云复制平台产品使用说明书V13 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。:..云数据复制平台使用说明书文件状态:项目名称文档名称使用说明书【】【√】正式发布作者刘建辉完成时间2012-04-16【】正在修改页数密级华东数据中心有限责任公司2012年02月:..文档控制修改记录起止日期修改类型*作者参与者版本备注2012-01-16M刘建辉2012-02-01M刘建辉2012-02-21M刘建辉2012-04-16M倪闯2012-06-03M刘建辉2012-06-20M刘建辉*修改类型分为A—AddedM—ModifiedD—Deleted姓名姓名职位职位审阅签字审阅签字赵宇项目经理审阅人存档号地点/位置备注存档:..目录1概述...............................................................................................................................................................................................................................................32系统综述..............................................................................................................................................................................................................................................................................63系统操作说明............................................................................................................................................................................................................、启动MGR.........................................................................................................................(REMOTEDIAGNOSTICAGENT)监控...................................................26附录................................................28MYSQL设置ODBC....................................................28SQLserver设置ODBC...............................................281:..。从面向客户服务的角度而言,无论何时出现何种情况,都需要数据库提供不间断的实时数据业务支撑服务,以保证客户满意度、客户服务质量、企业信誉等不受影响,对企业而言也可避免财务损失,增强企业竞争力。现在的很多企业客户需要在不同的数据中心、不同城市构建双业务中心,满足业务扩展需求,比如很多商业银行在异地开设分行,这些分行的数据需要访问总行的数据,相互之间的数据需要实时同步,数据延迟会对业务造成很大的影响。所以要求企业对内部的数据进行集成,构建统一的数据仓库平台,实现数据的实时准确的同步。这就需要有一个平台从企业内的不同系统中整合信息,可以实时捕获数据中心系统产生的信息,同时可以把捕获的信息进行实时同步,在一端出现故障时,其他业务中心可以接管生产系统的业务,并且不会影响生产系统可用性和性能。与此同时系统故障、人为误操作、传输中断、电网停电、服务器崩溃、磁盘损害系统风险甚至数据中心的灾难性丢失都可能造成数据库文件的损害或丢失。我们该如何保护数据资源、用什么办法措施来保护数据、如何才能高性能、高可靠性的保护数据成为了现在企业最为亟待解决的问题,因此数据库容灾备份系统的建设至关重要。容灾备份不仅仅是指将数据库备份文件从一个房间备份到另一个房间,更重要的是基于网络的远程备份,以及发生灾难后如何能够迅速恢复数据库,使得相关业务访问能够平滑不间断地过渡到恢复后的数据库中。OracleGoldenGate(OGG)是一个用于实时事务更改数据捕获、转换和发送的高性能软件应用程序,提供基于日志的双向数据复制。该应用程序可让您确保关键系统全天候运转,相关数据分布于整个企业内,从而优化决策。但是OGG由于是基于命令配置的应用程序,客户没有专业的DBA很难实施这个产品,虽然OracleGoldengateDirector和OracleGoldengateMonitor可以协助DBA用界面配置和监控这个应用程序,但是它们配置非常复杂,而且缺乏客户实际实施体验,客户很难完成。为此我们开发了云数据复制平台—CLOUDDATAREPLICATION(CDR)监控平台能够快速配置OGG,实时监控数据库信息及数据复制进程状态。、任何数据库之间数据的复制,又由于开发的产品也是可以部署在任何平台的Web框架,这样任何一个企业级客户都可以在企业私有云或者企业内部数据中心部署我们的云数据复制平台,所以CDR的应用领域非常广泛,数据容灾复制相关的任何平台、任何数据库、任何领域的企业都可以使用。很多企业、系统集成商、服务提供商缺乏有经验的DBA人员、系统管理人员以及熟悉OGG产品的人员。如果他们为客户实施数据复制、数据容灾项目花费周期长、而且实施风险很大,主要是由于技术复杂、缺乏项目经验、产品不熟悉、没有配置经验,也缺乏性能诊2:..断、解决分析的能力。而利用云数据复制产品可以弥补人员短缺、项目经验短缺的不足,可以帮住他们快速实施数据复制、容灾项目,又能保证项目的成功性,同时也不用在花费精力为客户定制化配置、开发监控平台,完全可以在项目实施以后把产品交付给客户使用,也节省了后期为客户提供维护的技术支持成本。所以CDR的使用对象也比较广泛,非专业和专业的人员经过培训都可以快速掌握使用。、标题、编号、发表日期、出版单位或资料来源,可包括?与该产品有关的已发表的资料?文档中所引用的资料,、术语解释OGGOracleGoldenGateCAPTRUE抓取进程EXTRACTPUMP网络传输进程DELIVERY复制进程REPLIACTTRAIL抓取数据的文本文件3:..--CLOUDDATAREPLICATION(CDR)通过Socket通信利用Java语言结合Strus2+Spring+Mybatis+Tomcat+Shell+MySQL架构开发。前端页面采用JSP开发,并在页面上使用了JQuery插件以提高可用性,采用了AJAX技术降低页面刷新频率。后台采用了Struts+Spring+Mybatis框架结构实现分层逻辑,用Struts配置前端页面动作,Spring配置业务逻辑层,并连接底层Service。系统架构图如下:图2-1系统架构图其中Mybaits负责连接底层Mysql数据库;GoldenGate层负责连接各个服务器的Mgr进程,Service层通过对服务器发起SSH、等连接,执行指令或者Shell脚本,来实现安装、控制mgr进程等功能。4:..,实时监控数据库信息、服务器信息、OGG进程状态、实时复制的延迟情况以及数据复制情况,任何进程的异常和系统异常都可以快速地反应在监控平台。这个监控平台可以实时了解数据复制的过程、企业生产的运行状态,避免数据复制失败、数据复制延迟给系统以及业务应用带来的影响。提供异构系统间数据库事务的实时捕获、转换、路由和交付。确保保持事务完整性的同时让更多数据库和平台实现了高性能、低影响的秒级数据实时复制,包括单向复制、双向复制、一对多复制、多对一复制等等。产品采用基于组件的体系结构,可帮助企业满足企业系统所需的持续可用性、实时集成、灵活业务扩展。产品主要有以下模块:?服务器信息及应用场景:新建服务器及根据服务器新建应用场景;?OGG安装:OGG的安装、环境变量设置、MGR启动;?数据库监控:监控数据库状态、版本、日志、字符集、对象等信息;?Extract模块:实现Extract进程的view、start、stop、monitor、add、alter、edit、delete;?Trail模块:实现Trail进程的view、add、alter、delete;?Pump:实现Pump进程的view、start、stop、monitor、add、alter、edit、delete;?Replicat:实现Replicat进程的view、start、stop、monitor、add、alter、edit、delete;?监控模块:监控Mgr状态、端口、进程状态、lag、trail、版本、stats等信息;?告警模块:设置阈值,及时告警。,容灾备份方案都存在下列一个或多个不足:?基于人工方式,难以自动完成;?实时性差,备份数据库无法获得最新的更新数据;?每次都是对数据库当前数据的全部备份,备份数据量大,对时间、系统资源和网络状况具有较高的要求;?对数据库正常访问有较大影响;?容错性差,当网络等出现故障时需要重新备份;?恢复数据需要较长时间;因此,设计一种可以自动完成的、实时性好、网络负载小、安全性高、不影响现行业务的数据库容灾复制方案,具有重要的理论和实际意义。CDR就是利用OGG底层技术支持,基于上述特性开发的产品,具有以下特性:?灾难恢复和数据保护。为关键系统创建和维护使用最新数据的故障切换来尽量减少恢复时间—我们可以一个服务器维护和监控多个系统的容灾;?零停机运营。系统升级、迁移和维护期间不中断业务运营;?数据分布。为分布式应用程序实时同步数据,提高可用性和可伸缩性;?查询卸载。通过在异构的源系统和目标系统间复制数据,在仍支持必要的只读活动的同时,确保生产系统的高性能;?做到整个schema级的同步而且相关的维护不是过于复杂;?系统本身不会过多的限制应用的可扩展性;5:..、数据库平台不同,以及客户监控服务的平台不同,CDR可以把客户自动上传的介质部署在客户指定的平台,快速为客户实施部署环境,该平台有以下优势:?利用开源数据库MySQL存储客户的服务器地址、服务器平台信息、数据库版本信息、OGG软件版本、OGG进程端口、监控信息、告警信息、历史数据信息等元数据信息;?利用Shell脚本、Perl脚本等脚本语言定制化客户的安装信息,协助客户灵活安装部署软件;?利用MyBatis框架灵活控制数据库信息的访问、数据库信息配置,支持多个数据库;?支持平台环境检验;?成本低;?支持异构平台、支持Oracle、SQLServer、MySQL等等主流数据库;,整个产品代码只有20M,代码部署中间件Tomcat大小8M,部署在任何一个平台上都能保证产品的性能。6:..。。、启动MGR1、登录图4-1登录界面初始登录信息设置:用户名:admin密码:admin2、点击“登陆”按钮,进入主页面7:..图4-2主页面3、图4-2中点击“服务器信息列表”下“新建”按钮新建服务器。新建界面如下:图4-3添加服务器界面说明:?UserName和Password:GoldenGate专用的数据库用户并赋予相应的权限;?OraclePort:Oracle端口号;?OsType:操作系统类型,例如centos;?ServerName:给此台服务器取个名字;?GoldenGateIP:IP地址;?GoldenGatePort:设置启动mgr的端口号;4、新建服务器之后,图4-2主页面中将有此服务器列表信息,点击“OGG安装”8:..4-4安装Goldengate界面说明:上传介质启动MGR,主要有几个功能:1)上传GG介质;2)安装GG;3)添加附加日志;4)上传启动mgr所需的脚本;5)修改环境变量文件,设置GG所需要的变量;填写信息说明:?填写GG文件所在位置(在web服务器上),包括全路径及文件名;?填写GG安装路径(必须是已经存在路径);?,用户信息需要Oracle用户信息及IP及CDR安装路径,用来推送脚本文件;?填写安装GoldenGate的目标服务器信息,用户信息需要Oracle用户信息,用来上传文件;?填写Oracle环境变量信息,用来启动mgr;?查看返回信息,是否安装成功,环境变量是否设置成功;5、图4-2中点击“应用场景列表”下“新建”按钮添加应用场景9:..图4-5添加应用场景界面说明:?填写相关信息,应用场景分为单项、双向、一对多、多对一;?点击源端和目标端的输入框、弹出相关服务器列表,可选择;?当选择一对多或多对一时;图4-6一对多界面说明:?可点“+”号添加服务器;6、建好应用场景之后,在应用场景列表中显示图4-7应用场景列表说明:点击“查看”按钮查看MGR状态,若MGR状态未启动(红色灯),则点击“启动”,启动分为以下三种情况:1)由于启动MGR需要启动信息,若GoldenGate安装没有使用界面安装,则启动信息数据库中没有记录,将弹出提示信息,转向启动界面;10:..图4-8启动MGR界面填写信息说明:?,用户信息需要Oracle用户信息及IP及CDR安装路径,用来推送启动脚本文件;?填写安装Goldengate的目标服务器信息,用户信息需要Oracle用户信息,用来上传文件;?填写Oracle环境变量信息,用来启动mgr;2)若数据库已经有启动信息,将使用记录信息启动,若启动不成功,说明某些信息有改变,数据库记录信息不正确,需重新填写启动信息,弹出图4-8,填写信息启动;3)若数据库已经有启动信息,将使用记录信息启动,若启动成功,弹出信息。7、启动成功之后,返回主页面,点击应用场景,Operation下“查看”按钮,根据复制类型不同进入不同配置场景,界面如下1)单向复制图4-9单项复制2)双向复制11:..图4-10双向复制3)一对多复制图4-11一对多复制4)多对一复制图4-:12:..图4-13单向复制界面说明:?图示显示配置流程?显示信息包括服务器信息、进程信息、数据库信息等;、从图4-13点击“capture”图标进入EXTRACT界面图4-14EXTRACT界面列说明:?Process列:点击进程名显示report信息,对应命令:viewreportgroupname;?Type列:显示是初始化进程还是提取进程;?Status列:?红灯表示进程stopped;?黄表示abended;?绿表示running;?ChechkPoint列:点击查看等多进程检查点信息;?“修改”:alter命令;?“配置”:对应editparam命令;13:..?“Send”:对应Send命令,点击将弹出选择参数界面,选择参数之后,点击确定(详细见监控界面说明)?“Stats”:对应Stats命令,点击将弹出选择参数界面,选择参数之后,点击确定(详细见监控界面说明)2、从EXTRACT界面点击右上角“添加进程”按钮进入添加界面图4-15添加EXTRACT进程界面说明:?若初始化进程选择SourceIsTable,其他选项不允许填写;?若不是初始化,可以选择Tranlog或VAM;?开始时间和Seqno填一个,填写Seqno必须填写RBA;?点击GetSeqNo按钮,会列出所有日志序号,选择一个后点击确定,会自动填充至空白处;?点击确定之后,viewextract界面将会显示刚添加进程;3、回到EXTRACT界面点击Operation下“配置”进行参数配置新添加的进程,提示参数文件不存在,若已经配置显示配置参数如下:14:..图4-16文本方式配置EXTRACT进程参数说明:?点击change可以直接对文本进行编辑,点击save直接存到后台,并对参数格式进行检查,EXTRACT关键字必须是在最前面;?点击config进入图形化配置;4、点击“config”配置15:..图4-17图形化配置EXTRACT进程参数说明:默认显示常用参数,点击“高级参数”可显示一些不常用高级参数?本地trail文件名后面需要用到;?填写Schema,点击GetTable按钮,会列出该Schema下的所有表,选择所需表后,点击确定,所选择的表会自动加入到复制列表框中;?可对选择的表add或者deletetrandata?在高级参数中,远程主机信息,点击自动获取,选择一个后,HostName和MgrPort会自动填充;5、回到EXTRACT界面点击Operation下“修改”可对进程进行修改图4-18修改EXTRACT进程说明:?点击GetSeqNo按钮,会列出所有日志序号,选择一个后点击确定,会自动填充16:..至空白处;?有些参数不能同时修改,界面对互斥的参数进行了控制;、从图4-13界面点击“sourcetrailfile”进入TRAIL界面图4-19TRAIL界面2、点击“添加进程”添加trail文件图4-20添加TRAIL界面说明:?TrailName路径已经给出,须填写文件名,2位,填写图4-17中输入的文件名;?选择Extract进程还是Pump进程;?点击获取进程名,列出现有的EXTRACT进程和PUMP进程,可进行选择所需进程名;3、从TRAIL界面点击Operation下“修改”可对文件进行修改17:..图4-21修改TRAIL界面说明:?、从图4-13点击“datapump”进入PUMP界面图4-22PUMP界面说明:?相关列说明同Extract;2、点击“添加进程”图4-23添加PUMP界面说明:?使用图4-17中Extract进程的trail文件,可点击获取文件名,选择trail文件;?点击获取文件号,列出可选的信息,选择后可自动填充到ExtSeqNo和RBA处;?确定之后view界面显示;3、回到PUMP界面,点击配置,同EXTRACT,弹出配置参数,点击“config”进入图形化配置18:..图4-24配置PUMP进程参数说明:?可自动获取主机信息;?远程文件名为写到目标端的文件;?填写Schema,点击GetTable按钮,会列出该Schema下的所有表,选择所需表后,点击确定,所选择的表会自动加入到复制列表框中;4、PUMP界面点击Operation下“修改”可对文件进行修改,对应alter命令19:..图4-25修改PUMP进程说明:?点击获取文件号,列出可选的信息,选择后可自动填充到ExtSeqNo和RBA处;、从图4-13点击“sourcetrailfile”进入viewtrail界面图4-26添加远程TRAIL文件说明:?TrailName路径已经给出,须填写文件名,2位,图4-24中远程文件名;?选择pump进程;?点击获取进程名,列出现有的EXTRACT进程和PUMP进程,可进行选择所需进程名;?确定回到view界面;启动Extract、Pump进程;-13点击“targettrailfile”进入目标端viewtrail界面:20:..图4-27目标端TRAIL文件可对trail文件大小进行修改图4-、从图4-13击“delivery”配置Replicat进程图4-29REPLICAT界面说明:?同Extract;2、点击“添加进程”图4-30添加REPLICAT进程说明:21:..?初始化进程选择SpecialRun;?Trail文件名为4-26中远程文件名,可带点击“查看文件”列出所有关联文件,进行选择;?是否写检查点必填,选择NoDBCheckpoint或者填写信息3、添加之后回到图4-29点击“配置”,弹出参数信息界面图4-31文本方式配置REPLICAT进程参数4、点击“config”进入图形画界面配置22:..图4-32图形化界面配置REPLICAT进程参数说明:?目标数据库名称可自动获取?填写Schema,点击GetTable按钮,会列出该Schema下的所有表,选择所需表后,点击确定,所选择的表会自动加入到复制列表框中;5、配置Replicat时,需要配置根据不同的表配置map参数图4-33MAP参数组说明:点击添加可新添加map参数组,点击参数配置,可修改已经配置的map参数组,例如点击第一组map的参数配置:23:..图4-34MAP参数配置6、回到图4-29点击“修改”,可修改replicat进程图4-35修改REPLICAT进程说明:?点击获取文件号可以获取相关联的trail文件,进行选择;启动REPLICAT进程。单项复制配置完成,若双向复制、一对多复制、多对一复制配置流程一样,配置完成进行测试。“进程级监控”:24:..图4-36监控界面进入监控界面,界面主要分为三部分:1、左侧为一个导航栏,显示当前监控的所有服务器,点开每台服务器,显示服务器下mgr、extract、replicat、trail文件所有对象列表;2、右侧上部分,显示监控信息,点击服务器下某个对象,将显示对此对象的监控信息,mgr监控点包括:连接状态、gg版本、名字、端口号、启动时间、状态;进程监控点包括:名字、读检查点、写检查点、连接状态、lag、dml插入更新删除丢弃记录数、ddl执行条数、启动时;Trail文件监控点:名字、路径。3、右侧下面为延迟信息统计图。“告警”,进入告警界面:图4-37告警界面告警界面主要有三个功能:1、告警信息显示:显示当前的告警信息,可以选择看服务器的所有告警、或者某个进程的告警信息;2、告警规则设置:显示已经设置的告警规则,可以新建规则,或者删除规则;点击新建,弹出新建界面:25:..图4-38告警设置界面可以对级别、时间间隔(多久发送一次告警信息)、进程、联系人进行设置,针对不同的进程设置不同告警,不同服务器告警信息设置发送到相关联系人。3、联系人设置:添加或者删除联系人。(REMOTEDIAGNOSTICAGENT)监控点击左上角“诊断”,进入RDA监控界面:图4-39RDA监控界面左侧为导航栏,选择一台服务器,可以监控到进程信息、版本信息、IO检查点信息、Cache信息、日志信息等。1、进程明细:列出所有进程及基本信息;2、版本信息:显示当前GoldenGate版本;3、MGR信息:列出mgr状态信息;4、端口使用:列出动态端口使用情况;5、IO检查点信息:检查点详细信息;6、Cache管理信息;包括统计、队列、池统计信息;26:..7、Extract进程状态:生成Extract进程报告;8、Replicat进程状态:生成Replicat进程报告;9、Trail详细信息:trail信息;10、子目录信息:显示每个子目录下面的文件信息;11、gg日志文件:显示最近1000条gg的errlog文件信息。27:..附录MYSQL设置ODBC安装Mysql连接ODBC的驱动--mysql-connector-odbc--(下载版本要与机器类型相匹配)1、设置MYSQL_HOME保证MYSQL_HOME环境变量只想MySQL数据库的安装路径。GOLDENGATE使用该环境变量找到MySQL的配置文件().在windows下,记得将该值放到引号中如果路径名包含空格。2、设置MySQL配置参数下列参数必须在MySQL服务配置文件中设定。,-bin指定一个日志文件的路径和名称类型,例如:log-bin="C:/MySQL/"在这个例子中,,...并且存在的路径是c:/MySQL/,=4096设定binlog_format的值是row,如下Binlog_format=rowRow值将会影响DML语句以二进制的方式被记录下来,任何其他的日志格式将会导致抓取进程挂起。SQLserver设置ODBC开始?程序?管理工具?数据源,在SystemODBC选项中28:..点击添加按钮,选择