江苏省农村信用社联合社,江苏南京 210000
摘要:分布式技术是建立在互联网基础上的软件技术之一,其高可靠性和稳定性正逐渐在企业中得到充分验证,为商业银行开展IT架构转型提供了技术借鉴。江苏省联社自2011年上线IBM大型主机CBOD核心系统以来,主机具有高可用和高吞吐率的特点,系统始终保持系统平稳运行,然而伴随而来的,是高额的科技成本及昂贵的服务费用。因此,我社积极探索“主机下移”的解决方案,通过论证,提出将主机部分交易移至分布式技术平台,配合主机进行业务处理,形成“集中式+分布式”并行的转型模式,走出了一条新一代银行核心分布式应用实践之路。
关键词:主机下移 分布式 核心系统
一、引言
江苏省联社自2011年上线IBM大型主机CBOD核心系统以来,其高可用和高吞吐率的特点始终保持系统平稳运行,然而伴随而来的,是高额的科技成本及昂贵的服务费用。面对系统运行的巨大压力和高额的运行成本,江苏省联社积极探索主机应用重构的解决方案,通过专题论证,提出将主机部分交易移至分布式技术平台,配合主机进行业务处理,形成“集中式+分布式”并行的技术转型模式。
二、“集中式+分布式”融合的主机下移方案
(一)交易选型
在具体主机应用重构过程中,通过详细分析交易量和主机资源占用情况,优先选择主机CPU资源消耗高、交易量占比权重较大的交易转移到分布式技术平台。选型下移交易包括账户资料查询、限额查询、银行卡信息查询、账户交易明细查询、客户信息查询等10支交易。选型交易总消耗达到主机CPU消耗的49.33%。
(二)系统实现
1.应用改造方案
江苏省联社综合考虑当前省联社科技系统体系现状,采用对外围渠道改造影响最小的方式进行核心系统分布式重构工作。
外围渠道(网银、手机银行等)通过ESB企业总线,柜面通过专用的MQ队列管理器,上送交易到主机下移平台网关服务器(gateway server),通过交易分发,交易路由到下移开放平台应用服务器,应用服务根据交易属性,判断数据库访问逻辑,通过DRDA访问主机DB2数据库,或者访问开放平台的oracle数据库(同步库)。
2.数据库同步
数据库分为主机CBOD系统DB2数据库和下移平台ORACLE数据库。两个数据库之间数据同步涉及存量和增量数据同步。
(1)存量数据同步
在项目应用投产前,提前进行数据库投产,由Oracle的OGG工具进行主机CBOD系统DB2数据库和下移平台ORACLE数据库的存量数据同步工作,并校验数据一致性。
(2)增量数据同步
增量数据同步由OGG工具增量同步进程进行同步,当IBM大型机上的数据发生改变时,通过抓取主机DB2日志,增量数据同步到下移平台ORACLE数据库,此过程数据同步延迟通常在毫秒级,满足联机交易对于数据时效性的要求。
3.稳定性保证-多级灵活的开关实现
(1)ESB及柜面渠道的应用流量开关控制
上线初期,考虑到主机下移平台从上线到运行平稳有个过渡期,在该过渡期,在ESB及柜面分别设置了开关,在发现主机下移平台响应异常时,由两个系统通过开关控制,由主机下移平台切到主机CBOD系统做查询。
(2)下移平台的数据库流量层面的开关控制
下移应用平台查询同步数据库出现异常,或者数据同步工具同步数据异常时,由主机下移平台通过配置服务查询开关,手工切换到DRDA生产库查询,待同步数据库数据排除异常后再手工切回。
三、开放应用下移平台运行分析与评价
将分布式引入核心业务系统,系统环境搭建、应用版本部署、铺底数据迁移、数据无缝同步等相关工作实施过程规划周密、推进有序,并在客户完全无感知的情况下顺利投产。
(一)主机资源消耗降低明显
1.主机MIPS优化情况
投产后常规交易日的平均MIPS消耗下降25%左右,优化效果明显。具体资源消耗情况见下表1
表1 9:00-10:00平均CPU消耗对比
日期 | 1号机平均CPU | 2号机平均CPU | 3号机平均CPU | 4号机平均CPU | 合计消耗MIPS | 去除基础消耗后MIPS |
投产前第1日 | 37.43 | 36.16 | 37.51 | 35.78 | 4131.507 | 3231.507 |
投产前第2日 | 34.27 | 33.62 | 35.27 | 32.70 | 3822.282 | 2922.282 |
投产前第3日 | 34.27 | 32.65 | 35.89 | 33.81 | 3838.638 | 2938.638 |
投产前3日均值 | 35.32 | 34.14 | 36.22 | 34.10 | 3930.614 | 3030.614 |
投产后第1日 | 29.16 | 28.41 | 28.54 | 29.08 | 3240.341 | 2340.341 |
投产后第2日 | 27.86 | 28.62 | 27.78 | 24.57 | 3069.151 | 2169.151 |
投产后第3日 | 29.49 | 26.51 | 30.81 | 25.86 | 3163.904 | 2263.904 |
投产后3日均值 | 28.84 | 27.85 | 29.04 | 26.50 | 3157.813 | 2257.813 |
优化效果 | 6.48 (175.35) | 6.29 (197.51) | 7.18 (194.30) | 7.6 (205.66) | 772.80 | 772.8 |
18.35% | 18.42% | 19.82% | 22.29% | 19.66% | 25.50% |
2.主机交易量优化
投产后日均交易量和峰值TPS均下降36%左右,效果较好,主要指标见表2
表2 9:00-10:00平均交易量对比
日期 | 主机TPS | 下移平台平均TPS | 主机一小时交易总量 | 下移一小时平台交易 | 主机全天交易总量 | 下移全天平台交易 | 主机平均响应时间(s) |
投产前第1日 | 590.55 | N/A | 212.4万 | N/A | 2287.3万 | N/A | 0.027 |
投产前第2日 | 551.46 | N/A | 198.2万 | N/A | 2118.2万 | N/A | 0.026 |
投产前第3日 | 552.96 | N/A | 199.0万 | N/A | 2109.4万 | N/A | 0.027 |
投产前3日均值 | 564.99 | N/A | 203.2万 | N/A | 2171.6万 | N/A | 0.027 |
投产后第1日 | 347.54 | 212.03 | 125.1万 | 76.3万 | 1259.1万 | 695.0万 | 0.032 |
投产后第2日 | 326.76 | 199.59 | 117.5万 | 71.9万 | 1222.4万 | 677.1万 | 0.032 |
投产后第3日 | 343.24 | 198.17 | 123.6万 | 71.3万 | 1403.0万 | 672.6万 | 0.032 |
投产后3日均值 | 349.73 | 203.26 | 122.0万 | 73.2万 | 1294.8万 | 681.6万 | 0.032 |
前后对比 | 38.1% | 35.98% | 39.96% | 36.02% | 40.38% | 31.39% | N/A |
(二)经济效益
系统上线后运行稳定,主机下移平台交易平均响应时间在24毫秒左右。据统计,核心系统投产当年春节业务最高峰日交易量约4586万笔,其中主机下移平台交易量为1657万笔左右,下移了核心交易量的36%。相比投产上年春节峰值交易量,总交易量增长了15.57%,但CPU峰值比往年降低了13%,累计降低主机CPU资源消耗25.46%,约2733个MIPS,折合人民币约8199万。
四、结束语
依托金融科技,银行业务流程互联网化程度得到迅速提高,以国产X86服务器以及开源程序为特征的分布式技术架构体系的引入,有利于银行业摆脱长期以来以大型主机为代表的基础软硬件等核心技术完全依赖国外厂商的状况,适应国家信创战略的要求。当然,在以开放的姿态引进先进互联网技术的同时,也需加强团队能力的建设、科技人才的储备,用积极稳妥的态度推挤金融科技的发展与融合,不断提升金融科技的管理和技术水平,加快实现信息科技助推金融创新与转型发展的步伐。
参考文献
[1] 井彬建,主机应用下移-分布式技术应用实践,金融电子化,2018
[2] 杨望,王菲,中小银行金融科技创新路径研究,金融博览,2018
[3] 马鹏玮,魏凯,姜春宇, 互联网环境下分布式事务处理系统现状与趋势,大数据,2018
[4] 陈文,蒋宏, 数字化时代的核心银行系统转型,银行家,2017
[5] 刘秋万,互联网时代银行技术架构转型策略与思考,中国金融电脑,2017
[6] 郑聪,开放平台直连主机技术在核心银行系统中的探索与实践,中国金融电脑,2017
[7] 金磐石,分布式转型中的主机下移实践,金融电子化,2017
1