400-050-2580

十二生肖买马开奖结果数据:用 Pivotal Gemfire 内存数据网格实现四大应用场景!

2017-12-22

面对企业的数字化变革,消费者与企业正无时无刻不在“联网”状态。企业的“秒杀”、“闪购”场景已非常普遍化,很多企业已经达到了每秒10万,甚至百万级的瞬时访问量。面对这样访问量需求,十二生肖买马开奖结果数据带来“Pivotal GemFire”:一个能实现处理庞大数据流,拥有持续不断可用性和一致性的解决方案。


方案的关键之处是:在不同数据管理系统和位置下都可以灵活扩展。

 

本文将探讨如何利用内存数据网格改变客户体验、决策能力和盈亏的各种方式。具体来说,我们会通过四个应用场景来了解一些企业客户在不影响速度和数据的安全性的情况下是如何使GemFire支持高性能的实时应用程序的。




应用场景一:交易处理



超高的数据管理性能


网购、设备互联、证券交易,这些类型的交易处理应用程序要求超高的数据管理性能。随着越来越多的企业着手进行数字化转型,这些类型的应用程序数量只增不减,在这种情况下,高度支持数据一致性的内存数据网格是必须的。


处理超大量并发交易业务


Pivotal GemFire可以处理超大量的并发交易业务,涉及兆兆字节的运行数据,为客户提供更快,更可靠的交易体验。


可扩展性更强


与传统的关系数据库管理系统相比较,Pivotal GemFire的可扩展性更强,能够随着需求的不断提高进行相应的扩展。

 

无论您是第一位用户还是第十万位用户,系统都会在瞬间处理好您的交易请求。这种高速、安全的能力对于拥有在线购物,支付处理,以及金融交易业务的企业来说尤为重要。

 

每一秒等待时间都意味着交易数量的降低,从而导致企业收入的降低,GemFire利用闪电般的速度和灵活的可扩展性,为用户提供快速交易,从而可以提高客户保留率和参与性。


12306官网案例




12306.cn无疑是全球最繁忙的网站,每到特殊节日,这个世界上规模最大的实时交易系统都要面临巨大考验。2012年初的春运高峰期间,每天有2000万人访问该网站,日点击量最高达到14亿,大量同时涌入的网络访问造成12306几近瘫痪。在2015年春运高峰日,12306的PV值是297亿,流量较平时增加1000倍。

12306作为一个面向公众的系统,互联网售票系统具备所有大型互联网系统的特性:“高并发”, “高流量”。尤其是在我国的各个节假日,系统的访问量激增,导致整个系统后台压力过大,响应缓慢。


  传统关系型数据库所面临的挑战


有网友调侃说,12306其实也是一个电商平台,而且是全球最复杂、规模最大的电商平台。但实际上,12306背后所隐藏的业务逻辑非常复杂,远远超过普通的电商平台。事实上如果将每张可出售的火车票当成一件商品来看,每张票的销售都会关联到整条路线每个站点可销售的余票量,有些站点的余票量会产生变化,有些站点则不会。从另外一个角度来看,当销售一张票,改签,或退票时,整条路线甚至每个站点的余票量都需要重新计算,也就是说每个站点的余票库存是个“动态变化库存”的概念。

 

站点与站点之间的余票库存有巨大的关联性,此“动态库存”概念的业务逻辑是12306与电商网站最大的差异。

 

12306的设计重点不但要具有大型电商网站所具备的特性外 (即提供快速响应时间,高可用性(容灾和备份)和系统的扩展性),还需要有强大的CPU计算资源来支撑。

 

鉴于12306没有图片、视频等影响带宽的内容,主要矛盾是数据库的高并发量,采用内存数据库是正确的解决思路。GemFire正是一个基于内存的分布式数据库,并且拥有大量的成功案例,非常适合来解决12306的问题。我们能看到,这两年关于12306官网火车余票量不准确的抱怨确实减少了。


  12306成长历程


12306网站3年时间访问量从10亿PV暴涨到100亿PV,售票量从100万增加到500万,出票处理能力200张/秒增加到1000张/秒。

 

GemFire本身就是基于内存的技术架构,对于并发访问有天然的IO优势。同时GemFire是一个分布式数据库,可以将数据访问的请求分散到集群中,有效降低单个服务器的负荷。动态的分布式架构,可以在运行时增加服务节点,从而获得更高的并发性能。

 

高流量方面,主要涉及低延迟的余票查询。GemFire支持类Map-Reduce并行处理,能够按车次将余票、共用定义等数据拆分成多个独立的计算单元,对余票查询中最耗时的共用定义部分做预先处理,生成查询缓存。当余票数据发生变化时,系统会动态更新查询缓存。有了预处理及数据同步过程维护的动态查询缓存,单次查询可以控制在10ms-300ms之间, 同时10分钟的固有延迟也不存在了。

 

12306从2012年3月开始改造,在只采用10几台X86服务器实现了以前数十台小型机的余票计算和查询能力,单次查询的最长时间从之前的15秒左右下降到0.2秒以下,缩短了75倍以上。2012年春运的极端高流量并发情况下,支持每秒上万次的并发查询,高峰期间达到2.6万QPS吞吐量,整个系统效率显著提高。

 

订单查询系统改造,在改造之前的系统运行模式下,每秒只能支持300-400个QPS的吞吐量,高流量的并发查询只能通过分库来实现。改造之后,可以实现高达上万个QPS的吞吐量,而且查询速度可以保障在20毫秒左右。新的技术架构可以按需弹性动态扩展,并发量增加时,还可以通过动态增加X86服务器来应对,保持毫秒级的响应时间。

 

在以往的春运期间,12306售票系统部署GemFire集群在2个数据中心,提供服务。在2015年春运购票高峰之前,考虑到超大并发会造成网络流量大以及阻塞的问题,项目组特别在阿里云建立一个数据中心,由阿里云提供“虚拟机”的租赁服务,将基于GemFire实现余票查询功能的系统以及Web服务部署在这些虚拟机上,以分流“余票查询”请求,解决因为高峰期超高并发造成的网络阻塞问题,以进一步提高服务品质。2015年春运购票高峰期的12306高效平稳运行,也验证了混合架构的可行性。





应用场景二:事件通知和处理


把握热数据机遇


在诸如信用卡诈骗、风险计算、车辆跟踪这些情景中,数据就像说书人,讲述了现场实时发生的各种事件。

 

随着互联网成为各行各业强有力的数据源,把握热数据机遇变得尤为重要。然而,传统的数据管理系统无法快速处理大数据,从而无法及时将重要事件传达给客户端应用程序,传统的系统也无法结合历史和实时数据进行实时分析和预测。


快速处理实时和历史数据集


如果我们结合内存数据网格与大规模并行处理数据存储,就可以像Pivotal Greenplum或者开源Greenplum Database一样快速地处理实时和历史数据集,让热数据分析成为可能。银行、能源,以及电信等行业的领导者无疑会对GemFire出色的事件通知和处理能力喜闻乐见。


强大的内存数据网格


GemFire强大的内存数据网格可以管理高达兆兆字节的内存输入数据,并在服务器内部数据发生变化时,跨越多个集群,将通知推送至应用程序客户端。这种快速,持续的查询能力使得系统能够快速,轻松地访问大量输入数据,并采取行动。


通用电器案例


工业巨头通用电器公司就采用了GemFire的内存事件处理和通知功能来对其燃气轮机产品进行跟踪。

 

通用电器公司的远程水力和电力监控与诊断中心现在能够处理和存储涡轮机上高速的时间序列传感器的大型数据流(每秒超过10万个,内存10兆兆字节)。

 

GemFire的连续查询功能允许通用电器公司通过各种传感器数据密切留意涡轮故障信号。此外,通用电器公司已实施快速合并分析实时和历史数据,来预测涡轮维护需求,防止设备故障。利用事件处理和分析功能,结合实时和历史数据,通用电器公司开始采用精简的方式进行监测和维护其舰队,而采用原有的系统来分析这些是不可能的。


应用场景三:分布式缓存

启动应用时加载时间过长


仍在等待该产品搜索页面加载?每秒!生命!都是!宝贵的!

 

如果在启动应用时加载时间过长肯定会叫人心情烦躁,而大多数客户在等待页面加载的时候耐心都极为有限。


快速调用经常访问的数据


GemFire的内存数据网格可以作为现有应用程序的缓存层使用,这样,应用程序就可以快速调用经常访问的数据,不会在访问磁盘数据时发生卡顿。而更重要的是, GemFire能够在服务器停机以及广域网的连接请求时进行回应,这使得应用程序持续可用从而降低延迟。


支持复杂的缓存解决方案


不论是网络会话缓存还是主机卸载,GemFire都支持复杂的缓存解决方案。

 

某国家级商业服务提供商正在使用GemFire的内存缓存功能,用于那些需要快速和频繁访问大量数据子集的应用程序。


内存本地缓存解决方案


人力资源和财务人员使用这些应用程序来搜索和筛选员工信息,他们需要快速、可靠地访问各种数据子集,如员工住址或薪酬等级。使用搜索表格从数据库中查询这些信息是一个缓慢而繁琐的过程。

 

为了满足高容量、低延迟的数据调用需求,我们在应用程序中直接创建了一个先进的本地缓存解决方案,并且可以通过GemFire来不断更新。这个内存本地缓存系统的功能类似于单页面Web应用程序,让用户可以在几分之一秒的时间内搜索和筛选大量的数据,带来流畅而高效的用户体验。

 

经常有些糟心事儿:

 

比如说在等待页面加载时发现你键入到表格中的信息丢失了,更严重的例子也比比皆是;

 

比如某大型保险公司因为原有的系统无法保存填写中的表格,使得客户流失率持续上升;

 

GemFire完美地解决了这个问题,让该公司在三个数据中心可以实时缓存客户信息。如今,他们的客户可以随时返回到申请表而没有任何的数据丢失,极大地提高了保险在线提交申请的数量。



应用场景四:计算/数据网络


在内存中处理大数据流


蒙特卡罗模拟、组合预测、价格和性能指标的比较……金融服务行业是GemFire网格大数据的成长沃土。使用传统的数据库存储体系意味着处理和分析财务数据需要在各个独立的系统之间来回大量移动数据,许多金融服务公司的陈旧系统很难跟上客户数据不断增加的步伐。GemFire可以在内存中处理非常大的数据流,无需将数据传输到一个单独的分析系统中去,允许快速地存取数据和充分地分析数据。


即时迅速的大规模分析能力


某大型金融服务公司采用GemFire在单一平台上快速处理兆兆字节级的内存数据,该公司的客户能够快速查看强制组合指标中的不同数据源。

 

以价格数据和性能指标为例,传统的数据库架构需要额外步骤来处理这些指标,花费时间太长。而GemFire的内存数据网格不必在各个单独数据库之间移动数据即可进行复杂计算和分析,这为基金经理、投资者和其他的平台用户提供了即时迅速的大规模分析能力。





相关阅读

400-050-2580 取消 呼叫
Baidu
搜狗