< 返回
农电营销系统的存储方案

集中式和分布式是当今存储界的两大话题,关于它们孰优孰劣的争论也一直持续。

目前,集中存储是一个热门话题,因为集中存储的好处是显而易见的,既有利于信息资源的共享和数据挖掘,也有利于消除信息孤岛。但是,集中存储是有条件的,首先就是网络环境必须是稳定和安全的。但是,如果系统的规模大,跨越的区域相距又很远时,则对网络的要求很高,相应会增加运营成本和维护管理费用。在此种情况下,基于集中分布式存储是一种可行的解决方案。

新疆天富热电股份有限公司负责18个农牧团场的供用电管理,2003年在18个用电管理所实施了一期工程,开通了用电营销管理,营销管理营销管理信息系统。2005年底在一期工程的基础上,公司提出将用电管理所与总部进行互联,实现农电公司对用电管理所的集中管理和整个公司的信息共享。

面临的问题

用电管理所与总部的联网运行,既要保证用电管理所的正常运行,又要满足了总部对用电管理所集中管理、数据共享的需求。

对于联网,总部提出的要求是:首先保证各用电管理所的互联互通。其次实现总部对用电管理所的汇总统计、汇总分析、综合查询等功能。

联网运行面临以下问题:

◆ 联网运行后,数据是集中存放在总部还是分散存放在用电管理所,关系到联网运行的成败,联网运行即要保证原有用电管理所营销系统的稳定运行,又要满足总部对数据集中管理的需求,数据存储方案是本文主要解决的问题。

◆ 用电管理所每月1至10号为电费回收日,为了保证电费回收,用电抄核收工作必须在每月25日至30日完成。因此,总部对用电管理所数据的实时性在该时间范围内有一定的要求。数据存储方案必须保证用电管理所在该时间范围内营销系统的正常运行。

◆ 一方面,农电网络覆盖面广、传输距离远、中间结点多;另一方面,农电网络属于企业内部非营利性网络,网络维护的能力有限,在网络故障诊断、故障排除等网络安全方面不能得到充分保障,适用于对系统实时性要求不高的场合。因此,联网运行必须考虑网络的实际情况。

三套解决方案

方案一:完全集中式数据存储

在总部设置集中式数据存储系统,集中存放用电管理所的数据,用电管理所不设置数据库服务器,通过网络连接总部的数据库获取数据,完成相应操作。

方案优点:

◆ 客户端维护简单,维护成本低。由于数据库统一集中在总部,各用电管理所不涉及数据库维护工作,因此,用电管理所一端维护相对简单。

◆ 数据易于管理。可以对总部和各用电管理所的数据进行实时监控管理。

◆ 数据存储、处理效率高,数据一致性好。数据集中存储在总部,各用电管理所需要访问总部唯一的数据库,不存在数据同步问题,数据一致性好。

◆ 投资少。此方案省去了各用电管理所数据库服务器的投入,投资相对较少。

◆ 有利于数据共享和数据挖掘。数据集中存储有利于与其它系统的共享数据资源,有利于后期进行数据挖掘工作。

方案缺点:

◆ 系统存在安全瓶颈。由于数据集中存储在总部,数据网络成为整个系统的安全瓶颈,一旦网络出现故障,各用电管理所的计算机业务将陷入瘫痪。

◆ 独立运行处理能力差。系统运行必须建立在网络联通的情况下,用电管理所要使用软件必须先与总部数据库连接。在通信线路不稳定或远程分点较多时,系统运行速度较低。用电管理所的运行依赖于总部的正常运行。此方式适合于对远程分部实时管理有着非常高要求的应用场合。

方案二:完全分布式数据存储

数据存储在各用电管理所,总部通过网络调用用电管理所数据,进行合并汇总、分析及查询等操作并将统计结果保存在本地。

图2 集中分布式数据存储系统结构图

优点:

◆ 前期投资少、见效快。由于总部不保存用电管理所数据,只存放汇总统计结果,因此只需投入一般的数据库设备,实施相对简单。

缺点:

◆ 总部应用系统结构复杂。由于数据分布在各用电管理所,总部数据来源为18个用电管理所的数据库,汇总统计时需要分别与各用电管理所数据库进行连接,因此,总部应用系统结构比较复杂,而且用电管理所数据库结构相同,数据库数据调用效率低。

◆ 数据安全性低。农村用电管理所人才缺乏,没有专门的系统维护人员,数据备份完全依赖于个人工作责任心,一旦出现数据库故障,总部将不能进行汇总统计工作,影响总部对信息的及时掌握与决策。

◆ 用电管理所维护量大。用电管理所数据服务器需要定期维护,比如数据库日志及数据的清除与备份、数据库优化等。数据无法及时汇总到总部,影响总部对信息的及时掌握与决策。此方式适合于对远程通信费用较为敏感、同时总部对远程分部的数据上报实时性要求不高的应用场合。

◆ 后期投资大。用电管理所营销数据增长较快,对数据库服务器的处理能力有较高要求,通过试验,对拥有1万用电户的用电管理所,普通pc服务器(至强2.0/单cpu/1g内存)运行一年后,速度明显下降,需要更换,照此推算服务器投资将逐步加大。

◆ 不利于与其它系统进行数据共享,不利于后期进行数据挖掘工作。

方案三:集中分布式数据存储

针对以上两种数据存储管理模式的不足,一种全新的数据存储管理模式应运而生,这就是结合集中式与分布式两者优势的管理模式:集中分布存储模式。在这种数据存储管理模式下,采用了先进的远程数据增量复制功能,实现数据的分布存储与集中管理。在满足总部实时监控管理需要的同时,照顾分部能独立运行管理,在日常系统运行时无需要求总部打开数据服务器和连接远程通信网络。系统结构见图2。

用电营销计算机业务仍在用电管理所进行,业务数据首先存入用电管理所数据库,然后采用远程数据增量复制功能,使用电管理所数据与总部数据的同步。总部需要增加数据存储系统,用来同步保存用电管理所的数据及汇总、统计、查询18个点的业务数据。

方案优点:

◆ 系统安全性高。各用电管理所计算机业务在本地进行,不依赖公司总部,即使网络出现故障,仍可保证各用电管理所计算机业务的正常运作。

◆ 系统可靠性高。分布存储数据,增量复制同步。采用远程数据增量复制功能,实现数据用电管理所寓总部的数据同步。如果用电管理所设备发生故障,可以连上总部的数据库进行操作。待本地故障排除后,进行一次数据同步即可。

◆ 数据安全性高,总部与用电管理所数据互为异地备份,这样数据安全性就大为提高。

◆ 有利于与其它系统进行数据共享,有利于后期进行数据挖掘工作。

方案缺点:

◆ 容易发生数据一致性问题。集中分布式存储的一个关键问题是解决集中存储与分布存储数据的同步问题,如果解决不好容易造成数据不一致的问题。

◆ 用电管理所端维护量大。用电管理所需要维护人员对数据服务器进行定期维护,比如需定期进行远程增量复制,以及时更新总部数据库中的相应数据;每分部需有相应的数据维护与管理人员。

◆ 前期投资大。该方案需要在总部及各用电管理所投入数据库服务器设备、服务器软件,尤其对总部服务器及存储设备有较高要求,投入较大。

◆ 其次,从系统可靠性分析。集中式应用对系统的并发压力很大,对硬件环境和操作水平的要求很高。除了要求比较昂贵的服务器以外,还需要有一套接近电信级的通讯保障系统,才能够保障集中式系统的稳定运行。目前一般的农村用电管理所,还不具备这样的硬件条件和人员素质。案例中提及的情况也反应了这个问题。

对于集中分布式存储方案的缺点可以采取远程维护的办法进行弥补;对于数据一致性的问题,可用远程数据增量复制技术加以解决;对于投资大的缺点,可采取用电管理所只保存少量数据(如最近的两个月数据)的办法,减少数据量,从而降低服务器档次,降低投资成本。