< 返回
推动从数据到信息再到知识的演绎--——宝钢股份数据仓库系统开发实践

关键字:数据仓库、三层数据架构、信息、知识

1.引言

为了给广大管理人员和科技人员提供一个整合、高效的数据环境和管理平台,支撑持续改进和科学决策,宝钢股份在公司erp系统初步建成之时,就果断决策启动数据仓库建设工程。该项目于1999年初正式启动,经过四年的艰苦努力,到2002年底初步建成了宝钢股份的数据仓库应用系统框架,对公司提高管理水平、稳定产品质量发挥了重要作用,同时也取得了明显的经济效益。

2.数据仓库的应用背景

erp系统的实施,不仅给企业带来了管理效率,也为企业留下了丰富的数据宝藏。如何充分利用这些数据,实现从数据到信息、信息到知识的提炼,为企业的生产经营决策服务,是一项十分迫切的任务。为此,企业从持续改进、科学决策、系统发展的角度出发,对信息系统提出了更高的要求,数据仓库的建设也就应运而生。数据仓库系统着眼于实现高度的信息共享,旨在企业erp系统的基础上,推进由数据到信息,由信息到知识的演绎,从而取得信息化建设的效益最大化。以下是数据仓库建立的几个主要背景:

2.1.持续改进的需要

持续改进总体业绩是组织的一个永恒目标,它已被列入质量管理八原则。持续改进的过程就是“改进目标”和“寻求改进机会”的过程,数据分析是它的重要技术手段。通过数据分析,有助于了解问题(变异)的性质、程度和原因,并对问题进行定量的观测、描述、分析、解释和建立模型,从而有助于问题的解决,促进持续改进。

持续改进涉及企业的生产、技术、营销、财务、设备等各个方面,而且相互之间有着千丝万缕的联系。由于问题(变异)分析所涉及的数据遍布于企业的各个层面,其数据质量也千差万别,就必须建立一个统一的数据环境,按照持续改进的要求,收集、整合企业大量的基础数据,提供大量的专业技术统计分析,以保障持续改进工作的正常进行。持续改进过程,实质上就是知识发现的过程,它的分析模型、技术方案、改进措施,综合在一起就构成企业的知识库。

2.2.科学决策的需要

科学的决策来自于正确的信息,决策的层次越高,事务性的工作就越少,分析性工作就越多,知识含量也越高。这些决策所需要的信息往往是跨部门的综合性信息,有很强的时间要求和信息共享需求。因此,必须把企业在生产经营过程的数据进行科学处理,快速、安全、可靠地转换成为各类决策信息。因此,把数据转化为信息(图表、指标等),进行信息共享,为科学决策服务,是企业信息化的一项重要而迫切的工作。

2.3系统发展的需要

在线事务处理系统(oltp)和数据分析系统(olap)之间始终存在着固有的矛盾。宝钢股份的信息化建设也证明了这一点,如宝钢股份2050热轧的原管理计算机(ibm4381),随着产量的提高,系统负荷的增加,大量业务分析报表影响了正常的事务处理。于是,专业技术分析被大量取消以保证生产顺行。

这是因为基于oltp系统的操作型数据与olap分析型数据在使用方面有着显著的区别(1)。由于数据分析的复杂性,每个查询将占用很多的系统资源,如果分析型数据和操作型数据并存时,当多个用户同时发出数据访问的请求时,oltp事务请求的响应时间可能长得无法容忍,最终可能导致oltp应用系统的崩溃。

因此,为保证持续改进和科学决策的信息需求,应该遵循发展的观点,根据分析型数据的特点,建立一个面向分析的数据环境,即“数据仓库”,与oltp系统分开,并在两个不同的平台上运行。通常oltp系统采用数据库的方式组织开发,而数据分析系统则使用数据仓库的技术与方法组织开发。由此,信息系统的数据架构从数据、数据库发展到数据仓库阶段。

3.宝钢股份信息化的三层数据架构

根据r.n.anthony的三级管理模型(2),管理科学家把管理分为营运控制、管理控制、战略计划三个层次。通过管理层次的设计,可以使管理的实施更具有针对性,管理的层次越高,分析的内容也越多。宝钢股份信息化的三层数据架构——“数据、数据库、数据仓库”正是与管理的三大层次相对应,从信息系统的角度支持更高层次管理的实施,具体如图1所示。

图1宝钢股份信息化的三层数据架构-------数据、数据库、数据仓库

运营控制层次:以生产过程的管理为主,要求完成制造过程数据的自动采集和制造过程的自动控制。

管理控制层次:要求完成业务管理过程的自动化,按专业实现生产、采购、销售、财务、设备等日常业务的计算机管理,并实现各专业的绩效分析、评价自动化,完成专业管理过程的pdca闭环控制。这个层次中的日常业务自动化管理,通常由数据库应用系统完成,如erp系统等。而各专业的绩效分析、评价自动化,需要以企业管理知识、业务分析逻辑为基础,建立各种分析评价模型,快速、准确、安全地提供大量的专业技术信息共享,这种把数据到信息的转换和发布的过程,通常由数据仓库应用系统来完成。

战略计划层次:它属于中长期计划管理,要求决策支持信息能够快速的提供,而这些信息需求通常是跨专业的、要按照决策具体需求来组织的。这个层次的业务管理,通常由数据仓库提供信息支持,专业技术模型提供决策支持。

综上所述,为形成一个综合的、面向分析的环境,以支持科学决策、持续改进、信息共享的要求,必须在erp系统的基础上,建立一个全新的数据环境和应用系统,即数据仓库系统。

4.宝钢数据仓库的体系结构及应用

4.1.系统环境

宝钢股份企业级数据仓库的硬件平台是两台ibmrs6000/s85超级小型机,与erp系统主机通过公司主干网和escon光纤通道联接。这样的布局主要是大大减少了操作型数据和分析型数据在传输过程中的“碰撞”,提高数据传输效率。同时,数据仓库系统从主机系统剥离了大量统计、分析功能,实现了总体系统的负载均衡,为公司持续改进、科学决策创造了条件,具体如图2所示。

4.2.宝钢数据仓库开发

宝钢数据仓库开发策略采用总体规划、分步实施的方案。在大量调研的基础上,编制了数据仓库的主题规划,确定数据仓库的关键主题,如生产物流、技术质量、市场营销、设备管理、财务成本、能源管理等,分阶段的组织实施,总体上提高了开发效率,降低了开发风险。

4.3.宝钢数据仓库应用

宝钢企业级数据仓库基本应用可以分为三类:专业技术报表、数据分析与挖掘、决策信息支持。

4.3.1.专业技术报表

专业技术报表主要是为日常生产经营管理服务,每天,数据仓库系统按需要定时自动生成上千份专业技术报表,对公司的销售、技术、生产、出厂、设备、财务成本管理以及公司的炼钢、热轧、冷轧、条钢产线,从不同的角度、不同层次,结合前一天生产实绩做出评价,为各级管理者提供决策支持信息。具体业务信息系统有:生产调度信息、企业统计信息、生产物流信息、市场营销信息等等。

4.3.2.数据分析与数据挖掘

数据分析与数据挖掘(dm)密不可分,通过一段时间的数据积累。围绕公司的重点工作,如产品质量、降本增效工作、合同交货周期等专题进行数据分析与挖掘,通过数据清理,要因分析、找出影响指标的主要因素,及时报警,为公司的经营决策提供科学依据,为公司稳定产品质量、降本增效,提升用户服务水平,提供有效的技术支撑。

4.3.3决策信息支持

为支持公司中长计划编制和持续改进,开发面向决策信息支持的数据仓库应用模块,主要有:

明细产品成本计算系统:反映产品的盈利能力的分析与评价。

标准维护与计划值系统:在公司内实现了统一的、可信度高的一系列基本技术经济管理指标。为公司年度预算计划编制提供各种基础数据。

专业决策支持:产品性能预报、配矿系统、配煤系统等等。

上述所有的应用全部基于web实现,用户无需安装任何附加软件,只要连接在主干网上,拥有信息授权,利用浏览器就可以得到数据仓库的信息服务。

5.结束语

在erp系统的基础上,建设企业级数据仓库系统,是企业信息化的一个重要标志和一个新的起点。它看眼于实现高度的信息共享,推进从数据到信息和知识的演绎,从而取得信息化建设的效益最大化。运用数据仓库技术,从持续改进和科学决策入手,改善企业决策支持模式,强化企业知识管理,为进一步开发公司高级决策信息支持系统奠定的扎实的基础。

应当认识到:企业级数据仓库是个非常庞大而复杂的工程,各主题区数据集市的设计和建设要立足公司的全局,兼顾各业务领域对数据分析的需求,做到整体布局合理,分步有序推进。伴随经营环境的变化,不可避免地会随着时间的推移不断产生新的数据分析需求,因此数据分析领域的开发也必须持续不断的更新、完善。