马英俊
（吉林省通化钢铁股份有限公司，吉林 通化 134003）
摘 要：数据是企业的重要资源，利用大数据管理，通过对数据资源的深入开发和利用，形成指导企业生产经营管理的知识信息，为做好统计管理基础、实现辅助领导开展管理决策，提升企业核心竞争能力，提供了智力支持和技术保证。
教育期刊网 http://www.jyqkw.com
关键词 ：数据管理；架构；统计管理；资源开发
中图分类号：TD672 文献标志码：A 文章编号：1000-8772-（2015）02-0093-02
综观企业信息化，主要包括硬件、软件和数据三大部分的建设和管理工作。其中硬件是基础，软件是平台，数据管理是根本核心，也是最高层次。“三分技术、七分管理、十二分数据”，就说明仅有硬件和软件系统并不等于成功和完善的企业信息化，更重要的是要构建一套科学、合理的企业数据管理体系架构，以实现有效支撑数据资源的深入开发和利用工作。
一、构建通钢股份数据管理体系架构
通钢股份公司数据管理体系的架构应分为四层，即：操作数据层、数据清洗转储层、数据仓库层和数据在线分析层（见图1）。
(一)操作数据层(ODS)
ODS (Operate Data Save)——操作数据存储。在这一层次中主要包括企业内部的采购数据、生产数据、质量检斤数据、销售数据、财务成本数据、人事数据等。目前，比较常见和流行的大型数据库管理系统有：Microsoft SQL Server、Oracle、DB2、Sybase、Informix等。通钢采用的是Microsoft SQL Server大型数据库管理系统。在操作数据层的管理上必须注意两点。
1.重视数据资源规划工作
数据资源管理的核心和基础，是进行数据资源规划工作，主要包括数据元素规划和信息分类编码。数据元素是最小的不可再分的数据单位，是一类数据的总称，它的质量是建立坚实的数据结构基础的关键。因此，应根据国家或行业标准结合企业实际，建立数据元素标准——数据元素命名标准、标识标准和一致性标准。通过对基础数据的分析和规划，建立统一的数据标准，以打好通钢股份公司信息化应用的基础。
2.重视基础数据的录入、采集和管理工作
在开展信息化的过程中，务必要避免“重硬轻软”“重软轻数”的观念。避免出现 “大马拉小车”“跑空车”或“拉错人”等现象。
(二)数据清洗转储层(ETL)
ETL：数据抽取（Extract）、转换（Transform）、清洗（Clean）、装载（Load）。从操作层的基础数据到数据仓库，必须经过ETL过程的处理，即，根据数据分析和利用工作对数据仓库的要求，首先，要从基础数据源抽取出所需的数据，再经过数据转换和清洗，最后，按照预先定义好的数据仓库模型，加载、转储到数据仓库中去，这是构建通钢数据仓库的重要一环。
1.通过ETL过程处理数据的必要性
一是数据集中管理的需要。
二是数据规范化的需要。
2.在ETL过程中，必须注意解决好两个问题
（1）解决好ETL数据处理的速度和运作软件信息系统工作效率的关系
利用大数据管理技术；采用先进的数据库管理系统；优化数据抽取机制，如分为实时抽取和定时抽取；利用数据映像技术将ETL数据处理过程合理分解成数据抽取和数据转换、清洗、装载两个阶段，这样做可以有效降低数据抽取工作对数据源的影响。总之，必须要实现ODS和ETL两项工作对数据库系统的操作达到负载均衡，实现ETL过程中的数据抽取和转换、清洗、转储工作安全高效。
（2）在基础数据库与数据仓库之间建立良好的接口标准
将基础数据转储到数据仓库以后，在将来的数据分析和利用工作中虽然主要是针对数据仓库进行，但在进行钻取、切片和其它分析工作时也可能需要连接到基础数据库中提取数据。因此，必须在基础数据库与数据仓库之间建立一套良好的接口标准。
(三)数据仓库层(DW)
数据仓库（Data Warehouse）是指在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合，它是通过对原有的基础数据时序性地进行抽取、转换、清洗、装载而形成的真实、全面、统一的数据结构形式，是以传统的数据库技术作为存储数据和管理资源的基本手段，以统计分析技术作为分析数据和获取信息的有效方法，以人工智能技术作为挖掘知识和发现规律的科学途径，并通过运用在线分析处理技术（On-Line Analytical Processing）、数据挖掘技术(Data Mining)来实现企业生产经营管理等决策支持（DSS）的数据应用。
1.建立数据仓库的必要性
目前，通钢对现代信息技术的应用主要集中于运作软件信息系统，虽然它能保证业务处理过程的自动化，但对这些操作型基础数据的应用，一般被限制在运作软件信息系统所规定的固定功能上，缺乏更灵活的数据查询和分析能力，无法满足更高层次数据分析和决策支持的需要。
2.做好数据仓库的设计和建模工作是构建数据仓库的基础
数据仓库要求能够良好的支持海量数据和快速查询的功能，要求能以面向主题、以多种维度进行挖掘和探索数据，这就要求必须对数据仓库从网络物理构建、数据库存储管理技术、内部数据结构标准规范等各方面进行超前设计，并建立科学实用的数学模型，解决数据建模的综合评价、综合排序、预测与决策等问题。
3.做好维护和优化工作，是保证数据仓库持久运行在最优状态的关键
数据仓库永远处于发展和变化当中，它是随着企业各项业务管理工作、运作软件信息系统的不断运行以及企业对数据分析、决策支持的不断发展的需求而发展变化的。要对数据仓库持续不断地进行维护和优化，以确保数据仓库持久运行在最优状态，满足企业对数据管理的各种需求。
4.关于数据集市
从基础数据来源的角度分析，相关运作软件信息系统生成的操作型基础数据库，是数据集市产生的数据基础；从面向主题的数据分析和决策支持需求的角度分析，数据集市恰恰是面向某个特定主题的数据集合，这是数据集市产生的业务需求原因；从均衡数据仓库操作负载的角度分析，数据集市的存在可以在一定程度上缓解访问数据仓库的瓶颈，这是数据集市产生的技术原因。
(四)数据在线分析层(OLAP)
在线分析处理（On-Line Analytical Processing），是基于数据仓库的应用，对数据进行层次更深、范围更广的分析、挖掘以及信息发布，为通钢股份公司科学决策提供支持服务。主要工具有统计分析工具、数据挖掘工具等。
1.在线分析和应用数据信息以提供决策支持是加强数据管理真正的目的和最高阶段
利用大数据处理技术和统计分析、数据挖掘等工具，依据数学模型，对存在于数据仓库中的不同时期、企业内外的相关数据进行科学、深入的分析，揭示企业运行状况，找出优势与不足，利用决策支持系统（Decision Support System）形成客观的分析结果并直观地展现给企业管理者，以辅助进行企业生产经营管理重大决策，真正达到提升企业核心竞争能力、实现企业生存与发展的最高目标。
2.利用统计分析工具实现编制统计报表、数据分析和数据展现
利用统计分析工具，可以定期或不定期地按照需求提取数据，编制各种统计报表，对数据进行详细分析，并可展现分析结果，同时可以更好地支持企业统计工作，实现统计管理信息化。
3.利用数据挖掘工具对数据从时间及空间维度上进行提取、分析和展现
数据挖掘(Data mining)：是一种决策支持过程，是一个跨学科的知识领域，它汲取了数据库技术、人工智能、机器学习、神经网络、统计学、模式识别、知识库系统、知识获取、信息检索、高性能计算、数据可视化等方面的成果，对数据采取钻取、切片、旋转等各种分析动作，深入剖析数据，高度自动化地分析企业原有的数据，进行总结分析和预测，支持企业决策者做出正确的决策。
4.建立决策模型
建立科学、严谨的决策模型是对数据进行深入分析、提供解决方案、辅助企业管理者做出科学决策的必要基础。建立决策模型必须了解通钢股份公司生产经营管理相关知识，必须掌握科学的管理决策知识，必须掌握数据信息与企业运行状况之间的内在联系，必须熟练掌握数据仓库、数据字典，通过长期经验的积累，需要形成一整套指导企业运行的统计管理和预警指标体系。
5.信息发布系统
信息发布系统，是将分析形成的数据信息及时发布到相应的地点和用户。基于Web的信息发布系统是满足多用户访问的最有效方法。
二、结语
由于通钢股份公司具有规模较大、流程较长、工艺复杂等特点，在应对日益激烈的市场竞争时，必须不断培育和提升核心竞争能力；培育企业核心竞争能力，必须基于科学先进的数据分析和统计管理、必须依靠企业信息化的带动和提升；成功的企业信息化，必须建立在数据资源开发利用基础上。
(责任编辑：章权)