“大数据时代”转变统计数据生产方式问题思考.doc

“大数据时代”转变统计数据生产方式问题思考
----“大数据”在经济统计中的应用
韩晓明
摘要:“大数据时代”的政府统计数据生产方式必须改变。本文仅在方法论范畴,主要讨论以业务核算、会计核算和统计核算的一些基本规律为前提,引入大数据概念及“联机分析处理”与“合作整合”数据处理方式,尝试改变政府统计数据生产方式的基本统计指标体系设计思路及数据加工方式。与现行统计及核算制度不同,旨在从“大数据”中挖掘统计指标数据,简曰:“先有数据后有指标”。案举改变工业总产值、工业增加值、固定资产投资额、建筑业总产值、商品销售额等总量统计指标(数据)加工方法;概要讨论GDP核算在大数据背景下倒逼机制的设计、服务业及文化产业统计的大数据挖掘思路,以及CPI、PPI、PMI和城镇化率等统计指数指标大数据生产方式。所涉及内容是理论与实践相结合的经验归集,为“大数据时代”改变政府统计数据生产方式提供一点儿思路和方法借鉴。
关键词:大数据核算规律统计生产方式
引言
顺应“大数据时代”潮流,各个领域的研究与应用都开始进入了一系列量化过程,努力抢占制高点,经济统计领域不能例外。在市场经济制度建立和完善过程中,充分利用信息技术进步的成果,全面、迫切改变现行(传统)统计数据生产方式,是统计界有识之士的共识。海量数据采集遵循大数据形成规律,数据分析处理以大数据挖掘和再利用为主,虽然过去的经验值得专门总结[1],但是,没有系统性的研究和实践,不具有普遍现实指导意义。本文将在方法论范畴,试图在大数据背景下,依据基本经济核算规律,引入数据分析处理技术中的“联机分析处理”和“合作整合营销”等大数据分析概念及方式,围绕建立业已形成的行政记录、基本业务核算和会计核算等数据库体系与统计核算之间的联系,案举比估计推断方法(冯士雍倪加勋周邹国华,1998),探讨适应“大数据时代”的统计制度设计思路及数据加工方法,希望可为转变统计数据生产方式和控制数据质量提供一点儿有益借鉴。限于本文意旨,关于诸如“客户关系管理(AIC CRM)”、交互式“联机分析处理(OLAP)”或“合作整合营销(CLM)”等大数据分析方式及工具等技术问题,读者可查阅笔者提供的专业技术文献资料,此不赘述。
1、转变统计数据生产方式的“大数据”思路
、大数据概念及大数据分析处理方式概述
“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”(麦肯锡咨询公司) 。指数化增长的数据,从TB级别跃升到PB级别;结构化和非结构化且主要是非结构化数据类型的来源及分析处理,数字化地囊括了所有现象或事务;体量巨大的数据中,对你有价值的或只是极小部分;与传统数据挖掘有本质区别的实时分析处理“1秒定律”,使快速获得有价值信息成为可能等,概括了大数据概念与传统数据概念的本质差别。即:体量(Volume)大、多样(Variety)性、价值(Value)大密度低和速度(Velocity)快,简称大数据的“4V特征”。这,就是“大数据时代”----海量数据+方法论([英]维克托·迈尔·舍恩伯格、肯尼斯·库克耶,2012)。海量数据以结构化和非结构化数据库分布于全社会各个领域之中,形成不同类型的数据仓库,除了行政管理、经营业务和社会交往等过程必须形成外,不针对任何具体统计指标及其分析研究目的(没有专门指向)的数据生产是数据再利用的备用过程。
海量、高增长率和多样化的大数据分析处理的对象是业已存在于各领域各行业各
单位的各种类型的数据库,突出体现在分析、挖掘、预测或推断上。与传统经济统计数据分析处理方式比较,突破了关系型数据库“联机事务处理(On-Line Transaction Processing, OLTP)”分析和SQL查询模式,面对更庞大繁杂的多种类型的数据量(仓库),提出多维数据库及其多维分析处理概念,表现出更具决策力、洞见力和流程优化能力。在大数据分析处理方式中,交互式存储分析处理多维数据库技术是其最鲜明的特点之一。并且,其中的交互式“联机分析处理(On-Line Analytical Processing,OLAP)”, 是一套以多维度方式分析数据,弹性地提供积存(Roll-up)、下钻(Drill-down)和枢纽分析(pivot)等操作,呈现集成性决策信息的方法,多用于决策支持系统、商务智能或数据仓库。其主要的功能,在于方便大规模数据分析及统计计算,对决策提供参考和支持(廖开际,2011);“合作整合”则借用“合作整合营销(CLM)”概念及模式,充分利用跨界数据库进行有目标的整合处理。这两种方式在解决结构化数据上,几乎没有技术障碍。众所周知,在经济统计数据中,绝大多数都以结构化数据类型采集和存储,少数非结构化的