海量水文数据处理和管理技术的探讨.docx

海量水文数据处理和管理技术的探讨.docx海量水文数据处理和管理技术的探讨
杨晓斌
（上海市浦东新区水文水资源管理署，上海 200129）
摘要：随着科学技术的迅猛发展，水文测验技术也快速进步。我国水文行业从传 统水文向现代化水文迈进，水文数据量成数量级增长，对水文数据的处理和管理 提出了更高的要求。本文探讨目前国内对海量水文数据处理和管理面临的挑战， 并且介绍德国Kisters公司经十几年研究开发的水文管理软件Wiski在解决这些问 题方面的成果，进而介绍在我署的实际应用情况。
关键词：时间序列；水文数据；海量数据；数据库
1水文数据采集和处理技术的发展
建国初我国水文行业主要以人工观测和纸制自记仪器收集水文 数据为主。“”特大暴雨后，我国开始研制水情自动测报系统，1980 年第一套水情自动测报系统设备投入运行囹。计算机和自动化技术的 迅猛发展，特别是国家公用无线通信交换网（GSM网和CDMA网） 的建成，为现代化水文数据采集传输技术的进步提供了完备的技术保 障，水文自动测报系统在全国飞速发展，水利部于2003年8月1日正 式实施《水文自动测报系统技术规范（SL61-2003）》。
水文数据采集方式的发展，使我国水文数据处理方式出现了变 化。上世纪70年代前基本上都是依靠人工计算；随着个人计算机日益 普及，80年代开始有些单位将水文整编程序移植到了Dos操作系统的 个人电脑上；进入90年代中期，可视化操作系统Windows的推出， 许多单位开始开发可视化的整编软件；2000年后，由长委水文局和 黄委水文局组织开发了 Windows平台下的适合南北方的水文资料整
编软件地
2海量水文数据处理和管理面临的挑战
水文技术向现代化发展，无人值守自动测报水文站点快速推广， 水文数据系列越来越长，数据量也越来越大，因此水文数据的处理和 管理面临新的巨大的挑战。

以前我们的水文数据采集方式都以人工观测和自记仪器为主，数 据以纸制方式存储，数据量有限。随着电子自动化技术的发展，水文 仪器开始使用电子设备，如ADCP流量计、压力水位计、翻斗雨量计 等，数据均以电子文档形式存储。同时通讯技术的发展，使得无人值 守自动测报站推广成为可能，站网密度进而加大，而且电子仪器的数 据采集频率理论上都可以达到秒级，因此水文数据量成数据量级的增 长。如此庞大的数据量要等待处理，使水文工作者面临巨大的新的挑 战。
2. 2数据处理方式的挑战
原来水文数据量有限，对数据采用人工处理或加上简单的计算机 辅助就可以完成。可是现代化的水文数据是海量的，必须采用计算机 处理为主，人工处理为辅的方式。水文数据的处理和管理软件应运而 生，要求软件不仅具有高效性、可靠性，而且界面可视化、人性化、 人机交互友好化。

目前国内水文数据处理和管理软件基本都是基于项目开发，一个 项目配套开发相应软件，项目完成后软件开发也相应完成。这种方法 必须在软件开发前详细掌握用户的需求，成果才能比较满意的完成用 户对原有业务的需求。但是如果用户有新需求，因为项目已经结束就 很难得到满足，而且软件的升级维护也会成为问题。另外这种软件针 对性强，如有新项目原有软件很难移植，财力物力浪费严重。

目前我们所使用的大部分水文软件基本上都是把人工初步处理 完的数据，计算整编成我们需要的各种报表，报表是我们最终要的成 果，因此软件设计的重点在于对初步处理完的数据进行求和、平均、 极值等计算和报表的输出。但是水文站点向无人值守自动测报站发 展，进入软件的就是原始水文数据，并而且站网站点的管理等也需要 在软件之内管理。软件应该注重对原始水文数据进行合理性检查、完 整性检查、修改和删除错误数据等，以提高实时数据的质量，同时应 该结合站网管理，如测站考证、水尺零高变动等，这样才能保证报表 成果的可靠性。这些有机合理的结合也是目前水文软件开发面临的难 题。
3 WIKSI软件的特点
Water Information System Kisters (Wiski)软件是德国Kisters公
司经过经十几年研发的水文管理软件。Kisters公司于1963年由工学 硕士Heinz Kisters所创建，至今已经发展成为包括环境信息、IT、土 木工程三大经营部门的股份公司，拥有200多位职工，在德国、西班 牙、法国、美国、澳大利亚及中国等其他地区设有分公司。

Wiski软件经过十几年的改进，目前有一个强大的数据库系统， 支持当前通用的关系数据库管理系统Sybase> MS SQLServer、 Oracle、Informix和Ingres等。Wiski软件不仅管理水文测验得到的海 量数据（如水位、雨量等），而