数据异常值检测及修正方法研究.doc

数据异常值检测及修正方法研究.doc数据异常值检测及修正方法研究摘要:针对雷达测量数据中存在的异常值,对数据中的时间参数根据其变化规律的等差性进行界常值检测。对雷达发射功率、角度、距离参数异常问题,基于邻近去最值均值滤波原理,采用滑窗方式进行检测并修止。实验结果表明,提出的检测方法能够有效检测并修正数据中的异常跳变点且不改变正常值。关键词:雷达;均值滤波;异常值;检测修正中图分类号:?34文献标识码:A文章编号:10047373X(2013)11?0005?030引言测量雷达在军用和民用领域都有着广泛的应用。近年來,针对不同应用领域的测量雷达相继研制成功,分别在目标的精密跟踪、RCS测量,气象预报,地理测绘等军民领域发挥了巨大的作用,为各项基础理论研究和工程应用提供了有力的数据支撑。然而,由于测量设备本身、数据传输或者人工操作等原因,可能使测量数据中包含某些错误的信息。如果不将这些错误的测量信息检测并剔除掉,将给后续的数据处理带來很大的误差。目前,针对异常数据检测问题己经提出过很多种方法,包括基于统计学的方法、基于最近邻居的方法、基于分簇的方法、基于聚类的方法等。这些方法在无线传感器网络的数据检测中得到了广泛的应用[1]。针对雷达测量中的异常值检测,文献[2]和[3]通过对卡尔曼滤波方法进行改进,分别提出了适合靶场测量和火箭飞行测量的异常值检测方法。两种方法均能够检测出数据中的异常值,提高了冃标的定位精度,但同时对非异常点数据进行了一定程度的平滑,不利于事后的数据处理与应用。本文首先介绍了均值滤波及其改进算法一一基于邻近去最值均值滤波的原理,其次根据时间的连续等差变化特性对时间参数进行了检测修正,采用基于邻近去最值均值滤波方法对发射功率、方位俯仰角、距离参数进行检测修正,最后利用实测数据进行了验证。。通常应用于图像处理中的平滑和去噪。其基本原理是对图像中的每个合法像素点邻域中的像素按照灰度级进行排序,然后将该组的均值输出作为该像素点的值。均值滤波定义如下:[g(x,y)=mean{f(s,t)},s,tUSxy](1)式中:Eg(x,y)]为[(x,y)]点的输出值;[f(s,t)]为以[(x,y)]点为中心的邻域内[(s,t)]点的输入值;[Sxy]为以[(x,y)]为中心的邻域。邻域类型可以根据研究或者应用需要选择方形、一字形、十字形、X形等,邻域大小一般可以选择[3X3],[5X5]。对本文数据类型进行均值滤波,相当于采用一字形窗口。均值滤波可以消除图像中的椒盐噪声和突变点,但是会改变图像中的原始数据。基于邻近去最值均值滤波是对均值滤波的改进,它对模板S内的数据做了去最值修正处理,即在得到模板S内的数据后,去除了其中的最大最小值(以[f(s,t)]表示),再进行均值滤波。该滤波方法极大减小了由于异常点参与运算而导致的滤波结果偏离真值的影响,但是同样会改变原始数据。,前者主耍是对数据进行去噪和平滑,而示者主要是在不修改原始数据的前提下找出数据中的异常点。因此,本文根据式(1)给出如下判别规则:[Af(x,y)>3std(f(s,t))] (2)其屮:.Af(x,y)=f(x,y)-mean(f(s,t)