中国科技期刊数据库科研 多格式气象报文数据实时解析研究与应用 杨雪峰 山阴县气象局 山西朔州036900 摘要:气象实时数据不仅仅在天气短时预报中发挥作用,更是能对气象灾害进行有效的预报、预警以及评估。也是实现对气 象灾害的监控的主要数据。纵观气象报文,种类多,且格式不尽相同,所以导致气象报文在数据解析、清理以及筛选的时候 的难度增大,导致实时查询缓慢。基于这种情况,本文介绍了多格式气象报文实时解析的相关内容,对报文数据实时解析的 关键技术及其应用进行了说明,并实现一个在实际中安全可行、快速灵活的气象实时数据采集系统,解决当下水平不齐的问 题。 关键词:气象报文;实时解析:多格式 中图分类号:TP274 文献标识码:A 所谓气象报文,是专门用于其项目的而且内容与气象相 关的数据的电报。世界气象组织有相关规定:各国的气象资 料必须以统一的气象电报进行发送和交换。气象实时数据具 有两个功能,其一是为各级气象部门提供气象预报的依据, 其二是研发中尺度数值天气预报系统的重要基础数据。所以, 气象部门应该及时的采集各种实时报文,并且能够以统一的 方式来解析获得报文中的实时气象数据。但是气象报文的种 类繁多而且格式各不相同,所以造成了报文的解析难度加大, 查询所用的时间延长。本文针对这一情况,介绍了多格式气 象报文数据实时解析的相关技术和应用,旨在解决气象报文 解析中的具体问题。 1气象报文数据实时解析 气象报文在观测数据采集后通过相应的软件重新编制 的一种气象代码,是气象观测资料的一种表示格式,用在气 象资料的传输以及交换。一般来说,主要的气象报文有地面 天气报告、船舶天气报告、测风报告、探空报告、地面气候 月报和天气警报等。气象报文并不能直接为气象预报业务使 用,但是经过筛选和处理,就能用于天气的预报。但是气象 报文在处理中十分困难,因为其种类多且格式不统一。一般 来说,报文解析程序是将报文格式信息硬编码在解析程序中, 所以就要对不同的报文编写不同的程序,也就是说,当报文 的格式发生变化时,程序就要随之变化,可拓展性极差。 2气象报文数据实时解析关键技术 2.1数据流处理技术 这种数据解析技术是全新的,在过去的几十年中得到了 迅速的发展,不断地有新的技术和应用本提出来,总而言之, 这种技术有以下几个特点:首先,这种技术在应用中所处理 的数据都是能实时到达的而且数据到达的次序是独立的,并 不受系统的控制;其次数据流的速度和规模也是不可预知的, 所以大多数情况下并不能对其速度和规模进行定义,由于数 据流是源源不断的到达的,所以基于实时性的要求,只能是 一遍扫描对数据进行处理,并不能进行回溯处理。这种技术 与传统的数据流技术相比,该技术不用保存整个数据集,仅 仅维护一个远小于其规模的概要数据结构即可,这样就能实 现常驻内存。这种技术一般包含两种算法,其中一部分响应 用户的查询,并返回查询结果,另一部分主要监控流中的数 据,并对概要数据结构进行更新处理。 2.2统一报文解析技术 这种技术的报文解析程序中,解析程序与报文格式信息 是分开的,所有的格式信息均以某种方式保存下来,一般来 说,保存在格式信息配置文件中或者关键数据库中。由于这 种的技术的自身特点,报文信息并没有硬编码在解析程序中, 所以,每当新增一种报文格式的时候,仅仅需要对数据库中 的报文格式信息进行相应的增加或者修改即可,并不需要完 全修改整个程序。而且,这种技术报文格式的变化并不会对 程序本身产生影响,解析程序使用的是统一的解析技术,自 动根据报文的格式,调用数据库中的格式信息进行解析,所 文章编号:1671.5780(2015)01.0079一O1 以就实现了多种格式的报文可以使用同一种解析程序的目 标,使得整个解析程序的可拓展性增强。 以上两种不同的技术,前者满足了系统解析时的实时性 方面的要求,而后者则满足了处理报文格式和种类繁多的问 题。 3气象报文数据实时解析实际运用 3.1数据流处理技术的应用 这种技术主要用在自动实时气象数据采集模块、实时气 象数据维护模块和实时气象数据展示模块中。数据采集模块 每日会自动对新的实时气象数据进行采集,然后通过解析得 到其中的实时气象数据。在数据采集模块的处理中,再将最 新的实时数据传送至数据管理模块,这样一来,就在内存中 有了一份最新的实时数据以供用户查询使用,这样就是的查 询时间缩短,提高了实时性。 3.2统一报文解析技术的应用 这种技术则一般是用在报文信息管理模块,在格式信息 设计好之后,报文解析程序会议报文格式信息作为基础,实 现一个与报文格式相互独立的保温解析程序,这是这种技术 应用的关键所在。在数据采集子系统中,保温解析程序并不 包含报文的格式信息,换言之,就是保温的格式并没有硬编 码在这个程序中。而所有报文的信息存储路径在数据库表中, 报文解析程序从该数据库中获得相应的信息,然后从报文中 逐一读出报文中的内容段,然后根据报文格式信息识别出内 容段对应的具体格式,然后根据读出的具体格式,逐个对内 容段中的每一小段机型处理,最后分析出每一个小段所对应 的具体格式。接下来根据相应格式的格式信息,得到每一小 段包含的值,然后根据值上的附加信息,将上一步得到的值 经过公式变化等处理,最终得到真正的气象要素值。 4结论 总而言之,气象报文数据的种类众多而且格式存在差异, 而传统的解析技术在对报文进行解析时会很难进行,这导致 了解析时间过长,而且对于不同格式的报文,解析程序并不 能全部进行处理,针对这一情况,本文主要介绍了气象报文 的情况,以及多格式气象报文数据实时解析的相关关键技术, 并且在最后说明了这些技术的应用。综上,这两种技术均能 提高解析的效率,其中统一报文解析技术的应用主要解决了 不同格式报文的解析问题,而数据流处理技术则解决了用户 查询实时性方面的问题,两种技术都能使解析查询的效率得 到提高。 参考文献 [1]伍光胜,敖振浪,李源鸿,等.大型自动气象监测网及数 据采集中心的设计和应用[J].气象.2010(3):96. [2]陈齐亚,米超.民航气象报文综合应用系统软件的总体设 计[J].电脑知识与技术,2010(30):45. [3]唐兵兵,杨帆,廖伟平,等.广西气象编文常见错误及处 理方法[J].气象研究与应用.2010(3):85. 79