第５１卷第１期２０２３年２月Ｖｏｌ．５１，Ｎｏ．１Ｆｅｂ．２０２３气象科技ＭＥＴＥＯＲＯＬＯＧＩＣＡＬＳＣＩＥＮＣＥＡＮＤＴＥＣＨＮＯＬＯＧＹ基于流程控制的国际气象通信数据收集管理系统的设计与实现顾文静王鹏戴晴韩鑫强（国家气象信息中心，北京１０００８１）摘要近年来，天气和气候业务对国外数据种类和时效要求不断提高，为解决大量数据的收集分发压力以及管理问题，设计并实现了基于流程控制的国际气象通信数据收集管理系统。系统应用数据收集器Ｌｏｇｓｔａｓｈ、Ｉｎｏｔｉｆｙ监听机制与分析平台Ｋｉｂａｎａ等技术，支持多种通信协议，扩展Ｓｃｒａｐｙ网络爬虫功能，通过流程控制、任务调度等方式实现大量数据快速高效收集和集成管理，有效提高数据并行处理能力和可扩展性，且设计了全流程监视，保障数据时效。系统已经上线提供服务，为业务／科研用户提供全球观测数据、国外卫星数据和数值预报产品等３００余种，日收集数据量约２ＴＢ。关键词国际气象通信；国外数据；收集处理；调度管理；Ｓｃｒａｐｙ中图分类号：Ｐ４０９ＤＯＩ：１０．１９５１７／ｊ．１６７１－６３４５．２０２１０４９３文献标识码：Ａｈｔｔｐ：／／ｗｗｗ．ｑｘｋｊ．ｎｅｔ．ｃｎ气象科技作者简介：顾文静，女，１９８４年生，硕士，高级工程师，研究领域为气象信息平台技术，数据交换与应用，Ｅｍａｉｌ：ｇｕｗｊ＠ｃｍａ．ｇｏｖ．ｃｎ收稿日期：２０２１年１１月８日；定稿日期：２０２２年１０月２６日引言随着天气和气候业务的发展，业务／科研对国内外气象数据和产品种类需求不断增加。中国气象局是世界气象组织全球通信系统的亚洲区域通信枢纽之一，国家气象信息中心国际通信系统负责全球实时、近实时气象数据和产品的发现获取，为国家级和省级业务单位及相关行业用户提供全球观测数据、国外卫星数据和数值预报产品［１］。国际通信系统包含全球通信系统（ＧＴＳ）、Ｉｎｔｅｒｎｅｔ平台和北京ＧＩＳＣ门户系统，收集网络如图１所示。图１全球数据收集网络１３国际通信Ｉｎｔｅｒｎｅｔ平台作为国际通信系统的核心组成，通过互联网下载、双边交换，组播线路（ＥＵ－ＭＥＴＳＡＴ）等多种方式进行数据收集，共获取数据３００余种。根据数据的特征分别采用ＡＦＤ、ＬＦＴＰ、ＷＧＥＴ或者爬取的方式收集，考虑到数据下载频率、数据量，以及国外数据中心对下载流量限制等诸多因素，将收集程序部署到多台异构服务器上。当程序需要修改调整...
