收稿日期:2022-02-11∗基金项目:中国气象局中央山洪项目资金资助项目(17A4277)作者简介:陈利娟(1986—),女,重庆人,工程师,研究生,主要研究方向为气象信息技术。ShareNothing分布式气象数据存储处理系统的设计与实现∗陈利娟1,唐婕2,薛帅宁1,赵思亮1,钟美1,何奇1(1.重庆市气象信息与技术保障中心,重庆410047;2.长寿区气象局,重庆410047)摘要:随着气象观测、预报和服务业务的快速发展,气象资料的种类和数据量日益增多,数据写入频率越来越高,对气象数据存储处理系统提出极大挑战,进一步提升CIMISS数据管理和服务能力的需求变得日益迫切。为解决存储处理系统动态扩展能力不足、吞吐与并行计算效率低下的问题,采用一系列ShareNothing分布式集群设计,包括ShareNothing分布式架构、分布式数据库、NAS存储技术等搭建可动态扩展的ShareNothing分布式气象数据存储处理系统。实践证明,该方案设计能够满足当今气象结构化数据和非结构化数据对存储能力、并发响应能力的需求,通过动态扩展可便捷适应未来气象业务发展对数据存储和应用等服务能力不断增加的需求,具备气象现代发展进程中气象数据存储处理系统高吞吐量、可动态横向扩展、高稳定性、高可靠性的特性。关键词:分布式架构;分布式数据库;扩展性;可靠性;吞吐量中图分类号:TP302文献标识码:ADOI编码:10.14016/j.cnki.1001-9227.2023.01.198TheDesignandImplementationofShareNothingDistributedsystemofMeteorologicalDataStorageandProcessingCHENLijuan1,TANGJie2,XUEShuaining1,ZHAOSiliang1,ZHONGMei1,HEQi1(1.TheMetrologicalInformationandTechnologySupportCenterofChongqing,Chongqing410047,China;2.ChangshouMeteorologicalBureau,Chongqing410047,China)Abstract:Astherapiddevelopmentofmeteorologicalobservation,forecastingandservicebusiness,thetypesandthea-mountofmeteorologicaldataareincreasingandthefrequencyofdatawritingishigherandhigherwhichwillchallengetheme-teorologicaldatastorageandprocessingsystemgreatly.theneedstoimprovethedatamanagementandservicecapacityofCIMISShasbecomeincreasinglyurgent.Thissystemhassomeproblems,suchasinsufficientdynamicexpansionability,lowdatathroughputandpoorparallelcomputing.Tosolvetheseproblems,adynamicallyextensiblesharenothingdistributedmete-orologicaldatastorageandprocessingsystemisestablishedusingagroupofsh...
