• 首页
  • 有机食品
  • 人气菜谱
  • 餐饮管理
  • 糖酒会
  • 果蔬分类
  • 卫生安全

十亿级数据读写毫秒级时延 浪潮领衔打造智慧交通大数据解决方案

2020-10-23    海讯社

北京2020年10月23日 /海讯社/ -- 随着城市化进程加快,经济和社会活动日益频繁,城市交通在人、车、路、环境等方面面临资源失衡、行车难、停车难、拥堵频发等问题,亟需城市交通管理者找到适合的疏解方案。

作为智慧交通领域先行者,浪潮合作伙伴易华录以数据湖为主体,发展大交通,致力于为客户提供智慧大数据解决方案,建设城市数字经济基础设施,努力降低全社会长期保存数据的能耗和成本,构建数字孪生城市,实现数字永生。


智慧交通系统面临海量数据快速读写挑战

在智慧交通大数据业务中,智慧交通系统对各类违法车辆进行实时监控抓拍,快速智能识别各种违法行为,并第一时间通知一线民警对违法车辆进行拦截以及现场处罚,能够有效监督和消除车辆违法行为,净化交通环境。

在易华录智慧交通业务中,广泛使用Redis集群缓存配置下发及中间结果数据,系统对于Redis读写并发性、实时性以及数据持久化要求都较高。Redis是一个高效的key-value内存数据库,基于其高并发下较高的数据查询效率,是易华录智慧交通大数据平台中不可缺少的组件。

图一 智慧交通业务架构


图一为典型的智慧交通业务,系统采集海量的设备、下级平台及视频结构化产生的车辆及人像特征数据,经ETL清洗转换,借助Spark流计算框架,与Redis中缓存的黑白名单数据按照空间、时间及其它逻辑规则,进行比对产生各类告警数据。该业务场景下面临的主要挑战为:

  • 作为流计算的支撑外部数据源,Redis集群中缓存大量的黑白名单配置数据及中间计算结果,单位时间读写并发数较高,该操作需要低延时,其中缓存数据规模在数十亿级别,客户要求读写时延在毫秒级;

  • Redis中缓存了业务计数等中间计算结果,这些数据通常以分钟/小时粒度周期性同步至关系型及MPP数据库中,因此缓存数据需持久化到硬盘中,防止因集群故障、断电等异常情况,导致数据无法恢复。同时,因为涉及到交管核心业务,当系统异常情况产生后,迫切需要快速恢复集群,并确保异常前后数据一致性,其中数据持久化存储和性能是一个亟需解决的问题。

智慧交通大数据解决方案实现高吞吐率、低延时、高耐用

浪潮与易华录联合推出Redis解决方案,以易华录交通大数据平台为高效数据处理平台,面向城市数据湖、新型智慧城市业务、政府及企业用户提供更高效、更低成本的智慧交通大数据解决方案。

相较于传统DRAM方案,新方案提供了行业领先的高吞吐率、低延时、高服务质量和超高的耐用性,新增内存扩展打破服务器内存容量限制而优化,单机内存容量可以扩展1.5TB,较之前的单机内存容量大幅提升200%。

同时,易华录还实施了多种调优方案。首先在数据读取场景中,通过采用非一致内存访问节点绑定的方式(NUMA进程绑定),避免内存在进行数据存取时,在不同的NUMA节点间切换,以实现更好的读写性能。

其次,新设计的Redis服务获得秒级的故障恢复速度,与之前分钟级的恢复速度相比,提升达几十倍之多。而且还能帮助易华录交通大数据平台的TCO 降低30%。


测试结果显示新方案吞吐能力可提升200倍

为了验证新方案的应用优势,浪潮与易华录共同围绕Redis数据库的常规操作以及用户最关心的业务性能指标进行了测试。测试使用了benchmark工具,选取SET、GET等10余条Redis数据库常用命令,全面覆盖Redis五种数据结构,每个操作执行 32次并发,共640万次的性能测试。测试结果显示新方案在总吞吐能力和延迟上相较于传统的DRAM方案性能有100~200倍的性能提升。

该方案能够有效支撑城市数据湖中海量数据采集、加工、治理、建模各环节对Redis持久化、高效读写等共性需求,与易华录城市大脑、葫芦APP、交通大脑等核心业务存在广泛的契合点,帮助易华录解决智慧交通大数据平台系统中面临的Redis难题。


海外发稿:https://easybase.cc/

海外新闻发布:https://haixunpr.org/

全球新闻发布:https://haixunpr.com/

免责声明:本文转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,亦不负任何法律责任。 本站所有资源全部收集于互联网,分享目的仅供大家学习与参考,如有版权或知识产权侵犯等,请给我们留言。

最新

  • 沭阳佳品生鲜配送有限公司

    沭阳佳品生鲜配送有限公司,成立于2021年7月28日,是一家集“种植、养殖、加工、销售、运输、检测”于一体的综合企业。致力于向学校、企事业单位食堂提供安全、新鲜、健康、营养的餐饮原材料采购、配送及相关配套服务的专业公司。产品包括米面油、调味品、果蔬、肉类产品、冷冻品、豆制品等多种类。
  • 辉山零蔗糖花生牛奶上市 响应健康消费趋势和乡村振兴政策

    乘着健康生活的东风,辉山牛奶将小粒花生的浓郁风味融入新品零蔗糖花生牛奶中,巧妙地抓住了年轻消费者的喜好,推出营养新品零蔗糖花生牛奶,浓郁的花生香气与醇厚的奶香在口中交织,口感丝滑顺腻,些许香甜又回味无穷。辉山在滋味的调色盘上,挥洒着创意,不仅给健康饮品市场带来一股清新的潮流,还为乡村的繁荣播下了生机勃勃的种子,将智慧与情感结合起来,让人连连称赞。
  • 辉山零蔗糖花生牛奶新品上市 助力国民营养升级与乡村振兴

    乘着健康生活的东风,辉山牛奶将小粒花生的浓郁风味融入新品零蔗糖花生牛奶中,巧妙地抓住了年轻消费者的喜好,推出营养新品零蔗糖花生牛奶,浓郁的花生香气与醇厚的奶香在口中交织,口感丝滑顺腻,些许香甜又回味无穷。辉山在滋味的调色盘上,挥洒着创意,不仅给健康饮品市场带来一股清新的潮流,还为乡村的繁荣播下了生机勃勃的种子,将智慧与情感结合起来,让人连连称赞。
  • 含山县仙踪镇在文家庭农场

    含山县仙踪镇在文家庭农场坐落在安徽省含山县仙踪镇骆集行政村,与S226省道古运路紧密相邻,属于含山境内滁河联圩,圩内水系发达、土壤肥沃、气候条件适宜、自然环境优越,特别适宜优质粮油生产,在【含山甚优质粮油产业发展2014--2017年规划】区域布局内。农场现有成员5人,常年雇佣技术人员2名、各类农机手3名、工人13名。在文家庭农场常年从事优质粮油种植和土鸡、鸭、鹅等养殖,利用稻鸭共生、灭虫灯、性诱剂等绿色病虫防控手段,减少农药的投入量,利用秸秆还田、增施农家肥,减少化肥使用,从而提高水稻品质。
  • 营养与口感兼备,辉山牛奶引领健康饮食新潮流

    随着社会经济的发展和健康意识的提高,天然、高蛋白已成为现代消费者的饮食追求。越来越多的消费者在食品购买时将营养价值作为重要的考量因素。在乳制品选择上,奶源地、蛋白质含量,也成为影响消费者选择的重要因素。
  • CHINAPLAS 2024 国际橡塑展开幕在即,CYCJET豫昶实业已整装待发,诚邀您参观!

    “CHINAPLAS 2024 国际橡塑展”将于2024年4月23-26日,在中国•上海•虹桥•国家会展中心举办。作为亚洲领先的塑料橡胶展,“CHINAPLAS国际橡塑展”将全力推动橡塑业高端化、智能化、绿色化发展。展会时隔六年强势回归上海,对于这次华东展的阔别重逢,橡塑业界期待值已拉满。
  • 共襄盛会,共享美味|丁点儿食品·良之隆2024中国食材电商节大放异彩!

    3月28日-30日,良之隆·2024第十二届中国食材电商节在武汉国际博览中心圆满召开,丁点儿食品应约而至,携旗下几十款经典爆品及潜力新品重磅登场,大放异彩。
  • 跑赢“质价比”时代,辉山乳业推重磅新品!

    如今,“质价比”正在取代“性价比”,成为越来越多国人的主流消费趋势。相对而言,“质价比”是一个综合因素相互比较的结果,而不是单独从某一种因素进行比较。以牛奶为例,一款产品的“质价比”不仅仅是指产品品质与价格之间的对比,还包括奶源、营养、口感、包装甚至产品所承载的情感因素等,是市场对产品、对企业的综合考量。
  • 四川广乐食品助力| 2024第二届东安湖半程马拉松

    当运动的激情与美食的魅力交织,会擦出怎样的火花?2024年第二届东安湖半程马拉松将于本月21日正式开跑。四川广乐食品有限公司为本届半程马拉松盛情提供四川特色食品支持——每位参赛选手的参赛包中均配备了辣椒酱和榨菜,补给站亦备有小袋榨菜供选手赛中取用,最终胜出的男女前50名选手还将获得广乐食品精心准备的食品大礼盒。
  • 《中国泡菜行业隐形冠军:吉香居发展与行业启示》

    在全球泡菜市场版图中,中国泡菜与韩国泡菜各自占据着重要地位,两者虽共享着历史悠久的蔬菜腌渍文化,却有着迥异的市场格局。韩国泡菜市场高度集中,CR2高达77%,凸显出强大的品牌效应与产业化水平。反观中国泡菜行业,前三名品牌,市场占有率仅仅为2.5%,其中吉香居占了一半,市场份额优势显著,算当之无愧的行业隐形冠军。

友情链接

Back to top
      联系我们   SiteMap