当前位置: 江西视窗首页 >> 资讯
人悦于行,车畅于路——华为助力江西省综合应用平台分布式改造
发表时间:2021-12-30 16:50:08  阅读:-   来源:互联网

江西省东邻浙江、福建,南连广东,西靠湖南,北毗湖北、安徽而共接长江,地理区位优越、交通便利。2020年末,全省道路通车里程21万公里,高速公路通车里程6234公里。随着全省社会经济不断发展,全省机动车和驾驶人总量持续增长,2020年末,全省机动车保有量达到973万辆,驾驶人总数达1491万名。这给全省的道路交通安全管理工作带来了较大的压力与挑战。

一、改造前综合应用平台计算存储能力出现瓶颈

江西省公安交通管理综合应用平台(简称“综合应用平台”)是全省公安交管业务的核心平台,在交通管理工作中起到了重要作用,实现了包括机动车管理、驾驶人管理、交通事故处理、交通违法处理等业务的高度整合,形成了较为完整的交通管理业务数据库。业务数据类型十分丰富,既包括结构化数据如:机动车登记、驾驶人管理、交通违法处理记录,又包含非结构化数据如:机动车电子监控图片。

当前江西省综合应用平台数据量已超过100亿条。从数据量来看,大量的机动车检验监管照片、机动车电子档案图片、驾驶人考试监管和机动车电子监控图片信息存储在关系型数据库中,占据了存储容量的90%以上。随着业务的快速发展,数据管理和服务能力的瓶颈日益凸显:

(一)计算性能出现瓶颈。随着综合应用平台系统功能日益丰富,数据资源快速增长,有限的计算资源已经无法满足快速增长的计算服务需要。改造前,大量的后台数据统计分析任务占据了后台数据库至少40%的计算资源,因此需要把图片、日志和业务数据分开,独立存储和处理,将更多的计算资源让给业务系统,从而整体上优化系统处理效率。

(二)存储容量已经饱和。改造前,综合应用平台所需存储的非结构化数据已经远超当时存储设备容量限制。随着违法证据图片数据增长速度日益加快,存储系统逐渐无法满足业务的正常发展需要。而且,随着业务监管工作的发展,各类海量的监管图片、监管日志数据需要存储,也加剧了存储资源的供需矛盾。

(三)数据库服务能力受限。原有关系型数据库受框架制约,在后台数据分析、模糊检索等方面存在缺陷。而随着大数据应用的日益智能化,更深层次的数据监管、研判分析需求对底层运算框架的要求已无法通过传统的关系型数据库技术来解决。

二、综合应用平台分布式改造大幅提升平台能力

基于以上现状,江西省公安厅交通管理局在公安部交通科学研究所的指导下,采用华为交管大数据FusionIsight解决方案,设计实施了江西省综合应用平台的分布式改造,实现了平台性能的跨越式升级。

(一)释放存储、为业务系统减压。采用分布式大数据库后,把占90%的非结构化的图片数据、日志数据与业务数据分开存储,释放原有关系型数据库的存储压力,给业务系统减压。

(二)读写分离、提升计算效率。不同类型数据对资源的占用特点均不同。图片数据的体量和数量都大,需要占用系统大量的“写资源”;日志数据量大,需要频繁读写;业务数据是核心,量大且经常要进行查询和统计操作。通过分布式计算技术,把三者分开存储,利用服务器集群克服原有数据库计算资源的不足,整体提升系统效率。

(三)OLAP/OLTP分离,实现秒级查询。通过将图片和日志数据大量的事务性处理(OLTP)跟业务数据的分析型事务(OLAP)分开处理,有效解决以前数据库查询统计慢,几分钟甚至几小时才能出统计报表,效率低的问题。

(四)节省投资,实现存储容量线性扩展。分布式存储可以利用性能较低的经济型服务器,通过集群技术实现以往使用小型机和高端存储阵列才可以达到的性能效果。资金投入少,性价比高,而且可以通过简单增加服务器数量的方式进行存储容量线性扩充,可扩展性更好。通过分布式数据库的接口,实现与原有关系型数据库的数据分发和同步,可以取代原有数据库的同步机制,大幅节省资金投入。

(五)新增功能,实现业务模式创新。基于原有查询,新增模糊查询、全息关联功能,可以实现多字段检索,全文检索。

(六)国产自主,信息安全稳定可控。大数据平台采用分布式架构,基于国产芯片服务器,采用国产技术自主研发,既符合国家相关信息安全要求,又能实现对原有数据库大部分功能的替代,并且可以通过跨集群的数据容灾方案和分布式存储本身的数据备份策略,保证数据存储安全可靠。

三、华为大数据解决方案助力人悦于行,车畅于路

本次分布式升级改造大幅降低了交通管理综合应用平台的数据管理成本,实现了对多源异构数据的接入,增强了系统的稳定性和安全性。分布式改造后,平台在兼容SQL综合查询技术的同时,集成了Lucence组件,实现了全文检索。将违法数据、车辆数据、驾驶员数据、驾驶证数据、车管所数据、地理数据等综合起来建立跨数据表的全集合索引,当用户以关键字进行查询时,可以查询到车辆、驾驶员、违法等关联情况,方便用户对各类信息的全局掌控。平台还可以实现对海量业务运行日志的任意索引,包括:业务用户、操作时间、操作动作、对数据库表的变化等,可以方便地对业务用户的行为进行监督审计。

江西省公安厅交通管理局通过对综合应用平台的分布式升级改造,进一步提升了公安交管业务服务能力,支撑了公安交管各项“放管服”改革措施的实施,为深入推进道路交通事故预防“减量控大”工作提供了更有力的信息化保障。未来,华为公司也会更多地利用自身云、大数据、AI、计算等技术能力,深入结合交管业务,为江西省的公安交通管理信息化建设做出更多贡献,助力交管业务更上一层楼,真正实现“人悦于行,车畅于路”的美好愿景。(作者:邹亚晨、贺宇翔、杨东阳

推荐阅读:叶紫

图片推荐
关于我们 | 联系我们 | XML地图 | 网站地图TXT | 版权声明

Copyright 2021 江西视窗 版权所有 本网拒绝一切非法行为 欢迎监督举报 如有错误信息 欢迎纠正