技术体系总述
为更好满足政府改革和“互联网+政务服务”的技术创新要求,近年来,我司加速引入包括云计算、大数据、人工智能等新技术,完善各类技术基础平台,包括:打造从单一云环境到多云环境的基础设施开发运行环境;形成从传统数据到数据仓库再到“新”数据的数据资源服务体系;集合多种开源开放软件中间件的应用支撑平台;提供从桌面端到移动端再到大屏端,以及AI端的多端应用体验等。
基础支撑平台
1.数慧业务基础平台(DAP)
新一代数慧业务基础平台(DIST Application Platform,DAP)全面走向SOA体系架构,将应用的业务逻辑和底层的IT实现技术分离开来,实现了各业务系统解耦,以及业务流程的集成编排。DAP 4.3提供了分布式服务框架,以实现服务的注册、管理、授权、监控。提供微服务Docker容器封装,实现平台的快速部署扩容,为平台的PaaS云化奠定了基础。提供业务规则接入接口,实现流程与规则的分离。提供对非结构化数据的存储支持,可以实现非结构数据的全文搜索。提供REST接口索引,实现接口的快速检索、测试和验证。
DAP4.3平台技术新特性:
- 采用Java技术栈开发,适用于各种操作系统平台。
- 支持跨数据库事务,保障数据的逻辑一致性。
- 高速二级缓存,提供高并发、高吞吐能力。
- 统一配置中心,简化系统部署。
- 集成统一用户安全中心(DASC),实现用户的分级管理,系统监控和安全审记。
- 实现应用级别的会话(session)共享, 无需依赖特定的容器。
- 提供分屏浏览支持,提高用户体验。
DAP4.3是我们在数年的DAP平台开发建设的基础上,推出的最新升级版本。在DAP4.3中,继承了老版本中的优秀特性,例如:用户组织权限管理、业务模型、业务数据模型管理、文号计数器管理、数据字典管理以及节假日等控件及功能模块,同时吸收了目前IT行业的最前沿技术,为其他应用系统提供相应的服务支持。一个业务平台可以支持多个业务应用,实现平台级的应用资产复用。在“互联网+政务服务”的大背景下,对系统提出了新的安全挑战,因此DAP4.3引入安全中心,得以满足安全等保三级要求。在国家政策快速变化的变革年代,要求系统能够快速响应,因此DAP4.3引入规则引擎,实现数据驱动的流程和信息化资产复用,打造随需应变的业务应用。DAP4.3已经在国土规划、不动产、电子政务方面得到了良好的应用。
2.数慧地理信息应用平台(DGP)
面向国土空间规划领域的数慧地理信息基础应用平台(DIST Geographic Platform,DGP)。该平台基于统一的信息资源目录,对国土空间规划体系内分布式的、多比例尺的、异构的、海量的现状、规划、管理等空间地理信息资源进行整合与综合管理,实现空间信息的统一组织、无缝衔接、统一服务、高效应用。基于分层分级资源管理模式,通过服务分发、负载均衡、权限管理、访问控制等技术手段,为分布式体系下的各级用户提供统一访问入口,保证高并发访问的安全、高效、稳定。为各类与国土空间相关的规划、管理、决策、服务提供有力的信息支撑,有效提升国土空间治理能力的现代化水平。
DGP平台经历了十多年的持续迭代,已经相当成熟。但是,新时代、新规划对DGP平台提出了新要求、新挑战。具体体现在三个方面:(1)平台需要具备更强大的功能,以打通指标系统和模型引擎,做到内容可配置、界面可定制、系统可扩展;(2)需要更漂亮、更具科技感的用户应用体验;(3)需要更酷炫的可视化展现效果。为应对这些挑战,我们及时推出了新一代地理信息应用基础平台(DGP 6.0)。
与前一代平台产品相比,DGP 6.0具备如下优势:
- 前端开发框架选择了渐进式的JS框架Vue,具有体积小、模块化、响应式等优点。采用Vue-CLI3脚手架,可支持GIS应用的快速构建。
- GIS API采用ArcGIS API 4.x,支持三维场景、使用WebGL渲染地图,性能更好。
- 基于Canvas,自主开发了一套三维动画接口,实现各种炫酷的动画效果。
- 集成了Echarts4,大大优化了数据可视化效果。构建在node环境上,有几万个开源展现组件可供使用,实现灵活的前端可视化扩展。
- 基于Webpack的前端工程化,对模块内容进行打包压缩,减少http请求数量,大大提高了系统性能。
3.数慧移动应用平台(DMP)
数慧移动应用平台(Dist Mobile Platform,DMP)是上海数慧面向移动应用业务自主研发的基础应用开发和运维平台。该平台主要由移动前端开发框架、运维管理平台、私有应用商店、消息分发中心等几个部分组成。
DMP平台具备“安全、稳定、可持续”的特性。采用设备管理(异常挂失,远程清理数据)、数据传输加密(DES不可逆加密)、应用(代码混淆)等多个维度,以保障数据的移动安全性。通过多年的积累,加上众多项目的磨砺,让DMP平台不断迭代和完善,具备良好的稳定可用性。其前端开发框架里不仅能承载独立应用,还可以从业务系统中抽取出独立的应用“小程序”。这些“小程序”在运维端按需配置(权限、属性)之后,即可在移动端(手机或平板)具备相应的业务功能。
DMP技术新特性:
- 移动签批:移动OA(公文)应用新增了文件签批的需求,实现了在移动设备上对Office文件的编辑和回传,方便用户随时随地在公文上“写写画画”的办理审批。
- 数据分析:在移动应用使用过程中,由运维管理端管理移动设备、应用和消息,收集使用日志。通过日志,可以分析用户行为,并以图表形式展现分析结果。
- React Native:移动前端开发框架支持Android、IOS、HTML5原生/混合(Hybrid)应用。原生开发能够保障APP高性能运行,HTML5应用则具有灵活性高的特点。在这两者基础上,又添加了同时具备灵活和高性能特点的React Native 技术。
- Dubbo服务治理:数据转换层(Data Transform Layer,DTL)在平台架构图的中部,位于服务层,能够将业务数据与移动端界面进行适配,起到服务桥接和转换的重要作用。通过引入Dubbo服务治理,实现各个业务系统所提供服务的汇总和统一管理,按需调用。
- 移动上云就绪:对DMP平台接口服务化后,形成了移动API,为移动上云做好了准备。
- 基于DMP移动应用平台,搭建移动应用就像搭积木一样方便。目前,在DMP平台支撑下,已经形成了移动OA、移动审批、一张图、监察执法、公示报建、微信小程序和公众号等一整套成熟的应用产品体系。
4.数慧统一应用安全中心(DASC)
数慧统一应用安全中心(DIST Application Security Center,DASC),是一个通用的、能够快速实现安全等保三级的4A(Account、Authentication、Authorization、Audition)应用安全平台。应用系统的安全性是满足安全等保要求的重中之重,实施起来困难较大;上海数慧推出应用安全中心产品(DASC),就是为了更好地解决这个问题。
2016年发布的《中华人民共和国网络安全法》明确规定,电子政务要在网络安全等级保护(简称“等保”)制度的基础上实行重点保护,否则主管人员和直接负责人员将承担法律责任。国务院常务会议明确要求:各级政府的服务事项上网之前,必须要通过等保测评。在信息安全技术相关的国家标准中,规定了“应至少每年对系统进行一次等级测评”。因此,信息系统的安全加固并不是可有可无的,而是必须做、尽快做、长期做的重要工作。
DASC采用了分布式、高可用、高性能的架构设计,使用了微服务及服务治理框架,能够应对互联网应用的大用户量与高并发量。其中,安全护盾能够“插入”到其他应用系统中,不仅可以保护DASC自身,还可以保护接受其加载的应用系统。
随着多年的不断积累,不断探究,DASC已升级迭代至DASC2.8,目前版本重要技术特性如下:
- 透明集群:只需要修改一个配置参数,即可让集成了安全护盾的应用系统支持集群部署模式,不再需要对应用服务器和负载均衡设备进行额外的配置,对应用系统的“云服务化”提供了有利的支撑。
- 健康卫士:部署在服务器上的健康数据采集应用,能够监控服务器的CPU、内存、磁盘、网络等使用状况,并将可监控设备以及设备的健康数据发送给服务中心。出现异常时,将向管理员发送预警通知,从而减少系统崩溃等严重事故的发生。
- 超级密码:通过配置、启用“万能钥匙”,可使用超级密码登录所有用户(登录后只能查询不能进行任何修改和删除操作),在系统出现问题时,非常有利于管理员的排查工作。
- .Net支持:除Java版本外,安全护盾还推出了.Net框架版本。.Net应用系统也可以通过简单集成,实现安全等保三级保护。
- 性能提升:利用内存+Redis二级缓存组件,解决了仅使用内存缓存无法适应分布式部署、仅使用Redis缓存又会产生大量网络访问的问题,大幅度提升了安全护盾和服务中心的性能。
- 作为目前行业内内独一无二的应用安全产品,通过多年的精耕细作,DASC已经非常成熟,在几十个城市的大量项目中得到了广泛的应用,为“互联网+政务服务”提供了便捷的、安全可靠的基础安全支撑环境。
5.数慧大数据分析与应用平台(DBP)
数慧大数据分析与应用平台(DIST Bigdata Platform,DBP) 增加了对时空大数据的支持,可以很方便地实现时空大数据的一站式接入、存储、计算和二三维一体化展示。提升基于同一空间基准下的大数据分析处理能力,为国土空间规划提供强大的数据建模和分析能力,有效支撑空间规划编制、审批、实施、监测、评估、预警等全过程,全面提升国土空间治理体系和治理能力现代化水平。
DBP平台3.0的推出,是建立在DBP平台一直以来的有效积累的基础之上的,DBP3.0技术新特性包括:
- 集成ArcGIS大数据平台空间分析能力和GeoSpark空间分析框架,灵活使用ArcGIS和第三方的空间分析算法。
- 集成DGP平台,支持可视化的空间数据分析和展示。
- 基于Hive和Kylin的大数据指标管理。
- 数据采集框架支持流式数据采集和互联网数据爬取。
DBP3.0基于HDP大数据平台开发,对核心组件Hadoop、Spark进行了大版本升级,使得平台的数据处理能力和稳定性都得到了大幅提升。引入了新的大数据技术特性和组件。其中,通过Spark SQL提供了SQL编程接口,可以提升应用的开发效率,降低应用的故障率;通过Hive和Kylin提供了数据仓库建设能力,来支撑数据指标的管理。为了强化平台对时空数据的分析处理能力,与ArcGIS大数据平台进行了集成,利用GeoSpark支撑更加灵活的分析处理能力。2018年,上海数慧利用DBP平台的时空数据处理能力和数据仓库能力,对多源异构海量的自然资源空间数据,进行了数据汇聚、集成、挖掘以及指标管理的技术验证。通过实践,验证了平台对以海量自然资源数据为基础的应用支撑能力。
6.数慧内容管理平台(DCM)
数慧内容管理平台(DIST Content Manager,DCM)是面向规划行业的企业级内容管理平台,致力对文档内容的更好管理,资料有效合理利用。DCM可以对非结构化内容数据实行全生命周期的系统管理——从创建数据到管理数据、保护数据,再到发布数据、消费数据,最后到数据归档、重用或者销毁,把凌乱的、浩如烟海的文档数据从苦恼的负担转变成为一种高价值的资产。通过浏览器、客户端、移动端三种方式,提供在线服务。其中,浏览器着重主业务功能,客户端着重于大文件以及批量数据的上传、下载,移动端着重于消息实时推送接收。三端并进,基于内容管理,提供云模式下跨行业、跨地域的在线工作协同。
经过产品的实践积累,应用打磨,我们的DCM平台已经进入了2.0时代。DCM2.0技术新特性:
- 多级节点的数据池化技术,提升系统运行速度,使用流畅性。
- 面向协同,文档多版本管理技术,避免文档版本冲突。
- 基于内存数据库的高速数据存取技术,提升系统响应性能。
- 微信小程序接入,实现消息通知的实时推送。
DCM 2.0平台采用分级权限、自动加密、分段存储等技术,实现个人资料、项目资料、团队资料、部门资料、企业资料的五维知识管理体系,保障资料数据安全性和可用性。支持SaaS模式下多租户的需求,确保各用户间数据的隔离性。配有完善的运维系统,定期对运行系统实行巡检,不断进行安全加固,以及定期的防灾演练,以便数据在遭到破坏时,也能快速恢复系统数据和应用。涉及到海量数据的存储管理时,主要特点有采用面向PB级海量数据的云存储技术架构,具有存储节点灵活、无限扩展的能力;可充分利用现有软硬件基础设施资源,扩展成本低,安全性高;任何节点故障或移除,不影响系统正常运行。
7.数慧业务监管平台(DSP)
数慧业务监管平台(DIST Supervision Platform,DSP),通过数据仓库、数据挖掘、多维分析、数据ETL、数据可视化等多种BI技术,汇集各个业务系统的行政许可、执法和信用等各类数据,搭建全域的、统一的、动态的监管数据仓库;然后,建立监管数据分析模型,设计相应的监管指标体系,以分析监管对象的行为、规律与特征。通过该平台,可提供面向自然资源和规划一体化、工程建设项目审批、公共住房、建筑管理等各类综合业务的监管应用。总体来说,它是以综合监管为基础、专业监管为支撑的全流程、全覆盖的全新业务监管平台。
DSP平台技术特性:
- 采用面向服务架构(SOA)的设计理念,基于弹性运算、容器化、微服务、组件化等分布式应用技术,通过各个应用服务组件的编排,来实现高层次的服务或应用,使平台具有更好的开放性、可靠性和扩展性。
- 集成Hadoop/Spark大数据处理、管理和分析平台,实现海量数据的高性能分析计算功能。提供大数据分析处理所需要的高性能计算服务能力、存储能力和资源调度能力等。
- 提供数据采集分析统计决策工具集,提供可视化、便捷、灵活的智能报表分析工具。通过数据仓库,使数据中心的各类数据资源以多种方式呈现,使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取。
- 提供一整套规范的、高效的、安全的数据整合、同步、异步复制机制,提供转换、装载、格式翻译等数据集成基础功能,实现从分布的、异构的业务源头数据源整合数据到数据仓库或数据集市中,为基于数据仓库的决策分析应用提供高质量的数据。
- 对数据仓库中关系型数据库、NoSQL数据库、文档数据库等各种数据库,建设基于元数据的数据管理能力,服务于数据中心构建、运行和维护的整个生命周期。
- 通过业务监管平台,建成省、市、县多级业务监管体系,实现数据共享和业务协同。平台集成融合多源异构数据,挖掘数据特征规律,实现数据驱动业务,提升综合监管水平。同时,探索并实现监管智能应用,促进业务办理方式的转变,提升政府服务效能。
多云环境支撑体系
1.微服务与容器化部署
随着计算机软件系统复杂度的不断升高,传统的单体型应用系统越来越显得笨重,越来越难以开发部署与维护,而微服务架构模式整好解决了这个问题。通过微服务,将一个大型复杂的单体应用程序拆分成多个较小的服务,各个微服务可被独立部署运行在独立的进程中,服务与服务间采用轻量级的通信机制互相沟通。
由于微服务数量较多,要实现真正的敏捷开发部署,离不开容器技术的支撑。将微服务容器化部署后,它的运行环境、依赖关系、系统库等,都被打包在一起,运行在一个容器当中,实现一次打包到处运行,避免了因为环境不一致而造成的各种潜在问题,极大提高了微服务的稳定性和移植性。
上海数慧微服务架构采用Dubbo微服务框架实现服务注册、发现、调用和监控,基于Docker容器实现微服务部署,应用Kubernetes实现容器编排。
2.API全生命周期管理
采用微服务后,所有的服务都变成了一个个细小的API,那么这些服务API该怎么管理?API认证授权如何实现?如何实现服务的负载均衡、熔断、灰度发布、限流流控?治理好这些API服务,显得尤为重要。
在微服务架构中,API网关(API Gateway)作为整体架构的重要组件,抽象了微服务中都需要的公共功能,同时提供了客户端负载均衡、服务自动熔断、灰度发布、统一认证、限流流控、日志统计等丰富功能,解决很多API管理难题。API门户(API Portal)则提供了API从设计到部署的全生周期管理入口,API使用者通过API门户订阅和调用API。
3.基于PaaS云平台的开发运维一体化
微服务具有众多优势,也带来了实施上的复杂性。微服务之间存在较强的依赖关系,服务之间协作变得非常复杂,同时有很多服务需要维护和管理。这就需要构建一个一体化的DevOps平台,来实现微服务的开发、测试、部署与维护。
DevOps(英文Development和Operations的组合)是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。DevOps包含了持续集成与持续发布、服务依赖关系管理、服务的发现与负载均衡、以及集中化监控管理等。
通过逐步转向DevOps,可形成一套从系统研发到上线运行的DevOps流程和框架,实现系统研发的持续集成、持续交互与持续部署。
更多精彩内容,敬请持续关注“DIST上海数慧”。