百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

六大服务能力——技术体系(服务的六大技能培训)

liuian 2025-01-31 14:02 13 浏览

技术体系总述

为更好满足政府改革和“互联网+政务服务”的技术创新要求,近年来,我司加速引入包括云计算、大数据、人工智能等新技术,完善各类技术基础平台,包括:打造从单一云环境到多云环境的基础设施开发运行环境;形成从传统数据到数据仓库再到“新”数据的数据资源服务体系;集合多种开源开放软件中间件的应用支撑平台;提供从桌面端到移动端再到大屏端,以及AI端的多端应用体验等。

基础支撑平台

1.数慧业务基础平台(DAP)

新一代数慧业务基础平台(DIST Application Platform,DAP)全面走向SOA体系架构,将应用的业务逻辑和底层的IT实现技术分离开来,实现了各业务系统解耦,以及业务流程的集成编排。DAP 4.3提供了分布式服务框架,以实现服务的注册、管理、授权、监控。提供微服务Docker容器封装,实现平台的快速部署扩容,为平台的PaaS云化奠定了基础。提供业务规则接入接口,实现流程与规则的分离。提供对非结构化数据的存储支持,可以实现非结构数据的全文搜索。提供REST接口索引,实现接口的快速检索、测试和验证。

DAP4.3平台技术新特性:

  • 采用Java技术栈开发,适用于各种操作系统平台。
  • 支持跨数据库事务,保障数据的逻辑一致性。
  • 高速二级缓存,提供高并发、高吞吐能力。
  • 统一配置中心,简化系统部署。
  • 集成统一用户安全中心(DASC),实现用户的分级管理,系统监控和安全审记。
  • 实现应用级别的会话(session)共享, 无需依赖特定的容器。
  • 提供分屏浏览支持,提高用户体验。

DAP4.3是我们在数年的DAP平台开发建设的基础上,推出的最新升级版本。在DAP4.3中,继承了老版本中的优秀特性,例如:用户组织权限管理、业务模型、业务数据模型管理、文号计数器管理、数据字典管理以及节假日等控件及功能模块,同时吸收了目前IT行业的最前沿技术,为其他应用系统提供相应的服务支持。一个业务平台可以支持多个业务应用,实现平台级的应用资产复用。在“互联网+政务服务”的大背景下,对系统提出了新的安全挑战,因此DAP4.3引入安全中心,得以满足安全等保三级要求。在国家政策快速变化的变革年代,要求系统能够快速响应,因此DAP4.3引入规则引擎,实现数据驱动的流程和信息化资产复用,打造随需应变的业务应用。DAP4.3已经在国土规划、不动产、电子政务方面得到了良好的应用。


2.数慧地理信息应用平台(DGP)

面向国土空间规划领域的数慧地理信息基础应用平台(DIST Geographic Platform,DGP)。该平台基于统一的信息资源目录,对国土空间规划体系内分布式的、多比例尺的、异构的、海量的现状、规划、管理等空间地理信息资源进行整合与综合管理,实现空间信息的统一组织、无缝衔接、统一服务、高效应用。基于分层分级资源管理模式,通过服务分发、负载均衡、权限管理、访问控制等技术手段,为分布式体系下的各级用户提供统一访问入口,保证高并发访问的安全、高效、稳定。为各类与国土空间相关的规划、管理、决策、服务提供有力的信息支撑,有效提升国土空间治理能力的现代化水平。

DGP平台经历了十多年的持续迭代,已经相当成熟。但是,新时代、新规划对DGP平台提出了新要求、新挑战。具体体现在三个方面:(1)平台需要具备更强大的功能,以打通指标系统和模型引擎,做到内容可配置、界面可定制、系统可扩展;(2)需要更漂亮、更具科技感的用户应用体验;(3)需要更酷炫的可视化展现效果。为应对这些挑战,我们及时推出了新一代地理信息应用基础平台(DGP 6.0)。

与前一代平台产品相比,DGP 6.0具备如下优势:

  • 前端开发框架选择了渐进式的JS框架Vue,具有体积小、模块化、响应式等优点。采用Vue-CLI3脚手架,可支持GIS应用的快速构建。
  • GIS API采用ArcGIS API 4.x,支持三维场景、使用WebGL渲染地图,性能更好。
  • 基于Canvas,自主开发了一套三维动画接口,实现各种炫酷的动画效果。
  • 集成了Echarts4,大大优化了数据可视化效果。构建在node环境上,有几万个开源展现组件可供使用,实现灵活的前端可视化扩展。
  • 基于Webpack的前端工程化,对模块内容进行打包压缩,减少http请求数量,大大提高了系统性能。

3.数慧移动应用平台(DMP)

数慧移动应用平台(Dist Mobile Platform,DMP)是上海数慧面向移动应用业务自主研发的基础应用开发和运维平台。该平台主要由移动前端开发框架、运维管理平台、私有应用商店、消息分发中心等几个部分组成。

DMP平台具备“安全、稳定、可持续”的特性。采用设备管理(异常挂失,远程清理数据)、数据传输加密(DES不可逆加密)、应用(代码混淆)等多个维度,以保障数据的移动安全性。通过多年的积累,加上众多项目的磨砺,让DMP平台不断迭代和完善,具备良好的稳定可用性。其前端开发框架里不仅能承载独立应用,还可以从业务系统中抽取出独立的应用“小程序”。这些“小程序”在运维端按需配置(权限、属性)之后,即可在移动端(手机或平板)具备相应的业务功能。

DMP技术新特性:

  • 移动签批:移动OA(公文)应用新增了文件签批的需求,实现了在移动设备上对Office文件的编辑和回传,方便用户随时随地在公文上“写写画画”的办理审批。
  • 数据分析:在移动应用使用过程中,由运维管理端管理移动设备、应用和消息,收集使用日志。通过日志,可以分析用户行为,并以图表形式展现分析结果。
  • React Native:移动前端开发框架支持Android、IOS、HTML5原生/混合(Hybrid)应用。原生开发能够保障APP高性能运行,HTML5应用则具有灵活性高的特点。在这两者基础上,又添加了同时具备灵活和高性能特点的React Native 技术。
  • Dubbo服务治理:数据转换层(Data Transform Layer,DTL)在平台架构图的中部,位于服务层,能够将业务数据与移动端界面进行适配,起到服务桥接和转换的重要作用。通过引入Dubbo服务治理,实现各个业务系统所提供服务的汇总和统一管理,按需调用。
  • 移动上云就绪:对DMP平台接口服务化后,形成了移动API,为移动上云做好了准备。
  • 基于DMP移动应用平台,搭建移动应用就像搭积木一样方便。目前,在DMP平台支撑下,已经形成了移动OA、移动审批、一张图、监察执法、公示报建、微信小程序和公众号等一整套成熟的应用产品体系。

4.数慧统一应用安全中心(DASC)

数慧统一应用安全中心(DIST Application Security Center,DASC),是一个通用的、能够快速实现安全等保三级的4A(Account、Authentication、Authorization、Audition)应用安全平台。应用系统的安全性是满足安全等保要求的重中之重,实施起来困难较大;上海数慧推出应用安全中心产品(DASC),就是为了更好地解决这个问题。

2016年发布的《中华人民共和国网络安全法》明确规定,电子政务要在网络安全等级保护(简称“等保”)制度的基础上实行重点保护,否则主管人员和直接负责人员将承担法律责任。国务院常务会议明确要求:各级政府的服务事项上网之前,必须要通过等保测评。在信息安全技术相关的国家标准中,规定了“应至少每年对系统进行一次等级测评”。因此,信息系统的安全加固并不是可有可无的,而是必须做、尽快做、长期做的重要工作。

DASC采用了分布式、高可用、高性能的架构设计,使用了微服务及服务治理框架,能够应对互联网应用的大用户量与高并发量。其中,安全护盾能够“插入”到其他应用系统中,不仅可以保护DASC自身,还可以保护接受其加载的应用系统。

随着多年的不断积累,不断探究,DASC已升级迭代至DASC2.8,目前版本重要技术特性如下:

  • 透明集群:只需要修改一个配置参数,即可让集成了安全护盾的应用系统支持集群部署模式,不再需要对应用服务器和负载均衡设备进行额外的配置,对应用系统的“云服务化”提供了有利的支撑。
  • 健康卫士:部署在服务器上的健康数据采集应用,能够监控服务器的CPU、内存、磁盘、网络等使用状况,并将可监控设备以及设备的健康数据发送给服务中心。出现异常时,将向管理员发送预警通知,从而减少系统崩溃等严重事故的发生。
  • 超级密码:通过配置、启用“万能钥匙”,可使用超级密码登录所有用户(登录后只能查询不能进行任何修改和删除操作),在系统出现问题时,非常有利于管理员的排查工作。
  • .Net支持:除Java版本外,安全护盾还推出了.Net框架版本。.Net应用系统也可以通过简单集成,实现安全等保三级保护。
  • 性能提升:利用内存+Redis二级缓存组件,解决了仅使用内存缓存无法适应分布式部署、仅使用Redis缓存又会产生大量网络访问的问题,大幅度提升了安全护盾和服务中心的性能。
  • 作为目前行业内内独一无二的应用安全产品,通过多年的精耕细作,DASC已经非常成熟,在几十个城市的大量项目中得到了广泛的应用,为“互联网+政务服务”提供了便捷的、安全可靠的基础安全支撑环境。

5.数慧大数据分析与应用平台(DBP)

数慧大数据分析与应用平台(DIST Bigdata Platform,DBP) 增加了对时空大数据的支持,可以很方便地实现时空大数据的一站式接入、存储、计算和二三维一体化展示。提升基于同一空间基准下的大数据分析处理能力,为国土空间规划提供强大的数据建模和分析能力,有效支撑空间规划编制、审批、实施、监测、评估、预警等全过程,全面提升国土空间治理体系和治理能力现代化水平。

DBP平台3.0的推出,是建立在DBP平台一直以来的有效积累的基础之上的,DBP3.0技术新特性包括:

  • 集成ArcGIS大数据平台空间分析能力和GeoSpark空间分析框架,灵活使用ArcGIS和第三方的空间分析算法。
  • 集成DGP平台,支持可视化的空间数据分析和展示。
  • 基于Hive和Kylin的大数据指标管理。
  • 数据采集框架支持流式数据采集和互联网数据爬取。

DBP3.0基于HDP大数据平台开发,对核心组件Hadoop、Spark进行了大版本升级,使得平台的数据处理能力和稳定性都得到了大幅提升。引入了新的大数据技术特性和组件。其中,通过Spark SQL提供了SQL编程接口,可以提升应用的开发效率,降低应用的故障率;通过Hive和Kylin提供了数据仓库建设能力,来支撑数据指标的管理。为了强化平台对时空数据的分析处理能力,与ArcGIS大数据平台进行了集成,利用GeoSpark支撑更加灵活的分析处理能力。2018年,上海数慧利用DBP平台的时空数据处理能力和数据仓库能力,对多源异构海量的自然资源空间数据,进行了数据汇聚、集成、挖掘以及指标管理的技术验证。通过实践,验证了平台对以海量自然资源数据为基础的应用支撑能力。

6.数慧内容管理平台(DCM)

数慧内容管理平台(DIST Content Manager,DCM)是面向规划行业的企业级内容管理平台,致力对文档内容的更好管理,资料有效合理利用。DCM可以对非结构化内容数据实行全生命周期的系统管理——从创建数据到管理数据、保护数据,再到发布数据、消费数据,最后到数据归档、重用或者销毁,把凌乱的、浩如烟海的文档数据从苦恼的负担转变成为一种高价值的资产。通过浏览器、客户端、移动端三种方式,提供在线服务。其中,浏览器着重主业务功能,客户端着重于大文件以及批量数据的上传、下载,移动端着重于消息实时推送接收。三端并进,基于内容管理,提供云模式下跨行业、跨地域的在线工作协同。

经过产品的实践积累,应用打磨,我们的DCM平台已经进入了2.0时代。DCM2.0技术新特性:

  • 多级节点的数据池化技术,提升系统运行速度,使用流畅性。
  • 面向协同,文档多版本管理技术,避免文档版本冲突。
  • 基于内存数据库的高速数据存取技术,提升系统响应性能。
  • 微信小程序接入,实现消息通知的实时推送。

DCM 2.0平台采用分级权限、自动加密、分段存储等技术,实现个人资料、项目资料、团队资料、部门资料、企业资料的五维知识管理体系,保障资料数据安全性和可用性。支持SaaS模式下多租户的需求,确保各用户间数据的隔离性。配有完善的运维系统,定期对运行系统实行巡检,不断进行安全加固,以及定期的防灾演练,以便数据在遭到破坏时,也能快速恢复系统数据和应用。涉及到海量数据的存储管理时,主要特点有采用面向PB级海量数据的云存储技术架构,具有存储节点灵活、无限扩展的能力;可充分利用现有软硬件基础设施资源,扩展成本低,安全性高;任何节点故障或移除,不影响系统正常运行。

7.数慧业务监管平台(DSP)

数慧业务监管平台(DIST Supervision Platform,DSP),通过数据仓库、数据挖掘、多维分析、数据ETL、数据可视化等多种BI技术,汇集各个业务系统的行政许可、执法和信用等各类数据,搭建全域的、统一的、动态的监管数据仓库;然后,建立监管数据分析模型,设计相应的监管指标体系,以分析监管对象的行为、规律与特征。通过该平台,可提供面向自然资源和规划一体化、工程建设项目审批、公共住房、建筑管理等各类综合业务的监管应用。总体来说,它是以综合监管为基础、专业监管为支撑的全流程、全覆盖的全新业务监管平台。

DSP平台技术特性:

  • 采用面向服务架构(SOA)的设计理念,基于弹性运算、容器化、微服务、组件化等分布式应用技术,通过各个应用服务组件的编排,来实现高层次的服务或应用,使平台具有更好的开放性、可靠性和扩展性。
  • 集成Hadoop/Spark大数据处理、管理和分析平台,实现海量数据的高性能分析计算功能。提供大数据分析处理所需要的高性能计算服务能力、存储能力和资源调度能力等。
  • 提供数据采集分析统计决策工具集,提供可视化、便捷、灵活的智能报表分析工具。通过数据仓库,使数据中心的各类数据资源以多种方式呈现,使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取。
  • 提供一整套规范的、高效的、安全的数据整合、同步、异步复制机制,提供转换、装载、格式翻译等数据集成基础功能,实现从分布的、异构的业务源头数据源整合数据到数据仓库或数据集市中,为基于数据仓库的决策分析应用提供高质量的数据。
  • 对数据仓库中关系型数据库、NoSQL数据库、文档数据库等各种数据库,建设基于元数据的数据管理能力,服务于数据中心构建、运行和维护的整个生命周期。
  • 通过业务监管平台,建成省、市、县多级业务监管体系,实现数据共享和业务协同。平台集成融合多源异构数据,挖掘数据特征规律,实现数据驱动业务,提升综合监管水平。同时,探索并实现监管智能应用,促进业务办理方式的转变,提升政府服务效能。

多云环境支撑体系

1.微服务与容器化部署

随着计算机软件系统复杂度的不断升高,传统的单体型应用系统越来越显得笨重,越来越难以开发部署与维护,而微服务架构模式整好解决了这个问题。通过微服务,将一个大型复杂的单体应用程序拆分成多个较小的服务,各个微服务可被独立部署运行在独立的进程中,服务与服务间采用轻量级的通信机制互相沟通。

由于微服务数量较多,要实现真正的敏捷开发部署,离不开容器技术的支撑。将微服务容器化部署后,它的运行环境、依赖关系、系统库等,都被打包在一起,运行在一个容器当中,实现一次打包到处运行,避免了因为环境不一致而造成的各种潜在问题,极大提高了微服务的稳定性和移植性。

上海数慧微服务架构采用Dubbo微服务框架实现服务注册、发现、调用和监控,基于Docker容器实现微服务部署,应用Kubernetes实现容器编排。

2.API全生命周期管理

采用微服务后,所有的服务都变成了一个个细小的API,那么这些服务API该怎么管理?API认证授权如何实现?如何实现服务的负载均衡、熔断、灰度发布、限流流控?治理好这些API服务,显得尤为重要。

在微服务架构中,API网关(API Gateway)作为整体架构的重要组件,抽象了微服务中都需要的公共功能,同时提供了客户端负载均衡、服务自动熔断、灰度发布、统一认证、限流流控、日志统计等丰富功能,解决很多API管理难题。API门户(API Portal)则提供了API从设计到部署的全生周期管理入口,API使用者通过API门户订阅和调用API。

3.基于PaaS云平台的开发运维一体化

微服务具有众多优势,也带来了实施上的复杂性。微服务之间存在较强的依赖关系,服务之间协作变得非常复杂,同时有很多服务需要维护和管理。这就需要构建一个一体化的DevOps平台,来实现微服务的开发、测试、部署与维护。

DevOps(英文Development和Operations的组合)是一组过程、方法与系统的统称,用于促进开发(应用程序/软件工程)、技术运营和质量保障(QA)部门之间的沟通、协作与整合。DevOps包含了持续集成与持续发布、服务依赖关系管理、服务的发现与负载均衡、以及集中化监控管理等。

通过逐步转向DevOps,可形成一套从系统研发到上线运行的DevOps流程和框架,实现系统研发的持续集成、持续交互与持续部署。


更多精彩内容,敬请持续关注“DIST上海数慧”。

相关推荐

【常识】如何优化Windows 7

优化Windows7可以让这个经典系统运行更流畅,特别是在老旧硬件上。以下是经过整理的实用优化方案,分为基础优化和进阶优化两部分:一、基础优化(适合所有用户)1.关闭不必要的视觉效果右键计算机...

系统优化!Windows 11/10 必做的十个优化配置

以下是为Windows10/11用户整理的10个必做优化配置,涵盖性能提升、隐私保护和系统精简等方面,操作安全且无需第三方工具:1.禁用不必要的开机启动项操作路径:`Ctrl+S...

最好用音频剪辑的软件,使用方法?

QVE音频剪辑是一款简单实用的软件,功能丰富,可编辑全格式音频。支持音频转换、合并、淡入淡出、变速、音量调节等,无时长限制,用户可自由剪辑。剪辑后文件音质无损,支持多格式转换,便于存储与跨设备播放,满...

Vue2 开发总踩坑?这 8 个实战技巧让代码秒变丝滑

前端开发的小伙伴们,在和Vue2打交道的日子里,是不是总被各种奇奇怪怪的问题搞得头大?数据不响应、组件传值混乱、页面加载慢……别慌!今天带来8个超实用的Vue2实战技巧,每一个都能直击痛...

Motion for Vue:为Vue量身定制的强大动画库

在前端开发中,动画效果是提升用户体验的重要手段。Vue生态系统中虽然有许多动画库,但真正能做到高性能、易用且功能丰富的并不多。今天,我们要介绍的是MotionforVue(motion-v),...

CSS view():JavaScript 滚动动画的终结

前言CSSview()方法可能会标志着JavaScript在制作滚动动画方面的衰落。如何用5行CSS代码取代50多行繁琐的JavaScript,彻底改变网页动画每次和UI/U...

「大数据」 hive入门

前言最近会介入数据中台项目,所以会推出一系列的跟大数据相关的组件博客与文档。Hive这个大数据组件自从Hadoop诞生之日起,便作为Hadoop生态体系(HDFS、MR/YARN、HIVE、HBASE...

青铜时代的终结:对奖牌架构的反思

作者|AdamBellemare译者|王强策划|Tina要点运维和分析用例无法可靠地访问相关、完整和可信赖的数据。需要一种新的数据处理方法。虽然多跳架构已经存在了几十年,并且可以对...

解析IBM SQL-on-Hadoop的优化思路

对于BigSQL的优化,您需要注意以下六个方面:1.平衡的物理设计在进行集群的物理设计需要考虑数据节点的配置要一致,避免某个数据节点性能短板而影响整体性能。而对于管理节点,它虽然不保存业务数据,但作...

交易型数据湖 - Apache Iceberg、Apache Hudi和Delta Lake的比较

图片由作者提供简介构建数据湖最重要的决定之一是选择数据的存储格式,因为它可以大大影响系统的性能、可用性和兼容性。通过仔细考虑数据存储的格式,我们可以增强数据湖的功能和性能。有几种不同的选择,每一种都有...

深入解析全新 AWS S3 Tables:重塑数据湖仓架构

在AWSre:Invent2024大会中,AWS发布了AmazonS3Tables:一项专为可扩展存储和管理结构化数据而设计的解决方案,基于ApacheIceberg开放表格...

Apache DataFusion查询引擎简介

简介DataFusion是一个查询引擎,其本身不具备存储数据的能力。正因为不依赖底层存储的格式,使其成为了一个灵活可扩展的查询引擎。它原生支持了查询CSV,Parquet,Avro,Json等存储格式...

大数据Hadoop之——Flink Table API 和 SQL(单机Kafka)

一、TableAPI和FlinkSQL是什么TableAPI和SQL集成在同一套API中。这套API的核心概念是Table,用作查询的输入和输出,这套API都是批处理和...

比较前 3 名Schema管理工具

关注留言点赞,带你了解最流行的软件开发知识与最新科技行业趋势。在本文中,读者将了解三种顶级schema管理工具,如AWSGlue、ConfluentSchemaRegistry和Memph...

大数据技术之Flume

第1章概述1.1Flume定义Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。1.2Flume的优点1.可以和...