祝贺公司核心产品SineRealDB 实时数据管理系统2.0入选第五批山东省首版次高端软件产品名单


为贯彻落实《山东省人民政府办公厅关于加快推动软件产业高质量发展的实施意见》(鲁政办发〔2020〕1号),加速提升软件供给能力,努力打造山东软件“名品”,构建高端软件产业生态,省工业和信息化厅组织开展了第五批山东省首版次高端软件认定工作。经企业申报、地市推荐、专家组审核,确认济南银华信息技术有限公司的“SineRealDB 实时数据管理系统2.0”等156个软件产品(见附件)达到门槛标准要求,符合认定条件,拟列为第五批山东省首版次高端软件产品。

银华信息是中国优秀的实时数据库系统产品提供商,完全具有中国自主知识产权,产品的可定制化能力极强,在产品的综合技术指标上不比国外产品差,部分指标要远优于国外产品,更是首个完全基于大数据架构研制,天生融入大数据生态环境的实时数据库。除了国内外都有的基础功能之外,该产品在多年的国内项目部署应用过程中,又改进完善了具有大量中国特色的功能,能更好的支持国内的特殊应用需求。

获奖及荣誉:

1. 基于大数据生态体系的中睿实时数据库研发》项目获批2018年山东省第三批技术创新项目计划

2. 2020年荣获第一届中国·山东数字经济优秀项目(产品)大赛决赛一等奖,在我国东部发达地区已具备一定的影响力

3. 2021年5月15日荣获“国内领先”的科技成果评价

4. 获批2021年第五批山东省首版次高端软件产品成为山东省唯一列为首版次高端实时数据库软件产品

性能指标:

1. 数据库容量:最小配置100万数据点,最高配置100亿数据点;

2. 写入性能:不低于50万事件/秒·节点;

3. 快照数据查询性能:不低于100万事件/秒·节点;

4. 历史数据压缩比:60:1(与应用场景和参数设置有关);

5. 历史数据查询性能:不低于100万条/秒;

6. 历史数据统计性能:月统计耗时不超过500毫秒;

7. 并发访问用户数:无限制;

8. 存储容量:无限制;

9. 年服务在线率(高可用性):99.9999%;

10. 年停机维护时长(易维护性):0;

11. 会话密钥自动更换频率(访问安全性):1.5次/分钟;

12. 数据加密密钥更换频率(数据安全性):2次/分钟。

创造性、先进性

1. 与主流开源和商业Hadoop平台无缝集成

目前市场上主流的工业实时数据库(包括国外的OSI PI、Edna、Wonderware inSQL、GE iHistorian等,以及国内的上海麦杰OpenPlant、江苏瑞中HighSoon等),均无法部署于主流开源和商业Hadoop平台,与大数据组件和架构完全脱节,无法满足现今用户对IT资源和计算资源的统一管理和分配,与大数据的数据交换成了无法跨越的巨大障碍,无形中增加了用户的投入,占用了更多的资源,且形成了效率和性能的瓶颈。

2. 与大数据现有组件共生共荣

基于大数据生态体系的实时数据库管理系统,基于大数据分布式文件系统HDFS进行历史数据的存储,针对HDFS的特性进行了优化,在提升性能、减少存储空间占用的前提下,实现了标准化的格式化数据结构,能够与Hive、Impala、Spark、Spark SQL等大数据已有组件直接交互,而不需要通过数据库的SDK等开发接口,实现了真正的共生共荣,共同组建大数据生态。

3. 不再需要部署单独的实时数据库集群

传统的工业实时数据库,在面临大容量场景时,只能搭建单独的实时数据库集群,将其作为大数据的前置数据清洗和序列化工具,不但独占了大量的硬件资源,还形成了唯一的通道和故障点,增加了数据流入的复杂度,对用户是不得已的选择。而基于大数据生态体系的实时数据库管理系统彻底解决了这一系列问题,将复杂度直接降到了最低。

4. 只存一份数据,不再需要同步

传统的工业实时数据库,为了保证数据的高可靠性,往往采用主备方式部署,也就是说相同的数据库部署两套同时运行,甚至三套,其数据需要互相同步,当主数据库出问题时,备数据库自动切换为主数据库提供服务,保证用户的业务只有很短暂的中断。但数据同步是有代价的,而且在一些特殊情况下,无法完全一致的执行同步,会导致某些数据片段只有主数据库有或只有备数据库有,形成了安全隐患。

而基于大数据生态体系的实时数据库管理系统属于Hadoop生态体系,天生具有高可用的特性,不但底层的数据是多副本的,其服务模式也是受Yarn调配的高可用模式,任意软件模块或任意硬件节点的故障,都不会影响整个系统对外提供服务,也就是说服务是“零中断”的,彻底摒弃了数据同步的落后技术。

5. 边缘计算,精通工业“语言”的同时兼容SQL

目前大数据生态体系中,缺少匹配物联网和工业互联网传感器数据的数据库组件,Hadoop中的HBase、Kudu、Hive等均不适合,况且这些组件也不是为了解决这类场景而生的;虽然近一两年出现了OpenTSDB、InfluxDB等时间序列数据库,但其最初诞生的场景需求是金融交易等严格按时刻对齐的数据,且仅具有历史存储和查询的能力,在遇到物联网和工业互联网这种不定期发生的离散数据时,无论是适用性、实时性、时效性、可计算性等方面均不足以支撑,尤其是对时刻对齐的要求与物联网和工业互联网传感器数据的特征极不相符,这注定使用这一类组件解决相关问题时只能“凑合”。

除此之外,更令用户头疼的是,大数据不识别工业“语言”。在数十年的工业自动化发展进程中,诞生了上千种工业通讯协议,除了西门子、ABB、AB、Wonderware、GE等设备厂家自行开发的协议外,形成行业标准的通讯协议就有数十种之多,例如全球标准化的OPC DA、OPC UA、GB/T19582-Modbus TCP、GB/T19582-Modbus RTU、IEC 60870-5-101、IEC 60870-5-102、IEC 60870-5-103、IEC 60870-5-104,还有我国电力行业标准的DL/T 645-1997和DL/T 645-2007等,均已非常成熟,传统的工业软件和工业实时数据库均能很好的适配各种协议,解决了不同厂商设备间的数据互通互联问题。但Hadoop中没有任何一个组件能解决这种“语言沟通”问题,用户被迫使用其Flume、Kafka等组件进行“凑合”,不但效率低下,适用性和实时性都大打折扣。

基于大数据生态体系的实时数据库管理系统是真正的工业级的实时数据库,作为Hadoop的组件之一,有效的填补了这一空白,是处理物联网和工业互联网数据的“专业工具”,配套有标准化的通讯协议组件,能自动接入国际国内主流厂家的设备数据,不仅仅“语言沟通”无障碍,且底层的数据格式和存储结构均系针对不定期的离散数据进行设计,真正让用户不再“凑合”。

6. 自由伸缩负载,按需配置算力等资源

传统的工业实时数据库很难扩展,一旦单个数据库容量达到上限,只能通过分库的方式,人为将数据生硬的划分到不同的数据库中处理和存储,在使用时需要通过一定的机制先定位数据库才能使用。而且当部分数据对应的设备停止工作时,其计算资源无法回收,只能令其处于不停的“空转”状态,直至对应的设备上线。

而基于大数据生态体系的实时数据库管理系统,基于微服务的架构设计,根据实际需求通过Yarn调度对应的服务资源。例如上午上班时间对实时数据和历史数据的查询订阅量陡增,则Yarn会自动调度起更多的实时数据服务实例和历史查询服务实例,以满足需求;而当下班时间这类需求陡降时,Yarn又会自动的关闭掉闲置的服务实例,以节约计算资源和电力等能源消耗。

7. 横向无限扩展,数据冗余备份,大规模并发处理

相较于传统工业实时数据库在横向扩展容量时具有上限(一般在一百万到数百万不等),基于大数据生态体系的实时数据库没有理论上限,也就是说只要能不断的增加硬件资源,就可以无限的扩展数据库组件的容量。

相较于传统工业实时数据库需要依赖磁带机或者磁盘阵列进行专门的数据备份,基于大数据生态体系的实时数据库不再需要这种机制,其底层的HDFS文件系统不但确保了数据的多副本储存,而且保证这些副本不在同一个硬件设备中,甚至不在同一个机柜中。

传统工业实时数据库只能依赖单一硬件资源对外提供服务,当接入的访问请求过大时,会形成过载,也就是因排队引发的处理不过来的现象。而基于大数据生态体系的实时数据库没有这种瓶颈,无论接入多少访问请求,均被调度到“不太忙”的那个节点,确保最快响应和处理;当所有节点都很忙的时候,就说明当前的业务量造成的访问量超过了物理资源的极限,用户只需要简单的增加物理节点,即可解决。

8. 同时支持流计算(Storm)和批处理(Spark Streaming)

当物联网和工业互联网数据到达时,人们往往纠结该批处理,还是该流计算,前者将到达的数据进行积攒分批,打包处理,效率更高,但无法及时关注到每一批中的每一个数据,而后者像流水线一样对每个一数据依次处理,但效率偏低。

基于大数据生态体系的实时数据库在接入物联网和工业互联网数据时,一方面在内存中对其进行流处理(由若干实时数据服务完成),以满足实时性要求极高的需求(比如数据清洗和数据订阅),另一方面同时开展成批处理工作(由若干历史归档服务完成),以满足高性能历史数据压缩存储、索引创建、历史统计、历史查询等任务的要求。

9. 天生具备高可用性、易维护性

传统工业实时数据库的高可用方案,包括依赖于共享存储的双机热备,不依赖共享存储的软件HA等,均无法做到真正的高可用。一是当提供服务的数据库实例出现问题时,需要至少数十秒的时间进行切换,也就是对用户的服务会中断数十秒甚至更长;二是当单个存储资源(如硬盘、共享存储等)出现问题时,会导致部分或全部数据永久性丢失。

而基于大数据生态体系的实时数据库不存在单节点数据库,给任一用户提供的服务均是由分散在不同物理节点上的多个服务共同完成的,就像一个特种小队执行任务,当任何一个环节出现问题,该用户提交的任务均可以立即转交给其它节点上的其它服务组合来完成,具有天生的高可用属性。而底层的HDFS文件系统更是确保了数据的多副本存储,单个存储资源的损坏,甚至整个机柜出故障,均不影响数据的完整性和提供服务的连续性。

10. 数据库升级无需中断服务

传统的工业实时数据库,遇到版本升级、系统加固等维护事件时,必须停止整个数据库服务,如遇到依赖其服务的生产企业,甚至需要停工停产,造成不小的经济损失。而基于大数据生态体系的实时数据库由分散在多个机柜的多个物理节点上的多个服务组合而成,维护人员甚至不需要知道哪个硬件上正在执行哪些服务,只需要一个设备一个设备的依次进行软件升级、系统加固即可,Yarn会自动调度其它的服务来确保整个系统的服务不中断。

应用领域:

主要应用于物联网、工业互联网相关领域在海量实时数据处理方面存在的百/千万级数据点管理,为发电、电网、生产制造等生产运行过程中产生的海量实时数据提供统一的存储和应用分析平台和底层的数据支撑。除能源行业外,还广泛应用于石化、环保、冶金、交通、军工等行业,是厂级监控信息系统(SIS)、企业制造执行系统(MES)、企业能源管理系统(EMS)、新能源区域集控系统、生产安全监控系统、生产调度系统、应急救援指挥系统、水利监控系统、环境监控系统、油井监控系统、城市管网监控系统、煤矿监控系统、车联网综合服务系统等企业级和集团级系统的底层基础软件。



历史评论

评论