工业开源实时数据库浅析
创始人
2024-07-01 19:42:00
0

在工业互联网快速发展的前提下,生产现场投放了大量的设备,比如监控、传感器等等,这些设备产生的实时数据能反映设备的情况和生产进度,而对这些数据的处理和分析,则需要数据库的支持。

在工业领域, 生产、测试、运行阶段都可能会产生大量带有时间戳的传感器数据,这都属于典型的时序数据。时序数据主要由各类型实时监测、检查与分析设备所采集或产生,涉及制造、电力、化工、工程作业等多个行业,具备写多读少、量非常大等典型特性。

写入吞吐低:单机写入吞吐量低,很难满足时序数据千万级的写入压力存储成本大:在对时序数据进行压缩时性能不佳,需占用大量机器资源维护成本高:单机系统,需要在上层人工进行分库分表,维护成本高查询性能差:查询速度慢,尤其是海量实时数据的聚合分析性能差

一、工业互联网时序数据库的需求与痛点

主要问题可以汇总如下:

  • 写入吞吐低:单机写入吞吐量低,很难满足时序数据千万级的写入压力;
  • 存储成本大:在对时序数据进行压缩时性能不佳,需占用大量机器资源;
  • 维护成本高:单机系统,需要在上层人工进行分库分表,维护成本高;
  • 查询性能差:海量实时数据的聚合分析性能差。

需要支持的特性:

  • 功能稳定
  • 高效的数据写入
  • 高效的数据查询,包括最新数据和历史数据
  • 可云化部署
  • 可私有化部署
  • 线性扩展
  • 高可用
  • 便于连接大数据平台
二、数据源需求

从数据源角度,设计人员可以从下面几个角度分析在目标应用系统里面的适用性。

  • 总体数据量巨大
  • 数据输入速度偶尔或者持续巨大
  • 数据源数目巨大
三、架构

随着时序数据库产品的引入,减少了组件数量,降低架构的复杂度,同时降低了存储成本,提升业务响应实时性,降低了人员要求,释放了业务创新能力。

四、收益与价值

高性能,可以支持百万级别的并发写入、万级的并发读取,大量聚合查询时依然有高性能表现高可用,可支持集群部署,可横向扩展,不存在单点故障,为生产环境稳定运行提供基础低成本,数据库对硬件资源要求低,数据压缩率高,平均至少节省 70% 的硬件资源充分利用时序数据的特点,高度一体化,具备消息队列、流式计算和缓存的功能,大幅简化架构易上手,使用 SQL 进行数据库操作,简单易学,支持复杂查询,减少开发难度和运维压力。

五、系统分析

实时数据库是数据和事务都有定时特性或显示的定时限制的数据库‚在结构和功能上是根据实时数据库的性质以及实时数据在使用方式上的特点而设计的‚其中一些功能是标准的关系型数据库所不具备的。在本系统中根据实时数据库的结构和功能特点‚将实时数据库设计分为实时数据库结构设计和实时数据库管理程序设计两部分。

六、收益与价值

  • 高性能,可以支持百万级别的并发写入、万级的并发读取,大量聚合查询时依然有高性能表现
  • 高可用,可支持集群部署,可横向扩展,不存在单点故障,为生产环境稳定运行提供基础
  • 低成本,数据库对硬件资源要求低,数据压缩率高,平均至少节省 70% 的硬件资源
  • 高度一体化,具备消息队列、流式计算和缓存的功能,大幅简化架构
  • 易上手,使用 SQL 进行数据库操作,简单易学,支持复杂查询,减少开发难度和运维压力
七、行业应用

在工业互联网快速发展的大背景下,工业生产现场投放了大量的设备传感器和监控系统,二者提供的实时数据能够反映设备的状态和生产的进度,其中的大多数据都是按照时间顺序形成的实时数据,这些海量实时数据有着多样化的分析需求和重要的参考价值。

未来希望数据库可以提供更复杂的流式计算、查询分析以及监测预警等能力,可以为产品的可视化运维、预测性维护、远程智能管理等方面提供数据依据,从而降低人员、时间等成本,加速工业化与信息化的深度融合,促进复杂重型装备制造业的转型升级,产生社会经济效益。

本文由 @Nate 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自Unsplash,基于CC0协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务

相关内容

热门资讯

原创 求... 家人们!换新手机的快乐,是不是总被“怎么导照片”这个难题冲淡了一大半?看着旧手机里成千上万张承载着回...
OpenAI正在努力提升GPT... 人工智能领域领军企业OpenAI于周五晚间宣布,其最新一代语言模型GPT-5将进行重大功能升级,重点...
知乎高赞:知识付费要怎么做才能... 跟你说段我的过往吧。记得 2021 年那会儿,我像只无头苍蝇似的在网上瞎撞,满脑子都想找个能挣钱的路...
半数AI智能体将出自华人!百万... “我们正站在AI Agent(智能体)应用井喷的前夜,中国的科技新贵们完全有能力主导全球下一代AI ...
汉桑科技:已将人工智能技术应用... 金融界8月18日消息,有投资者在互动平台向汉桑科技提问:尊敬的董事长您好:请问公司老板之一Helge...
国瑞科创申请稀土永磁体自动化摆... 金融界2025年8月18日消息,国家知识产权局信息显示,国瑞科创稀土功能材料(赣州)有限公司申请一项...
奥运冠军带货?AI仅需十几秒就... 随着AI技术的普及,“克隆”特定人物声音已实现“一键式”操作,同时也带来了民事侵权甚至涉嫌犯罪的法律...
AI企业畅谈“成长的烦恼”,南... 深圳新闻网2025年8月18日讯(记者 吴艳)8月15日下午,由深圳市南山区企业发展服务中心(以下简...
从“治已病”到“主动防护”:轻... 来源:滚动播报 (来源:北京商报) 2025年8月15日-16日,2025数字疗法大会在海南举行。大...
汇莱德取得简易装配的电连接器专... 金融界2025年8月18日消息,国家知识产权局信息显示,广东汇莱德电器有限公司取得一项名为“一种简易...
央企担当 筑牢孝感联通干线安全... 在国家大力发展新质生产力的背景下,通信网络已然成为其关键“大动脉”,孝感联通始终将保障网络安全稳定运...
原创 地... 当加油站的油价又一次上调,你有没有想过: 那些支撑汽车跑起来、电厂转起来的石油和煤炭,可能真的不多了...
解耦数权,数据要素合规流通的“... 在贵阳大数据交易所的系统中,不断显示着新的OID编码——这是贵州数据要素登记平台上的数据产权凭证编号...
小米这7款性价比神器,不贵还好... 小米生态链的产品,一直以高性价比+智能体验圈粉无数。但面对琳琅满目的小米产品,到底哪些最值得买?今天...
智元远征A2完成全球首次人形机... 8月17日8:20至8月18日8:20,智元机器人在上海浦东新区完成“夏日CityWalk”24小时...
智元机器人上架开售 上海具身智... 作为上海首家人形机器人量产企业,智元机器人全系产品今天正式上架开售,开启商业化落地新阶段,上海具身智...
原创 全... 8月18日消息,美国芯片设计企业Normal Computing 近日宣布,全球首款热力学计算芯片“...
智元机器人正式开售:远征A2等... 人形机器人市场迎来新热潮,智元机器人正式登陆电商平台。近日,智元机器人在其官方商城及京东平台推出了多...
这场发布会,5次提到人工智能 8月15日,在2025年7月份国民经济运行情况新闻发布会上,国家统计局相关负责人5次提到人工智能。 ...
我国压缩空气储能领域首个30万... 位于河南信阳的300兆瓦先进压缩空气储能国家示范电站地下储气库开挖任务已完成50%。8月18日,中储...