|
|
基于Hbase的车联网海量数据存储 |
武汉工程大学计算机科学与工程学院 |
|
|
摘要
针对如何处理车联网数据的峰值问题,提出了一种基于Hbase 的车联网海量数据存储的中间件控制方案。首先报文通过Kafka传递到中间件,再对传递至中间件的数据进行计数器处理,限制对Kafka的拉取消费;其次对传递至中间件的数据进行筛选处理,确保数据都是有效的数据,然后进行存储;最后针对车联网海量数据的应用场景选择能够满足需求的行键设计以及表结构设计。经实验表明,该中间件控制方案在存储的稳定性上比没有控制方案的具有优越性,该行键设计方案对比没有行键设计的方案在性能上具有显著的性能提升。
|
|
关键词 :
Hbase,
车联网,
kafka
|
年卷期日期: 2021-05-01
出版日期: 2021-08-25
|
通讯作者:
邬少飞(1979-),男,湖北武汉人,博士,副教授,研究方向大数据技术。
|
作者简介: 李星(1996-),男,湖北孝感人,硕士研究生,研究方向为大数据技术。 |
No Suggested Reading articles found! |
|
|
Viewed |
|
|
|
Full text
|
|
|
|
|
Abstract
|
|
|
|
|
Cited |
|
|
|
|
|
Shared |
|
|
|
|
|
Discussed |
|
|
|
|