基于Storm技术的实时数据处理平台研究与实现

Please wait a minute...

主管单位：广东省科学技术厅
主办单位：广东省科技合作研究促进中心
编辑出版：《电脑与电信》编辑部
ISSN 1008-6609　CN 44-1606/TN
邮发代号：46-95
国内发行：广东省报刊发行局
《电脑与电信》唯一官方网站。

全文: PDF(0 KB)
输出: BibTeX | EndNote (RIS)

摘要针对现有的大数据处理平台实时性差、处理耗时长、资源请求慢等问题，采用Storm实时计算技术，结合Flume、 Kafka、Zookeeper等大数据处理组件，设计一个实时数据处理平台。利用tornado+WSGI+Apache技术搭建Web服务器，采用 Echarts技术对处理结果进行可视化分析。以网站访问日志作为数据源，对平台进行验证，通过测试，该平台能够完成网站的点击率和访客数的实时计算，具有稳定可靠、操作简单、实时性强等特点。

	服务
	把本文推荐给朋友
	加入引用管理器
	E-mail Alert
	RSS
	（）
	作者相关文章
	杨宇徐万明

关键词 ：大数据, Storm, 实时计算技术, 数据可视化, 点击率, 访客数

Abstract：Aiming at the problems of poor real-time performance, long processing time, and slow resource request of the existing big data processing platform, this paper uses Storm real-time computing technology, combined with Flume, Kafka, Zookeeper and other big data processing components to design a real-time data processing platform. It uses tornado+WSGI+Apache technology to build a Web server, and uses Echarts technology to visually analyze the processing results. This article uses the website access log as the da- ta source to verify the platform. Through the test, the platform can complete the real-time calculation of the website's click-through rate and the number of visitors. It has the characteristics of stability, reliability and simple operation.

Key words： big data Storm real-time computing technology data visualization click-through rate number of visitors

年卷期日期: 2021-01-10 出版日期: 2021-02-24

通讯作者: 杨宇(1988-)，男，贵州织金人，硕士研究生，工程师，研究方向为大数据技术与应用。

引用本文:

杨宇徐万明. 基于Storm技术的实时数据处理平台研究与实现[J]. 电脑与电信, .
YANG Yu XU Wang-ming . Research and Implementation of Real-time Data Processing Platform Based on Storm Technology. Computer & Telecommunication, 2021, 1(1): 51-.

链接本文:

https://www.computertelecom.com.cn/CN/ 或 https://www.computertelecom.com.cn/CN/Y2021/V1/I1/51

[1]	聂铖　王杰. 数据分析方法的研究与发展综述 [J]. 电脑与电信, 2024, 1(4): 200-25.
[2]	蒋雷　胡娟. 基于OBE的数据可视化技术课程教学改革 [J]. 电脑与电信, 2024, 1(4): 38-42.
[3]	王梓铭　肖大薇　刘亚楠. 面向数据科学与大数据技术专业的知识图谱构建[J]. 电脑与电信, 2024, 1(1): 32-34.
[4]	李姗姗李忠. 新工科背景下数科专业数据挖掘与分析课程建设 [J]. 电脑与电信, 2023, 1(4): 28-.
[5]	蔡朝朝白涛邹丽. 大数据技术原理与应用课程教学实践与探讨 [J]. 电脑与电信, 2023, 1(4): 32-.
[6]	李志娟. 基于多维度大数据的5G后评估方法研究 [J]. 电脑与电信, 2023, 1(4): 69-.
[7]	李欣贾美娟刘春毛凯绩. 数智时代面向应用人才培养的计算机公共基础课教育模式改革与实践[J]. 电脑与电信, 2023, 1(11): 19-22.
[8]	周永雄. 产学合作下信计专业大数据实践基地建设的探索 ——以广东海洋大学为例 [J]. 电脑与电信, 2022, 1(8): 4-7.
[9]	王华. 基于大数据团队建设的专业课程融合 [J]. 电脑与电信, 2022, 1(3): 26-.
[10]	张亮张丽梅. 基于Docker技术的大数据专业综合实训平台的设计与实现 [J]. 电脑与电信, 2022, 1(1-2): 46-48.
[11]	李忠霖. 大数据背景下用户行为数据分析课程教学改革研究 [J]. 电脑与电信, 2022, 1(10): 27-30.
[12]	朱峰. “高职百万扩招”——大数据技术与应用专业人才培养策略研究[J]. 电脑与电信, 2021, 1(9): 85-89.
[13]	刘卉芳. 基于运营商大数据的反欺诈模型研究与应用[J]. 电脑与电信, 2021, 1(7): 46-52.
[14]	王家豪. 基于AHP-熵权法的电信大数据应用项目风险评估[J]. 电脑与电信, 2021, 1(7): 53-55.
[15]	姚建盛刘艳玲. 智慧旅游数据科学课程的教学改革与实践[J]. 电脑与电信, 2021, 1(4): 9-11.

No Suggested Reading articles found!

Viewed

Full text

Abstract

Cited

Shared

Discussed