基于Storm技术的实时数据处理平台研究与实现

Please wait a minute...

主管单位：广东省科学技术厅
主办单位：广东省科技合作研究促进中心
编辑出版：《电脑与电信》编辑部
ISSN 1008-6609　CN 44-1606/TN
邮发代号：46-95
国内发行：广东省报刊发行局
《电脑与电信》唯一官方网站。

全文: PDF(0 KB)
输出: BibTeX | EndNote (RIS)

摘要针对现有的大数据处理平台实时性差、处理耗时长、资源请求慢等问题，采用Storm实时计算技术，结合Flume、 Kafka、Zookeeper等大数据处理组件，设计一个实时数据处理平台。利用tornado+WSGI+Apache技术搭建Web服务器，采用 Echarts技术对处理结果进行可视化分析。以网站访问日志作为数据源，对平台进行验证，通过测试，该平台能够完成网站的点击率和访客数的实时计算，具有稳定可靠、操作简单、实时性强等特点。

	服务
	把本文推荐给朋友
	加入引用管理器
	E-mail Alert
	RSS
	（）
	作者相关文章
	杨宇徐万明

关键词 ：大数据, Storm, 实时计算技术, 数据可视化, 点击率, 访客数

Abstract：Aiming at the problems of poor real-time performance, long processing time, and slow resource request of the existing big data processing platform, this paper uses Storm real-time computing technology, combined with Flume, Kafka, Zookeeper and other big data processing components to design a real-time data processing platform. It uses tornado+WSGI+Apache technology to build a Web server, and uses Echarts technology to visually analyze the processing results. This article uses the website access log as the da- ta source to verify the platform. Through the test, the platform can complete the real-time calculation of the website's click-through rate and the number of visitors. It has the characteristics of stability, reliability and simple operation.

Key words： big data Storm real-time computing technology data visualization click-through rate number of visitors

年卷期日期: 2021-01-10 出版日期: 2021-02-24

通讯作者: 杨宇(1988-)，男，贵州织金人，硕士研究生，工程师，研究方向为大数据技术与应用。

引用本文:

杨宇徐万明. 基于Storm技术的实时数据处理平台研究与实现[J]. 电脑与电信, .
YANG Yu XU Wang-ming . Research and Implementation of Real-time Data Processing Platform Based on Storm Technology. Computer & Telecommunication, 2021, 1(1): 51-.

链接本文:

http://www.computertelecom.com.cn/CN/ 或 http://www.computertelecom.com.cn/CN/Y2021/V1/I1/51

[1]	刘卉芳. 基于运营商大数据的反欺诈模型研究与应用[J]. 电脑与电信, 2021, 1(7): 46-52.
[2]	王家豪. 基于AHP-熵权法的电信大数据应用项目风险评估[J]. 电脑与电信, 2021, 1(7): 53-55.
[3]	姚建盛刘艳玲. 智慧旅游数据科学课程的教学改革与实践[J]. 电脑与电信, 2021, 1(4): 9-11.
[4]	宋曼. 高职院校大数据专业人才培养方案探究 ——以广州城建职业学院为例 [J]. 电脑与电信, 2021, 1(4): 16-22.
[5]	李爱生. 基于CDL架构智慧实训实现方式探索与实践 ——以信息安全与管理专业为例[J]. 电脑与电信, 2021, 1(4): 81-85.
[6]	张娟李沁怡吕太之. 新生数据可视化系统的设计与实现[J]. 电脑与电信, 2020, 1(11): 26-28.
[7]	沙小梅. 以“互联网+”促进学前教育信息化建设[J]. 电脑与电信, 2019, 1(3): 26-28.
[8]	郝爱语, 孙伟, 雷晖. 教育大数据背景下高职软件工程与建模课程教学改革探究[J]. 电脑与电信, 2018, 1(9): 4-5.
[9]	谢淑敏. 基于大数据的高职学生学习行为及效果分析[J]. 电脑与电信, 2018, 1(9): 6-9.
[10]	陶婧. 大数据时代数据库应用课程教学体系改革研究[J]. 电脑与电信, 2018, 1(9): 25-26.
[11]	童莲. 大数据背景下的机器学习算法应用研究[J]. 电脑与电信, 2018, 1(9): 29-31.
[12]	罗金玲, 刘罗仁. 移动智慧校园服务平台关键技术研究[J]. 电脑与电信, 2018, 1(3): 21-23.
[13]	潘正勇. 基于大数据的水土保持监测站自动数据采集系统设计与应用[J]. 电脑与电信, 2018, 1(1-2): 64-66.
[14]	李小红吕向风董保莲. 大数据背景下的Java知识地图构建研究[J]. 电脑与电信, 2018, 1(12): 15-17.
[15]	刘倍雄张绛丽肖巧玲曾德生. 高职院校环保特色大数据技术与应用人才培养的研究[J]. 电脑与电信, 2018, 1(12): 39-42.

No Suggested Reading articles found!

Viewed

Full text

Abstract

Cited

Shared

Discussed