基于大数据技术的数据分析处理平台设计与实现

杨宇 刘昉

电脑与电信 ›› 2023, Vol. 1 ›› Issue (1-2) : 81.

电脑与电信 ›› 2023, Vol. 1 ›› Issue (1-2) : 81. DOI: 10.15966/j.cnki.dnydx.2023.z1.027
基金项目

基于大数据技术的数据分析处理平台设计与实现

作者信息 +
文章历史 +

摘要

针对目前大数据分析处理组件多而乱、平台技术架构复杂等问题,综合应用MapReduce、Hive、Sqoop等大数据技术,结合Scrapy数据采集框架,设计一种数据分析处理平台,利用SpringBoot及Vue技术搭建Web系统,实现处理结果的可视化。应用该平台对中国蔬菜网上的某一批发市场数据进行分析处理,得出年度蔬菜最高最低差价、年度价格排名前十的蔬菜品种等指标统计结果,分析结果对该批发市场的蔬菜投放及价格调控具有一定的指导意义。

引用本文

导出引用
杨宇 刘昉. 基于大数据技术的数据分析处理平台设计与实现[J]. 电脑与电信. 2023, 1(1-2): 81 https://doi.org/10.15966/j.cnki.dnydx.2023.z1.027

Accesses

Citation

Detail

段落导航
相关文章

/