基于大数据技术的数据分析处理平台设计与实现

doi:10.15966/j.cnki.dnydx.2023.z1.027

电脑与电信 ›› 2023, Vol. 1 ›› Issue (1-2) : 81. DOI: 10.15966/j.cnki.dnydx.2023.z1.027

基金项目

基于大数据技术的数据分析处理平台设计与实现

作者信息 +

文章历史 +

摘要

针对目前大数据分析处理组件多而乱、平台技术架构复杂等问题，综合应用MapReduce、Hive、Sqoop等大数据技术，结合Scrapy数据采集框架，设计一种数据分析处理平台，利用SpringBoot及Vue技术搭建Web系统，实现处理结果的可视化。应用该平台对中国蔬菜网上的某一批发市场数据进行分析处理，得出年度蔬菜最高最低差价、年度价格排名前十的蔬菜品种等指标统计结果，分析结果对该批发市场的蔬菜投放及价格调控具有一定的指导意义。