基于大数据技术的数据分析处理平台设计与实现

杨宇 刘昉

doi:10.15966/j.cnki.dnydx.2023.z1.027

电脑与电信 >

2023 , Vol. 1 >Issue 1-2: 81

DOI: https://doi.org/10.15966/j.cnki.dnydx.2023.z1.027

基金项目

基于大数据技术的数据分析处理平台设计与实现

展开

贵州电子信息职业技术学院大数据与人工智能系

网络出版日期: 2023-05-30

收起

摘要

针对目前大数据分析处理组件多而乱、平台技术架构复杂等问题，综合应用MapReduce、Hive、Sqoop等大数据技术，结合Scrapy数据采集框架，设计一种数据分析处理平台，利用SpringBoot及Vue技术搭建Web系统，实现处理结果的可视化。应用该平台对中国蔬菜网上的某一批发市场数据进行分析处理，得出年度蔬菜最高最低差价、年度价格排名前十的蔬菜品种等指标统计结果，分析结果对该批发市场的蔬菜投放及价格调控具有一定的指导意义。

本文引用格式

杨宇刘昉 . 基于大数据技术的数据分析处理平台设计与实现[J]. 电脑与电信, 2023 , 1(1-2) : 81 . DOI: 10.15966/j.cnki.dnydx.2023.z1.027

Options

摘要页面

文章导航

模态框（Modal）标题

贵州电子信息职业技术学院大数据与人工智能系

摘要

本文引用格式