大数据培训项目实战:互联网舆情信息监控指挥系统
曹风 2018-04-02 来源 : 阅读 395 评论 1

摘要:大数据培训技术架构:Spring Boot+WebMagic +MongoDB+Hive+Hadoop MapReduce+Storm+Spark;大数据培训业务描述:舆情数据采集、舆情报警、有害信息库、信息处理、基础信息管理

大数据培训项目实战:互联网舆情信息监控指挥系统

项目名称:互联网舆情信息监控指挥系统

大数据培训项目实战:互联网舆情信息监控指挥系统

项目类型:互联网大数据采集与处理系统


技术架构:

Spring Boot+WebMagic +MongoDB+Hive+Hadoop MapReduce+Storm+Spark

业务描述:

舆情数据采集、舆情报警、有害信息库、信息处理、基础信息管理

技术特色:

1、  分布式爬虫

2、  爬虫框架Webmagic、Nutch

3、  反爬虫技术

4、  MongoDB集群

5、  数据仓库Hive

6、  MapReduce数据处理

7、  Sqoop数据传输、Echarts图表

8、  Storm实时处理

9、  Spark内存计算


本文由 @曹风 发布于职坐标。未经许可,禁止转载。
喜欢 | 2 不喜欢 | 2
看完这篇文章有何感觉?已经有4人表态,50%的人喜欢 快给朋友分享吧~
评论(1)
后参与评论
安京平
视频什么的都没有的么?
2018/06/30 17:51:16
X
免费获取海同IT培训资料
验证码手机号,获得海同独家IT培训资料
获取验证码
提交

版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
沪公网安备 31011502005948号