专注大数据培训
我们一直在领跑

适合人群

已经通过自学或者培训,掌握了Java编程技能

已经通过自学或者培训,掌握了大数据hadoop、spark、flink等核心框架

缺乏给力项目经验,入行大数据遇到困难

学习方式

首选学习方式:在线课堂学习

推荐学习方式:线下插班面授

学习时长

课程讲解总时长:约180学时

线上学习周期:自由把控(控制在1月内较佳)

线下学习周期:1.5个月

>>> 获取优惠及报班直达 <<<

课程大纲

重点项目

  1. 某著名生鲜卖场实时数据运营系统
  2. Titan大型综合数据运营平台
  3. 某同城用户画像及智能推荐数据挖掘系统
  4. 某著名搜索引擎搜索反作弊系统

附赠项目

  1. 玖富金融大数据数仓系统
  2. 中国天气网访客行为与流量分析系统
  3. 茄子快传用户大数据分析系统
  4. 某著名页游运营大数据分析系统
  5. 精准广告推送DMP系统
  6. 共享单车数据分析系统

DESCRIPTION

多易教育的项目课程一直有一个难题,就是项目太多!而由于培训周期的限制,不可能让学员将所有项目逐一实践,所以,本阶段的重点在四大主打项目,学有余力的学员可以学习其他附赠项目;

项目课程的关键在实战性,真实性,深入性;不要光看项目名称来判断项目含金量,市场上大量培训机构所讲授的项目,名字看起来像一回事,实际内容则与一个简单的入门小案例相差无几;

实战项目(一)

某著名生鲜卖场实时数据运营系统

核心业务实现一个大型电商的各类用户浏览行为、交易行为、事件交互行为等数据流进行实时监控、分析、统计、核算等业务;
核心技术数据采集: FLUME
计算引擎: Flink FlinkSQL
存储系统: MySQL Redis Kafka HDFS
项目特色:Flink精确一次性语义Exactly-Once保证数据安全; 高吞吐量情况下的压测调优; 系统故障时的分析修复等;

实战项目(二)

Titan大型综合数据运营平台

核心业务基于用户、app交互行为、加购、订单来等业务和用户行为数据,构建贴源层、数据集市、数据仓库层次架构,构建各类主题、领域模型,提供各类数据统计、分析、挖掘需求,为公司构筑全方位的数据运营系统。
核心技术核心运算引擎:Spark SQL/Impala/Hue
数据采集系统:SQOOP/FLUME/Canal
其他技术:HDFS/Nginx/Kafka/Spark MLlib/Spring Boot

实战项目(三)

xx同城用户画像及个性化推荐系统

核心业务xx同城,一个神奇的网站,国内最大的分类信息网站,上千万级别的用户产生海量的数据,为了给用户提供更优质的服务,针对用户构建根个性化的用户画像系统;
核心技术核心运算引擎: Spark Flink
核心存储系统: HDFS Druid HBase Kafka Elasticsearch
其他技术: Canal FLUME SQOOP SPARK GRAPHX 图计算 SPARK MLLIB 机器学习算法

实战项目(四)

某著名搜索引擎实时风控及反作弊系统

核心业务实时监视搜索平台上的各类用户搜索行为,利用相关算法模型,主动侦测、发现刷榜黑产中的各类作弊行为,对作弊客户端进行实时黑名单标记以通知上层搜索风控策略系统进行数据回溯及警告等;
核心技术采集技术: FLUME SQOOP
运算引擎: SPARK CORE SPARK STREAMIG SPARK SQL
存储系统: KAFKA REDIS HDFS MYSQL HBASE ELASTIC SEARCH
数仓系统: HIVE
其他: ZOOKEEPER SPARK GRAPHX 图计算 SPARK MLLIB 机器学习算法 Hanlp 语义处理工具(分词、提取摘要、提取关键词TF-IDF) 爬虫及HTML页面内容提取;