亚博yabo外围app
承诺图片
您的当前位置:亚博yabo外围app>大数据、云计算>大数据>Spark>spark>大数据全栈高手速成Spark2.0精讲(全场景项目实战)

大数据全栈高手速成Spark2.0精讲(全场景项目实战)

商品货号: 000047

商城价: ¥40

市场价:699元

  • 点击充值
  • 联系我:QQ交谈
    ???????????????加入QQ群:Java架构师资源群
    ???????????????侵权请联系:QQ交谈
    ×

    推荐商品

    计价单位:
    品牌: spark
    课程介绍

    深入大数据架构师之路系列教程地址:http://www.itsourceshop.com/goods-321.html

    为什么要学习spark,天下武功,唯快不破
    运行速度快,开发速度快是Spark最耀眼的特点,Spark号称在磁盘上的运行速度是MapReduce的10倍
    以上,在内存上的运行速度是MapReduce的100以上;这不仅仅是Spark是基于内存计算,更因为是Spark采用了DAG算法减少了大量的IO开销。
    All-In-One的解决方案谈到Spark,大多数的人首先想到的是内存计算框架,计算速度很快等概念。但对于企业来说,更吸引其眼光的应该是Spark的All-In-One的解决方案。我们来看看Spark Stack:

    show.jpg

    Spark在企业中的应用场景:
    应用于离线批处理的Spark RDD、Spark DataFrame
    应用于流式计算的Spark Streaming
    应用于即席查询(Ad-hoc)的Spark SQL
    应用于机器学习(数据挖掘)的MLlib和ml

    Spark2.*已经在统一规划上面的各个组件,随着Spark生态的完善和扩展,Spark将能应付各种大数据处理场景。这意味着采用Spark将减少人力和资金的投入,降低的系统的复杂性,减轻维护的工作量

    为什么是Python?

    市面上的Spark教程和视频,都是用java和scala进行讲解的。为什么要选择python呢?

    在人工智能时代, Python 才是编程语言的不二之选。2017 年 9 月 Stack Overflow 发布的统计数据表明是 Python 是增长量最快的编程语言。10 月 GitHub 年度开发者报告中,Python 超过 Java,排在编程语言 Top 15 的第二位。

    和java比起来,python有如下优势
    1. 异常快捷的开发速度,代码量巨少
    2. 丰富的数据处理包,不管正则也好,html解析啦,xml解析啦,用起来非常方便
    3. 内部类型使用成本巨低,不需要额外怎么操作(java,c++用个map都很费劲)
    4. 绝大多数公司的数据处理工作是不需要面对非常大的数据的
    5. 巨大的数据不是语言所能解决的,需要处理数据的框架(hadoop, mpi。。。。)6. 编码问题处理起来太太太方便了,还在坚持用Java做大数据开发,你落伍了。

    本课程基于最新的spark 2讲解,内容涵盖了企业中大数据处理的四大场景:
    离线批处理
    流式计算
    SQL处理
    机器学习
    一门课程就打通python 大数据的任督二脉,意不意外,惊不惊喜!!!小伙伴们,快来加入吧。


    课程目录:


    • 第1节为什么选择python spark开发 ?00:20:00分钟 ??

    • 第2节spark 2.0新特性_1.spark2新特性介绍 ?00:27:25分钟 ??

    • 第3节spark 2.1新特性_2.spark 2开发环境的安装以及体会wordcount ?00:19:58分钟 ??

    • 第4节spark core rdd精讲_1.spark core rdd详解00:23:17分钟 ??

    • 第5节spark core rdd精讲_2.生成rdd的方法总结00:12:49分钟 ??

    • 第6节spark core rdd精讲_3.详解rdd三类算子00:14:08分钟 ??

    • 第7节spark core rdd精讲_4.重新解读wordcount00:07:02分钟 ??

    • 第8节spark rdd开发实战_spark-rdd完整案例(用户画像)00:22:53分钟 ??

    • 第9节spark sql开发实战 _1.sparksql详解和优劣势分析00:31:23分钟 ??

    • 第10节spark sql开发实战_2.操作hive数据库00:06:19分钟 ??

    • 第11节spark sql开发实战_3.操作mysql数据库00:08:53分钟 ??

    • 第12节spark sql开发实战_4.用户转化率分析项目实战00:20:44分钟 ??

    • 第13节spark dataframe精讲_1.dataframe详解和优劣势分析00:12:37分钟 ??

    • 第14节spark dataframe精讲_2.DataFrame API使用详解00:22:29分钟 ??

    • 第15节spark dataframe精讲_3.DataFrame API使用详解(2)00:15:22分钟 ??

    • 第16节dataframe实战(物联网项目)_1.json数据的处理00:11:05分钟 ??

    • 第17节dataframe实战(物联网项目)_2.Schema的使用00:06:54分钟 ??

    • 第18节dataframe实战(物联网项目)_3.处理复杂的数据结构00:12:20分钟 ??

    • 第19节dataframe实战(物联网项目)_4.dataframe 实战(物联网传感器数据)00:08:48分钟 ??

    • 第20节dataframe实战_1.如何处理重复数据00:13:01分钟 ??

    • 第21节dataframe实战_2.如何处理缺失值00:14:49分钟 ??

    • 第22节dataframe实战_3.如何处理异常值00:10:42分钟 ??

    • 第23节dataframe实战_4.数据的描述统计00:10:45分钟 ??

    • 第24节spark streaming精讲_1.spark streaming架构.术语.streaming context00:30:25分钟 ??

    • 第25节spark streaming精讲_2.spark streaming架构.术语(2)00:20:02分钟 ??

    • 第26节spark streaming精讲_3.详解spark streaming开发框架.演示00:18:16分钟 ??

    • 第27节spark stream + kafka实战_1.spark streaming kafka开发详解00:13:12分钟 ??

    • 第28节spark stream + kafka实战_2.环境配置介绍.安装zookeeper00:06:26分钟 ??

    • 第29节spark stream + kafka实战_3.安装配置kafka00:05:47分钟 ??

    • 第30节spark stream + kafka实战_4.验证kafka安装成功00:06:00分钟 ??

    • 第31节spark stream + kafka实战_5.spark-streaming-kafka-library00:07:58分钟 ??

    • 第32节spark stream + kafka实战_6.spark-streaming-kafka-demo00:16:03分钟 ??

    • 第33节spark stream + kafka实战_7.spark streaming windows00:27:30分钟 ??

    • 第34节spark stream + kafka实战_8.和外部数据交互00:14:47分钟 ??

    • 第35节spark stream + kafka实战_9.高可用和数据完整行00:19:03分钟 ??

    • 第36节spark 机器学习实战_1.逻辑回归.背景介绍.数据预处理00:22:17分钟 ??

    • 第37节spark 机器学习实战_2.逻辑回归.特征筛选(不同类型的变量的相关性分析)00:23:42分钟 ??

    • 第38节spark 机器学习实战_3.逻辑回归.训练模型和模型效果评估00:13:14分钟 ??

    • 第39节spark 机器学习实战_4.推荐系统 als实战00:30:02分钟 ??

    • 第40节spark运行机制详解_1.map reduce 1.0回顾00:24:23分钟 ??

    • 第41节spark运行机制详解_2..map reduce 2.0 yarn的架构00:10:17分钟 ??

    • 第42节spark运行机制详解_3.详解spark on yarn的两种模式00:31:06分钟 ??

    • 第43节spark运行机制详解_4.任务的提交.spark submit详解00:09:32分钟 ??

    • 第44节spark运行机制详解_5.spark context内部工作细节00:18:32分钟 ??

    • 第45节spark运行机制详解_6.高级任务提交方法00:14:58分钟 ??