词条信息

admin
admin
超级管理员
词条创建者 发短消息   

相关词条

热门词条

更多>>
Word中文字对齐3个超实用的方法!
我们在写毕业论文、写策划方案或者制作简历的时候,文本中的一些特定文字通常需要我们进行对齐。那么现在想问大家...
2019年路由器选购方案大推荐
路由器是个非常简单且有用的数码配件,虽然表面看起来没什么技术含量,但它对我们的日常生活影响是非常大的,重点是很...
如何挑选适合自己的Linux系统版本?
最近很多小伙伴私信我,说想学学Linux,但是由于平时没用过Linux系统,想让小编我帮着推荐一下用哪一个版本...
2019年10大最佳Hyper-V监控工具和软件
虚拟化的广泛使用一直是企业基础架构中最重要的趋势之一。企业通过虚拟化降低与管理和部署硬件设备相关的成本。微软H...
Wi-Fi探针是什么原理 怎么有效防范Wi-Fi探针
在下班回家的路上,你突然接到一个陌生人电话,对方直接说出了你的名字和一些私人信息套了个近乎,然后给你推荐了几个...
解决网 >>所属分类 >> 互联网    大数据   

学习大数据知识要学什么?

标签: 大数据

顶[0] 发表评论(0) 编辑词条

目录

学习大数据需要的基础编辑本段回目录


1、java SE、EE(SSM)

    90%的大数据框架都是Java写的

2、MySQL

    SQL on Hadoop

3、Linux

    大数据的框架安装在Linux操作系统


需要学什么编辑本段回目录


大数据离线分析

 

    一般处理T+1数据(T:可能是1天、一周、一个月、一年)

    a、Hadoop :一般不选用最新版本,踩坑难解决

        (common、HDES、MapReduce、YARN)

        环境搭建、处理数据的思想

    b、Hive:大数据的数据仓库

        通过写SQL对数据进行操作,类似于MySQL数据库的sql

    c、HBase:基于HDFS的NOSQL数据库

        面向列存储

    d、协作框架:

        sqoop(桥梁:HDFS《==》RDBMS)

        flume:搜集日志文件中的信息

    e、调度框架

        anzkaban

        了解:crotab(Linux自带)

        zeus(Alibaba)

        Oozie(cloudera)

    f、前沿框架扩展:

            kylin、impala、ElasticSearch(ES)

 

 

大数据实时分析

 

    以spark框架为主

    Scala:OOP(面向对象程序设计)+FP(函数是程序设计)

    sparkCore:类比MapReduce

    sparkSQL:类比hive

    sparkStreaming:实时数据处理

    kafka:消息队列

    前沿框架扩展:flink

        阿里巴巴:blink

 

大数据机器学习

 

    spark MLlib:机器学习库

    pyspark编程:Python和spark的结合

    推荐系统

    python数据分析

    python机器学习

 

 

附件列表


按字母顺序浏览:A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

→我们致力于为广大网民解决所遇到的各种电脑技术问题
 如果您认为本词条还有待完善,请 编辑词条

上一篇web测试总结
下一篇大数据涉及的知识点

0
1. 本站部分内容来自互联网,如有任何版权侵犯或其他问题请与我们联系,我们将立即删除或处理。
2. 本站内容仅供参考,如果您需要解决具体问题,建议您咨询相关领域专业人士。
3. 如果您没有找到需要的百科词条,您可以到百科问答提问或创建词条,等待高手解答。

关于本词条的提问

查看全部/我要提问>>