词条信息

admin
admin
超级管理员
词条创建者 发短消息   

相关词条

天天广告联盟
 广告位置招商  广告招商

热门词条

更多>>
警惕!最新传销名单!
  近日,河南新乡警方破获一起特大暴力传销案,由一名女孩割腕引[详细]
2018年10个大数据草创公司。
依据市场研究公司IDC的数据,估计大数据和营业剖析手艺的支出将[详细]
ps利用通道精确抠出背景
通道抠图之前,我们需要了解一下通道的知识。RGB模式下,我们看[详细]
人民日报:守护个人数据使用的边界
你去过的酒店好友都能看到!这不是玩笑,而是真实案例。近日,有媒[详细]
摩拜实施全国免押金
  2018年07月05日,“摩拜单车宣布全国范围内无门槛免押[详细]
解决网 >>所属分类 >> 互联网    大数据   

学习大数据知识要学什么?

标签: 大数据

顶[0] 发表评论(0) 编辑词条

目录

学习大数据需要的基础编辑本段回目录


1、java SE、EE(SSM)

    90%的大数据框架都是Java写的

2、MySQL

    SQL on Hadoop

3、Linux

    大数据的框架安装在Linux操作系统


需要学什么编辑本段回目录


大数据离线分析

 

    一般处理T+1数据(T:可能是1天、一周、一个月、一年)

    a、Hadoop :一般不选用最新版本,踩坑难解决

        (common、HDES、MapReduce、YARN)

        环境搭建、处理数据的思想

    b、Hive:大数据的数据仓库

        通过写SQL对数据进行操作,类似于MySQL数据库的sql

    c、HBase:基于HDFS的NOSQL数据库

        面向列存储

    d、协作框架:

        sqoop(桥梁:HDFS《==》RDBMS)

        flume:搜集日志文件中的信息

    e、调度框架

        anzkaban

        了解:crotab(Linux自带)

        zeus(Alibaba)

        Oozie(cloudera)

    f、前沿框架扩展:

            kylin、impala、ElasticSearch(ES)

 

 

大数据实时分析

 

    以spark框架为主

    Scala:OOP(面向对象程序设计)+FP(函数是程序设计)

    sparkCore:类比MapReduce

    sparkSQL:类比hive

    sparkStreaming:实时数据处理

    kafka:消息队列

    前沿框架扩展:flink

        阿里巴巴:blink

 

大数据机器学习

 

    spark MLlib:机器学习库

    pyspark编程:Python和spark的结合

    推荐系统

    python数据分析

    python机器学习

 

 

本文地址:解决网 http://www.solves.com.cn/doc-view-4939.html

TAGS:SOLVES , 电脑技术 , 电脑知识 , 网站建设, 电脑技术, 网络营销 , 网站托管 , 硬件技术 , 网络技术 , 软件技术, 维修网点

附件列表


按字母顺序浏览:A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

→我们致力于为广大网民解决所遇到的各种电脑技术问题
 如果您认为本词条还有待完善,请 编辑词条

上一篇web测试总结
下一篇大数据涉及的知识点

0
1. 本站部分内容来自互联网,如有任何版权侵犯或其他问题请与我们联系,我们将立即删除或处理。
2. 本站内容仅供参考,如果您需要解决具体问题,建议您咨询相关领域专业人士。
3. 如果您没有找到需要的电脑技术问题词条,您可以到百科问答提问或创建词条,等待高手解答。

关于本词条的提问

查看全部/我要提问>>