词条信息

admin
admin
超级管理员
词条创建者 发短消息   

相关词条

热门词条

更多>>
在搜索引擎眼中,怎样的内容才算是“高质量内容”
在 SEO 圈,“内容”绝对是一个经久不衰的话题,虽然每个阶段的搜索引擎算法对待 SEO 都有不同的标准,愈发...
为什么总是互联网企业大裁员?
每年到这个时候,关于裁员的消息就不绝于耳(眼)。裁员年年有,今年尤其多。因为舆论管制的问题,但凡提到具体公司,...
为什么别人的抖音能赚钱?
有人的地方,除了有江湖,还有市场。自从网络直播、短视频成为国民级的娱乐方式后,在相关领域上已经汇集了上亿用户,...
华为孟晚舟被扣:“五眼联盟”或是背后关键因素
▲资料图。图片来自网络。 北美当地时间12月5日,加拿大多家媒体相继报道称,中国企业华为技术有限公司副总裁兼...
携号转网通过短信即可办理
携号转网终于来了!在工信部的严格要求下,从12月开始,国内5个省天津、海南、江西、湖北、云南正式开始受理“携号...
解决网 >>所属分类 >> 互联网    大数据   

学习大数据知识要学什么?

标签: 大数据

顶[0] 发表评论(0) 编辑词条

目录

学习大数据需要的基础编辑本段回目录


1、java SE、EE(SSM)

    90%的大数据框架都是Java写的

2、MySQL

    SQL on Hadoop

3、Linux

    大数据的框架安装在Linux操作系统


需要学什么编辑本段回目录


大数据离线分析

 

    一般处理T+1数据(T:可能是1天、一周、一个月、一年)

    a、Hadoop :一般不选用最新版本,踩坑难解决

        (common、HDES、MapReduce、YARN)

        环境搭建、处理数据的思想

    b、Hive:大数据的数据仓库

        通过写SQL对数据进行操作,类似于MySQL数据库的sql

    c、HBase:基于HDFS的NOSQL数据库

        面向列存储

    d、协作框架:

        sqoop(桥梁:HDFS《==》RDBMS)

        flume:搜集日志文件中的信息

    e、调度框架

        anzkaban

        了解:crotab(Linux自带)

        zeus(Alibaba)

        Oozie(cloudera)

    f、前沿框架扩展:

            kylin、impala、ElasticSearch(ES)

 

 

大数据实时分析

 

    以spark框架为主

    Scala:OOP(面向对象程序设计)+FP(函数是程序设计)

    sparkCore:类比MapReduce

    sparkSQL:类比hive

    sparkStreaming:实时数据处理

    kafka:消息队列

    前沿框架扩展:flink

        阿里巴巴:blink

 

大数据机器学习

 

    spark MLlib:机器学习库

    pyspark编程:Python和spark的结合

    推荐系统

    python数据分析

    python机器学习

 

 

本文地址:解决网 http://www.solves.com.cn/doc-view-4939.html

TAGS:SOLVES , 电脑技术 , 电脑知识 , 网站建设, 电脑百科, 网络营销 , 网站托管 , 硬件技术 , 网络技术 , 软件技术, 维修网点

附件列表


按字母顺序浏览:A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

→我们致力于为广大网民解决所遇到的各种电脑技术问题
 如果您认为本词条还有待完善,请 编辑词条

上一篇web测试总结
下一篇大数据涉及的知识点

0
1. 本站部分内容来自互联网,如有任何版权侵犯或其他问题请与我们联系,我们将立即删除或处理。
2. 本站内容仅供参考,如果您需要解决具体问题,建议您咨询相关领域专业人士。
3. 如果您没有找到需要的百科词条,您可以到百科问答提问或创建词条,等待高手解答。

关于本词条的提问

查看全部/我要提问>>