新闻资讯  快讯  焦点  财经  政策  社会
互 联 网   电商  金融  数据  计算  技巧
生活百科  科技  职场  健康  法律  汽车
手机百科  知识  软件  修理  测评  微信
软件技术  应用  系统  图像  视频  经验
硬件技术  知识  技术  测评  选购  维修
网络技术  硬件  软件  设置  安全  技术
程序开发  语言  移动  数据  开源  百科
安全防护  资讯  黑客  木马  病毒  移动
站长技术  搜索  SEO  推广  媒体  移动
财经百科  股票  知识  理财  财务  金融
教育考试  育儿  小学  高考  考研  留学
您当前的位置:首页 > 互联网百科 > 大数据

什么是大数据?

时间:2019-11-28 16:13:10  来源:  作者:

什么是大数据?

大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

何为大数据?

 

产生背景

数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。进入 2012年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数。正如《》2012年2月的一篇专栏中所称,"大数据"时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。

何为大数据?

 

大数据特征

1.数据量大(Volume)

第一个特征是数据量大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。

2.类型繁多(Variety)

第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。

3.价值密度低(Value)

第三个特征是数据价值密度相对较低。如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值"提纯",是大数据时代亟待解决的难题。

4.速度快、时效高(Velocity)

第四个特征是处理速度快,时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。

既有的技术架构和路线,已经无法高效处理如此海量的数据,而对于相关组织来说,如果投入巨大采集的信息无法通过及时处理反馈有效信息,那将是得不偿失的。可以说,大数据时代对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。 [2]

何为大数据?

 

大数据的影响

现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物。

随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

何为大数据?

 

截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的据。而到2012年为止,人类生产的所有印刷材料的数据量200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。这样的趋势会持续下去。我们现在还处于所谓"物联网"的最初级阶段,而随着技术成熟,我们的设备、交通工具和迅速发展的"可穿戴"科技将能互相连接与沟通。科技的进步已经使创造、捕捉和管理信息的成本降至2005年的六分之一,而从2005年起,用在硬件、软件、人才及服务之上的商业投资也增长了整整50%,达到了4000亿美元。 [3]

何为大数据?

 

"大数据"可能带来的巨大价值正渐渐被人们认可,它通过技术的创新与发展,以及数据的全面感知、收集、分析、共享,为人们提供了一种全新的看待世界的方法。更多地基于事实与数据做出决策,这样的思维方式,可以预见,将推动一些习惯于靠"差不多"运行的社会发生巨大变革。

关注微信公众号:“AIIA人才发展中心西安分中心”了解更多内容​。



Tags:大数据   点击:()  评论:()
声明:本站部分内容来自互联网,内容观点仅代表作者本人,如有任何版权侵犯请与我们联系,我们将立即删除。
▌相关评论
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
▌相关推荐
人的一生有三分之一的时间在睡眠。中国睡眠研究会的调研结果显示,超过3亿中国人有睡眠障碍,且这个数据仍在逐年攀升。睡眠,或将成为饮食、育儿之后另一个值得特别关注的健康市...【详细内容】
2020-03-18   大数据  点击:(7)  评论:(0)  加入收藏
3月12日,百度发布《2020年百度3·15搜索大数据报告》(下称“报告”)显示,2019年全年网民搜索维权相关内容的热度同比2018年上涨19%,其中网络购物和金融服务成为消费侵权的...【详细内容】
2020-03-16   大数据  点击:(2)  评论:(0)  加入收藏
最近技术群的一个问题,引起了我的思考:今年,还存在金三银四吗?大家都知道程序员涨薪主要还是要靠跳槽来完成!但是我们都知道,无论是考试,还是求职,这个难度,参加人数是影响难度的一个...【详细内容】
2020-03-14   大数据  点击:(13)  评论:(0)  加入收藏
随着数据越来越大,传统的数据仓库已经难以有效应对数据处理和分析的挑战,以hadoop(NoSQL)为代表的分布式计算框架应运而生,它们能有效解决海量的离线分析的需求,这就是所谓的传统...【详细内容】
2020-03-13   大数据  点击:(10)  评论:(0)  加入收藏
疫情的地图数据可视化大家都看过吧,支付宝和各大新闻app里都有: 在这次疫情防控中,足以可见大数据和数据可视化的重要作用,利用大数据追踪每个人每辆车的行踪,利用数据可视化对重...【详细内容】
2020-03-12   大数据  点击:(7)  评论:(0)  加入收藏
5G的到来将催生万物互联,从互联网到移动互联网再到5G物联网,全新的生产生活方式即将到来;5G的市场规模过万亿,大数据、人工智能、自动驾驶、物联网、云计算、AR/VR等将基于5G得...【详细内容】
2020-03-12   大数据  点击:(8)  评论:(0)  加入收藏
大数据技术一种规模大到在获取、存储、管理、分析方面大大超出传统数据库软件工具能力范围的数据集合技术,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低...【详细内容】
2020-03-12   大数据  点击:(4)  评论:(0)  加入收藏
我今年30岁了,已经工作了快8年,上有老下有小,但是我看不到自己工作的未来,想辞职又不敢,这种情况下可以转行吗?一般情况下,我不告诉当事人晚或者不晚这个非黑即白的答案。因为懂的...【详细内容】
2020-03-11   大数据  点击:(4)  评论:(0)  加入收藏
汽车大数据精准营销数据特点还是有很多的,首先这些汽车大数据具有一定的时效性,通常都是最新的数据。由于每个客户的情况不一样,所以汽车大数据精准营销对于每个客户都是独家合...【详细内容】
2020-03-09   大数据  点击:(4)  评论:(0)  加入收藏
文/周雄飞编辑/单一远古人类是怎样生活的?要解答这个问题,通过看远古时期保留至今的壁画或许是最好的方法。而对于这些壁画的诞生,现代人类的祖先“智人”在距今3万多年前已经...【详细内容】
2020-02-27   大数据  点击:(5)  评论:(0)  加入收藏
这篇文章主要是入门大数据,不涉及到高深的知识点和理论,我相信每个人都看得懂。如果文章有错误的地方,不妨在评论区友善指出~一、什么是大数据?1.1 前置知识众所周知,我们能存多...【详细内容】
2020-02-10   大数据  点击:(7)  评论:(0)  加入收藏
想像阅读书本一样阅读数据流?这只有在电影中才有可能发生。 在现实世界中,企业必须使用数据可视化工具来读取原始数据的趋势和模式。大数据可视化是进行各种大数据分析解决...【详细内容】
2020-01-10   大数据  点击:(50)  评论:(0)  加入收藏
今天跟大家讲讲云计算、大数据和人工智能。为什么讲这三个东西呢?因为这三个东西现在非常火,并且它们之间好像互相有关系:一般谈云计算的时候会提到大数据、谈人工智能的时候会...【详细内容】
2020-01-07   大数据  点击:(22)  评论:(0)  加入收藏
二者区别Hive:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能。 Hive本身不存储和计算数据,它完全依赖于HDFS和MapR...【详细内容】
2019-12-26   大数据  点击:(35)  评论:(0)  加入收藏
22%美国坦普尔大学研究人员发现,30岁~49岁研究对象中,常使用社交媒体的人感到“精神接近崩溃”的概率比其他人高22%。遭遇中年危机的人会对生活感到惶恐,并且爱思考人生意义和...【详细内容】
2019-12-24   大数据  点击:(35)  评论:(0)  加入收藏
玩转大数据首先要明确自己将要学习的方向,没有人能一下子吃透大数据里面所有的东西。在大数据的世界里面主要有三个学习方向,大数据开发师、大数据运维师、大数据架构师。哪个...【详细内容】
2019-12-12   大数据  点击:(15)  评论:(0)  加入收藏
1. Spark是什么?Spark,是一种通用的大数据计算框架,正如传统大数据技术Hadoop的MapReduce、Hive引擎,以及Storm流式实时计算引擎等。Spark包含了大数据领域常见的各种计算框架:比...【详细内容】
2019-12-11   大数据  点击:(27)  评论:(0)  加入收藏
人们在面对非结构性的数据时,常常是没有控制权的,能做的就是接收它们。像是文本数据、视频数据、音频数据等等都是这样。图像是独立像素用特定的方式组合起来的,只不过组合的方...【详细内容】
2019-12-03   大数据  点击:(60)  评论:(0)  加入收藏
flume hdfs 大数据 数据采集以下是关于一个agent的exec-hdfs.properties采集配置文件 # 定义这个agent中各组件的名字a1.sources = r1a1.sinks = k1a1.channels = c1#【Sou...【详细内容】
2019-12-02   大数据  点击:(45)  评论:(0)  加入收藏
Hadoop向用户提供了三种能力:分布式文件系统HDFS、分布式计算模式MapReduce和资源调度框架YARN。由于Hadoop的影响力较大,在大数据圈里一直把“应用 on YARN”作为一个门槛条...【详细内容】
2019-12-02   大数据  点击:(43)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条