新闻资讯  快讯  焦点  财经  政策  社会
互 联 网   电商  金融  数据  计算  技巧
生活百科  科技  职场  健康  法律  汽车
手机百科  知识  软件  修理  测评  微信
软件技术  应用  系统  图像  视频  经验
硬件技术  知识  技术  测评  选购  维修
网络技术  硬件  软件  设置  安全  技术
程序开发  语言  移动  数据  开源  百科
安全防护  资讯  黑客  木马  病毒  移动
站长技术  搜索  SEO  推广  媒体  移动
财经百科  股票  知识  理财  财务  金融
教育考试  育儿  小学  高考  考研  留学
您当前的位置:首页 > 互联网百科 > 大数据

什么是大数据?

时间:2019-11-28 16:13:10  来源:  作者:

什么是大数据?

大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

何为大数据?

 

产生背景

数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。进入 2012年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数。正如《》2012年2月的一篇专栏中所称,"大数据"时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。

何为大数据?

 

大数据特征

1.数据量大(Volume)

第一个特征是数据量大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。

2.类型繁多(Variety)

第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。

3.价值密度低(Value)

第三个特征是数据价值密度相对较低。如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值"提纯",是大数据时代亟待解决的难题。

4.速度快、时效高(Velocity)

第四个特征是处理速度快,时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。

既有的技术架构和路线,已经无法高效处理如此海量的数据,而对于相关组织来说,如果投入巨大采集的信息无法通过及时处理反馈有效信息,那将是得不偿失的。可以说,大数据时代对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。 [2]

何为大数据?

 

大数据的影响

现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物。

随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

何为大数据?

 

截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的据。而到2012年为止,人类生产的所有印刷材料的数据量200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。这样的趋势会持续下去。我们现在还处于所谓"物联网"的最初级阶段,而随着技术成熟,我们的设备、交通工具和迅速发展的"可穿戴"科技将能互相连接与沟通。科技的进步已经使创造、捕捉和管理信息的成本降至2005年的六分之一,而从2005年起,用在硬件、软件、人才及服务之上的商业投资也增长了整整50%,达到了4000亿美元。 [3]

何为大数据?

 

"大数据"可能带来的巨大价值正渐渐被人们认可,它通过技术的创新与发展,以及数据的全面感知、收集、分析、共享,为人们提供了一种全新的看待世界的方法。更多地基于事实与数据做出决策,这样的思维方式,可以预见,将推动一些习惯于靠"差不多"运行的社会发生巨大变革。

关注微信公众号:“AIIA人才发展中心西安分中心”了解更多内容​。



Tags:大数据   点击:()  评论:()
声明:本站部分内容来自互联网,内容观点仅代表作者本人,如有任何版权侵犯请与我们联系,我们将立即删除。
▌相关评论
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
▌相关推荐
什么是大数据?大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海...【详细内容】
2019-11-28   大数据  点击:(0)  评论:(0)  加入收藏
市场上有许多可用的框架。其中一些更受欢迎,例如Spark,Hadoop,Hive和Storm。Presto在效用指数上得分很高,而Flink具有巨大的潜力。另外还有一些需要提及的其他内容,例如Samza,Impa...【详细内容】
2019-11-27   大数据  点击:(0)  评论:(0)  加入收藏
来源|活动盒子-APP活动运营工具(huodonghezi.com)互联网寒冬之下,流量红利逐渐消失,获客成本水涨船高,遍地是流量的时代一去不返。如何才能突出重围,实现用户和收入增长?这个过...【详细内容】
2019-09-24   大数据  点击:(1)  评论:(0)  加入收藏
任何完整的大数据平台,一般包括以下的几个过程: 数据采集 数据存储 数据处理 数据展现(可视化,报表和监控) 其中,数据采集是所有数据系统必不可少的,随着大数据越来越被重视,数据采...【详细内容】
2019-11-18   大数据  点击:(8)  评论:(0)  加入收藏
国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 评选出了数据挖掘领域的十大经典算法:C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost,...【详细内容】
2019-11-14   大数据  点击:(11)  评论:(0)  加入收藏
数据分析工作虽然隐藏在业务系统背后,但是具有非常重要的作用,数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展,数据挖掘、数据探索等专有名词曝光度...【详细内容】
2019-11-01   大数据  点击:(12)  评论:(0)  加入收藏
“看的懂的叫套路,看不懂的叫谋略”,顶尖高手,把它们叫谋略,研究它们,使用它们;普通的人,把它们叫套路,讨厌它们,排斥它们。亲爱的读者你好,阅读本文前请点击上方关注我,及时获取最新的...【详细内容】
2019-10-22   大数据  点击:(14)  评论:(0)  加入收藏
Python有个处理大数据的库,结合xlrd库,在做一些大数据的处理统计工作的时候很好用,譬如做性能测试,你的结果数据如何统计,python有个库pandas,这个就很擅长做这个工作,这里就讲2个p...【详细内容】
2019-10-16   大数据  点击:(19)  评论:(0)  加入收藏
典型互联网大数据平台架构首先我们来看一个典型的互联网大数据平台的架构,如下图所示: 在这张架构图中,大数据平台里面向用户的在线业务处理组件用褐色标示出来,这部分是属于互...【详细内容】
2019-10-10   大数据  点击:(45)  评论:(0)  加入收藏
大数据背景对于业务数据数据量的暴增,用户智能化需求提升。在这个DT的时代,大数据的开发也就应运而生了,大数据开发必须解决两个问题,大数据量如何统一存储,大数据量如何统一计算...【详细内容】
2019-10-08   大数据  点击:(31)  评论:(0)  加入收藏
2019年“十一”黄金周结束,电商、旅行、电影等消费领域全面呈现向好趋势。商务部最新数据显示,今年“十一”黄金周,购物、餐饮等传统消费亮点纷呈,旅游、文化、体育等新兴消费蓬...【详细内容】
2019-10-08   大数据  点击:(18)  评论:(0)  加入收藏
大数据时代商业智能(BI)和数据可视化诉求更为强烈,淘宝大屏更是风靡全球!数据可视化是大数据『最后一公里』,BI唤醒沉睡的数据。...【详细内容】
2019-09-26   大数据  点击:(51)  评论:(0)  加入收藏
"昨天你是几点睡的?"这样一个看似简单又平常的问题,从答案中却能读懂人生的百般滋味,现代都市的夜晚,是照见城市人生百态的另一面镜子。在深夜里,有人因为加班被动的无法睡觉,也有...【详细内容】
2019-09-19   大数据  点击:(154)  评论:(0)  加入收藏
作者 | 小枣君责编 | 胡巍巍本文经授权转载自鲜枣课堂(ID:xzclasscom)这些年,大数据作为一个时髦概念,出现频率很高,关注度也很高。对于很多人来说,当他第一次听到“大数据”这个词...【详细内容】
2019-09-05   大数据  点击:(31)  评论:(0)  加入收藏
数字化时代的精准推荐系统随着全球数字化、5G通信技术的成熟、互联网应用于各行各业,累积的数据量越来越大,越来越多企业、行业和国家发现,可以利用类似的技术更好地服务客户、...【详细内容】
2019-09-05   大数据  点击:(82)  评论:(0)  加入收藏
概述说到druid,这个还是以前在开源中国项目中看到的,说是比较好的数据连接池。今天就分享下常见的三大连接池--c3p0,dbcp与druid。功能1、DBCPDBCP是一个依赖Jakarta commons-p...【详细内容】
2019-09-03   大数据  点击:(39)  评论:(0)  加入收藏
一、MySQL 优点:体积小、速度快、总体拥有成本低,开源;支持多种操作系统;是开源数据库,提供的接口支持多种语言连接操作 ;MySQL的核心程序采用完全的多线程编程。线程是轻量级的进...【详细内容】
2019-08-29   大数据  点击:(45)  评论:(0)  加入收藏
与任何I / O子系统不同,Hadoop还带有一组原语。当然,这些原始考虑因素虽然是通用的,但也与Hadoop IO系统一起使用,并具有一些特殊的内涵。Hadoop处理数TB的数据集; 对这些原语...【详细内容】
2019-08-29   大数据  点击:(49)  评论:(0)  加入收藏
前言当我们操作mysql的时候,如果数据量很小,那么我们如何处理都没有问题。但是当一张表非常大的时候,我们一个大查询,一个堆大插入,一个count(*),一个limit都是非常恐怖的,因此,我...【详细内容】
2019-08-27   大数据  点击:(92)  评论:(0)  加入收藏
Apache Hadoop是一个出色的软件框架,允许处理大数据元素。它可以通过采用模块化系统和处理大量数据来使用商用硬件的强大功能。Hadoop可以在不同的发行版中使用,因为公司通常...【详细内容】
2019-08-26   大数据  点击:(41)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条