什么是“大数据”?

每次你在网上购物,你都在增加数据流。"width=
每次你在网上购物,你都在增加数据流。
©胡闹/思想库

在某种程度上,大数据就是它听起来的样子——大量的数据。自从互联网出现以来,我们一直在生成数量惊人的数据。据估计,在2003年之前的所有时间里,只产生了5eb的数据——这等于50亿gb。但从2003年到2012年,这个数字达到了2.7泽字节(或2700艾字节,或2.7万亿gb)[来源:英特尔,隆德]。根据伯克利的研究人员,我们现在每两天产生大约5亿亿字节(或约4.3艾字节)的数据[来源:罗曼诺夫]。

“大数据”一词通常用来指大量、快速扩展、多样且通常是非结构化的数字化数据集,这些数据集难以使用传统数据库进行维护。它可以包括在互联网上漂浮的所有数字信息,与我们有业务往来的公司18luck手机登录的专有信息和官方政府记录,以及许多其他东西。还有一种暗示是,对数据进行分析是为了某种目的。

广告

通过在线购物和参与社交媒体,我们自己也产生了很多,但这只是冰山一角。大数据可以包括数字化文档、照片、视频、音频文件,微博以及其他社交网络帖子、电子邮件、短信、电话记录、搜索引擎查询、RFID标签和条形码扫描以及金融交易记录,尽管这些并不是唯一的来源。每当你在网上做任何事情时,你都在生成数据,留下数字痕迹,其他人可以跟随并挖掘有用的信息。18luck手机登录

产生数据的设备的数量和类型也在激增。除了家用电脑和零售商的销售点系统之外,我们还有联网的智能手机、能发布体重信息的wifi称、能跟踪并有时分享健康相关数据的健身传感器、能自动在网上发布照片和视频的摄像头,以及全球定位新利国际网站品牌官网卫星全球定位系统(GPS))可以精确定位我们在地球上的位置的设备,等等。不要忘记天气和交通传感器、监控摄像头、汽车和飞机上的传感器以及其他与个人无关的东西,它们正在不断收集数据。大量生成和上传数据的电子设备产生了“物联网”一词。

你会发现大数据有多种定义,所以并不是每个人都完全同意它包括什么,但它可以是任何人都有兴趣知道的,可以进行计算机分析的任何东西。这些庞大而笨重的数据集需要新的方法来收集、存储、处理和分析它们。

广告

18新利最新登入如何分析和使用大数据

像这个位于加州圣何塞的服务器群正在处理大量数据,以努力识别模式和关联。"width=
像这个位于加州圣何塞的服务器群正在处理大量数据,以努力识别模式和关联。
©Bob Sacha/Corbis

大数据必须被收集、处理、连接和解释,才能对任何人有用。公司和其他实体需要过滤大量可用数据,以获得与他们最相关的信息。幸运的是,能够处理、存储和分析大量信息的硬件和软件正变得越来越便宜和快捷,因此这项工作不再需要庞大而昂贵的超级计算机。18luck手机登录一些软件正变得更加用户友好,因此不需要一组程序员和数据科学家来处理数据(尽管拥有能够理解您需求的知识渊博的人也无妨)。

公司利用云计算服务,这样他们甚至不需要购买自己的计算机来进行所有的数据处理。数据中心,也叫服务器农场,可以将数据批量分布到多个服务器上进行处理,并且服务器的数量可以根据需要快速增加或减少。这种可扩展的分布式计算是通过使用创新的工具,如Apache Hadoop、MapReduce和大规模并行处理(MPP)来实现的。NoSQL数据库已被开发为更容易扩展的传统基于sql的数据库系统的替代方案。

广告

这种大数据处理和分析的大部分目的是寻找模式和相关性,从而提供可以利用或用于决策的见解。企业现在可以挖掘大量的数据,以获取有关消费者习惯、产品受欢迎程度或更有效的经营方式的信息。18luck手机登录大数据分析可以用来针对他们认为最有可能购买的客户投放相关广告、产品和服务,或者制作更有可能吸引广大公众的广告。公司现在甚至开始做一些事情,比如通过智能手机向人们发送他们最近使用过手机的地点附近的实时广告和优惠券信用卡

然而,这不仅仅是为了让我们买东西。18新利最新登入企业可以利用这些信息来提高效率和实践,例如找到18luck手机登录最具成本效益的送货路线或更适当地储存商品。政府机构可以分析交通模式、犯罪、公用事业使用情况和其他统计数据,以改进政策决策和公共服务。情报机构可以用它来侦察,希望能挫败犯罪和恐怖主义阴谋。新闻机构可以用它来发现趋势和发展故事,当然,也可以写更多关于大数据的文章。

从本质上讲,大数据允许实体使用接近实时的数据来提供决策,而不是像过去那样主要依赖旧信息。18luck手机登录但是,这种能够看到我们现在正在发生什么,甚至有时预测我们未来行为的能力,可能有点令人毛骨悚然。

广告

大数据:敌还是友?

你的ATM交易以及信用卡和借记卡消费都是数据配置文件的一部分,帮助公司预测你的消费习惯。"width=
你的ATM交易以及信用卡和借记卡消费都是数据配置文件的一部分,帮助公司预测你的消费习惯。
©Erik Tham/Corbis

大数据的概念让我们很多人感到不安。这听起来很像奥威尔(Orwell)的《老大哥》(Big Brother),广告公司似乎知道我们在做什么,最近在做什么国家安全局随着国内间谍活动的曝光,一些人觉得关于我们所有人的大量信息令人不安是可以理解的。18luck手机登录

人们可以从这些数据中了解到很多关于你的信息,包括你的年龄、性别、性取向、婚姻状况、收入水平、健康状况、品味、爱好、习惯以及其他一大堆你可能希望或不想让公众知道的事情。新利国际网站品牌官网他们只需要有收集和分析数据的手段和意愿。无论他们是好意还是恶意,都会产生意想不到的后果。

广告

我们向与我们有业务往来的公司泄露18luck手机登录的信息比我们意识到的要多,特别是当我们使用会员卡或信用卡或借记卡付款时。有人可以通过分析你的购买行为来了解你。塔吉特百货收到了一些媒体的报道,因为他们发现,他们可以通过购买的补充剂和乳液类型等信息,确定哪些客户怀孕了,甚至还能确定她们距离预产期有多远。18新利最新登入在一个案例中,塔吉特开始直接向一个十几岁的女孩邮寄婴儿用品优惠券,引发了她父亲的愤怒,因为该公司向她发送了他认为不适合她年龄的广告,直到他发现她怀孕了[来源:DatooDuhigg经济学家]。

政府和隐私倡导者试图规范人们的隐私方式个人身份信息18luck手机登录(PII)的使用或披露是为了让个人对成为公共知识的内容有一定程度的控制。但预测分析可以绕过许多现有的法律(这些法律主要处理特定类型的数据,比如你的财务数据,医疗或者教育记录),让公司利用从数字来源收集的完全不同的信息,间接地,很可能在你不知情的情况下,得出关于你的结论。18luck手机登录一些公司正在使用这些信息来做一些事情,比如使用典型信用评分18luck手机登录以外的数据来检查潜在客户的信用价值,这对你来说可能是好是坏,取决于他们发现了什么以及他们如何解释这些信息。18新利最新登入不过,有一个担忧是,这种类型的个人信息可能会导致难以察觉的就业、住房或贷款歧视。18luck手机登录更糟糕的是,它可能并不总是完全准确。

大数据中的模式也有可能被误解,从而导致错误的决策。像任何工具一样,结果完全取决于它使用得如何。18新利最新登入即使涉及到数学,大数据分析也不是一门精确的科学,人类的计划和决策必须在某个地方发挥作用。有了庞大的数据集,就需要判断哪些是重要的,哪些可以被忽略。但做好大数据分析可以给企业带来竞争优势。

这种分析可以用于一些明显有益的事情,比如打击欺诈。银行、信用卡提供商和其他从事货币业务的公司现在越来越多地使用大数据分析来发现指向犯罪活动的异常模式。在个人账户上,他们可以很快收到危险信号,比如购买了不寻常的物品、客户通常不会消费的金额、奇怪的地理位置或小规模测试购买后的大额购买。多个账户之间的模式,比如同一地区不同信用卡上的类似费用,也可以提醒公司可能存在的欺诈行为。

庞大的数据集有助于科学和社会学研究、选举预测、天气预报和其他有价值的研究。社交媒体帖子和谷歌搜索甚至被用来快速找到疾病爆发的地方。所以也不全是坏消息。只是需要一段时间来解决所有潜在的问题,并实施保护我们免受潜在伤害的法律。在那之前,如果你担心,你可能会想要恢复现金购物,并注意你在网上展示的自己。尽管如此,对于我们中的任何一个人来说,我们可能在兔子洞里太远了,无法完全摆脱雷达的监视。

广告

更多信息18luck手机登录

什么是“大数据”?

像任何事情一样,大数据可以用于好的方面,也可以用于坏的方面,也可以用于很多介于两者之间的事情。针对我们的广告和优惠券可能是一种方便,也可能是一种主要的烦恼。仅仅因为我们在他们的商店里刷卡或刷卡,陌生人就能了解我们,这让人很不安。

我一直认为会员卡是收集我们购物数据的一种方式,但直到现在我才真正意识到通过借记卡/信用卡购买与我们个人联系在一起的类似数据有多多,也没有意识到从会员卡中可以看出我们生活的惊人细节。18新利最新登入这还不包括互联网上关于我们的所有其他信息。18luck手机登录

一想到我的一举一动都会被分析,我就想离开网络,不再在网上发帖,一切都用现金支付。尽管我们大多数人,包括我在内,为了方便起见,可能会继续这样做。我只是可能会像被监视一样发布和购买。

相关文章

  • Apache。“Hadoop。”(2013年11月30日)http://hadoop.apache.org/
  • 亚瑟,丽莎。“什么是大数据?”《福布斯》。2013年8月15日。(2013年12月1日)http://www.forbes.com/sites/lisaarthur/2013/08/15/what-is-big-data/
  • 布鲁克斯,大卫。“数据不能做的事情。”《纽约时报》。2013年2月18日。(2013年12月4日)http://www.nytimes.com/2013/02/19/opinion/brooks-what-data-cant-do.html?_r=1&
  • 布鲁克斯,大卫。“你接下来要做什么。”《纽约时报》。2013年4月15日。(2013年12月4日)http://www.nytimes.com/2013/04/16/opinion/brooks-what-youll-do-next.html
  • Brust,安德鲁。《MapReduce和MPP:大数据硬币的两面?》ZDNet。2012年3月2日。(2013年12月5日)http://www.zdnet.com/blog/big-data/mapreduce-and-mpp-two-sides-of-the-big-data-coin/121
  • 巴特勒,布兰登。《从数字大师内特·西尔弗那里学到的大数据工作经验》网络世界。2013年9月11日。(2013年12月4日)http://www.networkworld.com/news/2013/091113-nate-silver-big-data-273740.html
  • 考克斯,瑞安。《内特·西尔弗对大数据趋势持怀疑态度,解读文化》硅的角度。2013年9月12日。(2013年12月4日)http://siliconangle.com/blog/2013/09/12/nate-silver-skeptical-of-big-data-trends-keys-in-on-culture/
  • 克劳福德,凯特和杰森·舒尔茨。“大数据和正当程序:朝着纠正预测性隐私损害的框架迈进。”纽约大学法学院。2013年10月1日。(2013年12月4日)http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2325784
  • Datoo Siraj。“大数据分析的快速发展导致了投资的增加。”监护人。2013年11月22日。(2013年11月29日)http://www.theguardian.com/news/2013/nov/22/rapid-development-in-big-data-analytics-has-led-to-increased-investment
  • Duhigg,查尔斯。《18新利最新登入公司如何得知你的秘密》《纽约时报》。2012年2月16日。(2013年12月2日)http://www.nytimes.com/2012/02/19/magazine/shopping-habits.html?pagewanted=6&_r=3&hp&pagewanted=all&
  • 经济学家。“大数据——处理数字。”2012年5月19日。(2013年12月1日)http://www.economist.com/node/21554743
  • EMC。《EMC:大数据帷幕背后》2012.(2013年12月1日)http://www.emc.com/campaign/global/big-data/hfbd-infographic-4web-1500.jpg?cmp=micro-big_data-general-emc
  • 菲茨杰拉德,迈克尔。《大数据:大威胁还是大谎言?》18luck手机登录信息周。2013年11月21日。(2013年12月4日)http://www.inf18luck手机登录ormationweek.com/big-data-big-threat-or-big-lie/d/d-id/1112668?
  • Gartner。“大数据”。(2013年11月29日)http://www.gartner.com/it-glossary/big-data/
  • Gnau,斯科特。“把大数据放在语境中。”《连线》杂志。2013年9月10日。(2013年12月4日)http://www.wired.com/insights/2013/09/putting-big-data-in-context/
  • Henschen,道格。《大数据重塑天气频道预报》18luck手机登录信息周。2013年11月25日。(2013年12月4日)http://www.inf18luck手机登录ormationweek.com/big-data/software-platforms/big-data-reshapes-weather-channel-predictions/d/d-id/1112776?
  • IBM。“什么是大数据?”(2013年12月4日)http://www-01.ibm.com/software/data/bigdata/what-is-big-data.html
  • 英特尔。《大数据101:大数据如何产生18新利最新登入巨大影响》(2013年11月29日)http://www.intel.com/content/www/us/en/big-data/big-data-101-animation.html
  • 英特尔。“利用大数据打击信用卡欺诈。”(2013年11月30日)http://www.intel.com/content/dam/www/public/us/en/documents/white-papers/combat-credit-card-fraud-with-big-data-whitepaper.pdf
  • 英特尔。“什么是大数据?”(2013年11月30日)http://www.intel.com/content/www/us/en/big-data/big-data-what-is-big-data-landing.html
  • 兰妮,道格。“Deja VVVu:其他人声称高德纳的大数据结构。”Gartner。2012年1月14日。(2013年12月1日)http://blogs.gartner.com/doug-laney/deja-vvvue-others-claiming-gartners-volume-velocity-variety-construct-for-big-data/
  • Lund, Susan, James Manyika, Scott Nyquist, Lenny Mendonca和Sreenivas Ramaswamy。《游戏规则改变者:美国增长和复兴的五大机遇》麦肯锡全球研究所。2013年7月。(2013年12月3日)http://www.mckinsey.com/insights/americas/us_game_changers
  • MongoDB。《大数据解释》。(2013年12月5日)http://www.mongodb.com/learn/big-data
  • 诺顿,约翰。《为什么大数据让你的隐私成为历史》监护人。2013年10月5日。(2013年11月29日)http://www.theguardian.com/technology/2013/oct/06/big-data-predictive-analytics-privacy
  • Novet、约旦。“这就是为什么2014年将成为‘物联网年’。”几乎如出一辙。2013年11月25日。(2013年12月1日)http://venturebeat.com/2013/11/25/heres-why-2014-will-be-the-year-of-the-internet-of-things/
  • 罗曼诺夫,亚历克斯。《大数据洞察的价值评估》《连线》杂志。2013年7月17日。(2013年12月4日)http://www.wired.com/insights/2013/07/putting-a-dollar-value-on-big-data-insights/
  • 情景应用程序。“什么是大数据?”(2013年12月1日)http://www.sas.com/big-data/
  • 奥特兰,斯维特拉娜。“高德纳的大数据定义由三部分组成,不要与三个V混淆。”《福布斯》。2013年3月27日。(2013年12月1日)http://www.forbes.com/sites/gartnergroup/2013/03/27/gartners-big-data-definition-consists-of-three-parts-not-to-be-confused-with-three-vs/
  • Zettaset。“什么是大数据和Hadoop?”(2013年11月29日)http://www.zettaset.com/info-center/what-is-big-data-and-hadoop.php
特色

广告

加载……
Baidu