'大数据'是什么？

大数据必须经过收集、整理、关联和解释才能对任何人有用。公司和其他实体需要过滤海量可用数据，以获取对其最相关的信息。幸运的是，能够处理、存储和分析海量信息的硬件和软件正变得越来越便宜和快速，因此这项工作不再需要庞大且昂贵的超级计算机。一些软件也变得更加用户友好，因此不再一定需要一支程序员和数据科学家团队来处理数据（尽管拥有了解您需求的人总是好的）。

公司利用云计算服务，这样他们甚至不需要购买自己的电脑来完成所有数据处理工作。数据中心，也称为服务器农场，可以将数据批次分发到多个服务器进行处理，并且服务器的数量可以根据需要快速扩展或缩减。这种可扩展的分布式计算是通过使用Apache Hadoop、MapReduce和大规模并行处理（MPP）等创新工具实现的。NoSQL数据库已被开发出来，作为传统基于SQL的数据库系统更易于扩展的替代方案。

这些大数据处理和分析的大部分目的是寻找模式和关联，以提供可利用或用于决策的洞察。企业现在可以挖掘海量数据，以获取有关消费者习惯、产品受欢迎程度或更高效的经营方式的信息。大数据分析可用于向他们认为最有可能购买的客户定向投放相关广告、产品和服务，或创建更受大众欢迎的广告。公司现在甚至开始通过智能手机向人们发送实时广告和优惠券，针对那些他们最近使用信用卡消费地点附近的商家。

然而，它不仅仅是为了让我们购买商品。企业可以利用这些信息来提高效率和优化实践，例如寻找最具成本效益的配送路线或更恰当地储存商品。政府机构可以分析交通模式、犯罪、公用事业使用情况以及其他统计数据，以改进政策决策和公共服务。情报机构可以利用它进行监视，并希望挫败犯罪和恐怖阴谋。新闻机构可以利用它来发现趋势和撰写报道，当然，也可以撰写更多关于大数据的文章。

本质上，大数据使得实体能够利用接近实时的数据来辅助决策，而不是像过去那样主要依赖旧信息。但这种能够洞察我们当前情况，甚至有时预测我们未来行为的能力，可能会令人感到有些毛骨悚然。

大数据的概念让很多人感到不安。它听起来很像奥威尔笔下的“老大哥”，再加上那些似乎知道我们在做什么的公司广告以及最近美国国家安全局（NSA）的国内监控揭露，一些人对我们所有人的海量信息感到不安是情有可原的。

人们可以从这些数据中了解您的许多信息，包括您的年龄、性别、性取向、婚姻状况、收入水平、健康状况、品味、爱好、习惯以及许多您可能不想公开的其他事情。他们只需要有能力和意愿去收集和分析这些数据。无论他们的意图是好是坏，都可能产生意想不到的后果。

我们向与我们有业务往来的公司泄露的信息比我们意识到的要多，尤其是当我们使用会员卡或用信用卡或借记卡支付时。仅仅通过分析您的购买记录，就能了解您很多信息。Target 公司曾因此受到关注，因为它被发现在购买补品和乳液等信息后，能够准确判断哪些顾客怀孕了，甚至离预产期还有多久。在一个案例中，Target 开始直接向一个少女邮寄婴儿用品优惠券，这激怒了她的父亲，他认为公司给她发送了不适合她年龄的广告——直到他发现女儿怀孕了[来源：Datoo, Duhigg, 经济学人]。

政府和隐私倡导者已尝试规范个人可识别信息（PII）的使用或披露方式，以使个人对哪些信息成为公开知识拥有一定程度的控制权。但预测分析可以绕过许多现有法律（这些法律主要处理特定类型的数据，如您的财务、医疗或教育记录），通过让公司利用从数字来源收集到的零散信息，间接且很可能在您不知情的情况下，对您做出推断。一些公司正在使用这些信息来做一些事情，例如使用典型信用评分之外的数据来检查潜在客户的信用状况，这可能对您有利或不利，取决于他们发现和解释的结果。然而，一个担忧是，这类个人信息可能导致难以察觉的就业、住房或贷款歧视。更糟糕的是，它可能并非总是完全准确。

大数据中发现的模式也有可能被误解，从而导致错误的决策。像任何工具一样，结果完全取决于其使用得当与否。尽管涉及数学，但大数据分析并非一门精确的科学，人类的规划和决策必须介入其中。面对庞大的数据集，需要对哪些重要、哪些可以忽略做出判断。但良好地进行大数据分析可以为公司带来竞争优势。

此类分析可用于明显有益的事情，例如打击欺诈。银行、信用卡提供商以及其他金融公司现在越来越多地使用大数据分析来发现指向犯罪活动的不寻常模式。对于单个账户，他们可以迅速发现异常迹象，如购买不寻常的商品、客户通常不会支出的金额、奇怪的地理位置，或者先小额测试性购买后紧接着大额购买。跨多个账户的模式，例如来自同一地区不同卡的类似收费，也可以提醒公司可能存在的欺诈行为。

庞大的数据集可以帮助科学和社会学研究、选举预测、天气预报以及其他有价值的追求。社交媒体帖子和谷歌搜索甚至已被用于快速发现疾病爆发的地点。所以，并非全是坏消息。解决所有潜在问题并实施保护我们免受潜在伤害的法律还需要一段时间。在此之前，如果您担心，您可能希望恢复现金支付，并注意您在网上发布关于自己的信息。不过，我们可能已经深陷其中，以至于任何人都无法完全摆脱雷达的追踪了。