这两年,大数据成为一个风口词汇。马云说未来是一个DT时代,大数据将会和煤、石油、电一样,成为未来的基础性资源。
各路投资人和创业者,也是左一句大数据,右一句机器学习。
圈内有一个段子说,现在我们讨论大数据,特别像成年人讨论性,每个人都非常兴奋,但很少有人知道它真正意味着什么。
从字面上理解,大数据是一个趋近于无穷大的概念,但是它究竟有什么特点,能带来什么价值?又能带来什么样的风险?
一、什么是大数据
大数据既是一个名词概念,也是一个技术概念。
相对于传统数据,它是一个规模巨大、增长速度巨快、类型巨复杂的数据集合。
相对于传统数据库,它是一种可以更经济、更有效地从高频率、大容量、不同结构和不同类型数据中获取价值的架构和技术。
马云说,全国胸罩最大最小的是那些省份,大数据都可以告诉你。
二、大数据的特征及价值
大数据的大,不只是量大,具体来说,它包括4个V:
1.Volume(大量)
我们在微信的聊天、阅读,在淘宝上的浏览、交易,全都是数据。现在互联网上的数据越来越多,预计到2020年,全球数据使用量将达到35.2ZB。
2.Velocity(高速)
根据IDC提供的数据,现在全球数据量大约每两年翻一番。也就是时说,人类两年产生的数据量,相当于之前产生的全部。
3.Variety(多样)
相对于以往便于存储的以文本为主的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。
4.Value(低价值密度)
遍地是金子,又遍地是沙子。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。
事物所有的有用性,首先都是由其特征属性决定的。大数据的4V特征,在一定程度上也决定了它蕴含着巨大的商业价值。
比如在营销中做用户画像,为不同群体定制个性化服务。我们每个人朋友圈中的广告都是不一样的,有人看到的是大众,有人看到的是奔驰。
它还可以通过数据分析,提高运营效率。我们每天早上看到的共享单车并非是随意摆放,都是基于对出行数据的建模分析,进而对车辆进行相应调度。
三、大数据跟安全的关系
任何事物都有两面,大数据也是一把双刃剑。它能带来多大的好处,就能带来多大的隐患。
首先介绍一个概念:大数据安全。
它包含两层意思,一是保障大数据安全,二是大数据技术用于安全。
前者是指保障大数据计算过程、数据形态、应用价值的处理技术,涉及大数据自身安全问题。
后者是利用大数据技术提升信息系统安全效能和能力的方法,涉及如何解决信息系统安全问题。
从整个安全行业的发展历程来看,大数据所带来的安全隐患最为严重。
以前的安全事件多是简单的恶意攻击,没有什么明确的政治或经济目的。
但从近5年开始,黑产的分工协作,越来越规模化。他们的目的也很明确,就是通过窃取数据,交换经济利益。很多人都深受其害。
勒索攻击:2017年,全球爆发多起大规模勒索软件感染事件,很多高校校内网、大型企业内网和政府机构专网中招,被勒索要支付高额赎金(有的需要比特币)才能解密恢复文件。
徐玉玉事件:2016年8月21日,大学生徐玉玉因被诈骗电话骗走上大学的费用9900元,伤心欲绝,最终导致心脏骤停,不幸离世。最高检、公安部联合挂牌督办,此案也成为安全领域的节点性案件。
从趋势上可以判断,以前只是仅保护网络安全或系统安全是远远不够的,大数据安全才是新一代信息安全的核心。
观数科技的价值也正在于此,我们开发的基于Hadoop大数据安全防护产品BIGDAF,为国内很多政企客户解决了分布式存储架构的底层防护问题。
环境越来越复杂,挑战越来越大。下一篇我们将谈谈,要想做好大数据安全,需要在思想上做出哪些升级?欢迎关注。