观数科技助力国家邮政局,保障国家物流大数据体系的安全。 2017-12-15 10:36

每年的双十一、双十二,都是各家科技公司检验新技术的好机会。

今年,我们为国家邮政局全国的物流大数据平台(包括四运一达、京东物流等),提供了一整套的大数据安全解决方案。

近几年,随着互联网和大数据的快速发展,时常会有一些互联网公司和银行的大数据泄露事件登上媒体头条。

这既有技术层面上的原因,也有内部人员泄露或内外勾结所致。国家邮政局的大数据平台建设走在前列,自然也对此颇为警惕。

随着双十一、双十二的临近,国家邮政局迫切希望能找到一个满意的安全解决方案,避免公民权益、商业利益和国家利益遭受损失。

我们为其提供的安全解决方案,具体来说,包括两部分:

一、对大数据平台进行漏洞扫描和基线检测。

目前市面上的漏洞扫描和基线检测工具,都只适用于小规模数据检测,分析方法基于原有的数据库和特征库,对于尚未被描述成规则的攻击和威胁着无法识别。

国家邮政局的大数据平台采用Hadoop2.7.2版本,各个组件独立设计开发,根据不同的业务需求进行组合搭建,市面上的检测工具基本无效。

观数自主研发的BIGRADAR,是一款专门针对于大数据基础组建的安全检测工具,目前已覆盖40个Hadoop漏洞和144个基线检测项。

检测之后,我们及时修补了暴露漏洞,为其平台安全性做好了第一步。

二、部署大数据安全防护产品-BIGDAF。

现阶段国家邮政局对于大数据安全的需求很明显,就是想在不影响业务系统正常运行的前提下,为平台增加一套包含认证、授权、监控、审计的4A体系。


BIGDAF的部署环境

正在部署BIGDAF

它实现了彻底的三权分立,立法者(安全管理员)、执法者(系统管理员)、监督者(安全审计员)相互监督,拥有统一、完善的身份验证、权限管理、监控审计功能。

BIGDAF帮助用户引入了科学的数据权限管理体制。运维一套独立的ACL,即使ROOT用户也不能对BIGDAF的安全策略进行任何改动。

在身份验证上,可以设置基于时间、端口、用户的组合策略,实现边界管理。

在权限管理上,实现了RBAC、MAC、DAC等多种被国际公认的权限控制模型,控制的粒度除读、写、执行外还有重命名、新建目录、追加写等20多项。

在监控审计上,实现了对节点性能、任务、流量等的全面监控。可设置报警阈值;用户访问数据的行为随时可见,可对不同用户、不同角色对数据的使用情况进行查询、排序、分析等;

据统计,双11当天国家邮政局的物流大数据平台,共计有8亿条包裹信息。双12的数据量叫双11有所减少,但也有2.34亿条,比去年同期增长38%

在如此巨量的数据面前,我们的BIGDAF的性能与可用性经受住了考验。

既做到了防的准,也做到了对业务运转速度无损。在任何突发情况,也没有数据传输中断的情况发生,有效提升了Hadoop大数据平台的安全指数。

每一次创新,都让人很兴奋。当人们兴奋于那些肉眼可见的改变时,我们甘愿做那个幕后英雄,最后以一张小哥哥的背影镇楼,加油。