长沙黄花国际机场位列我国中部三省第一,也是我国集航班流、旅客流、行李流、货物流、地面交通流汇集的重要枢纽之一。
据中国民航局2016年全国机场生产统计公报显示:
黄花机场旅客吞吐量达2129万人次,同比增长13.8%,中部第一国内218个民用航空(颁证)机场列第13位;
货邮吞吐量130276.1吨,同比增长6.8%,全国第21位;
完成起降架次16.1910万次,同比增长9.5%,全国第18位。
随着各项业务的快速发展,机场在生产运营、旅客管理、安全管理等各个系统领域都产生了海量数据。
这些数据在存储、分析、安全等方面,对传统数据库是很大的挑战。
1.挑战来源于大数据的固有属性
机场大数据具有海量化、异构化、多源化、高速流转化特征。
据统计,长沙黄花国际机场平均每天都会有6000-7000万条的数据积累。
数据类型包含各类文本、视频、音频等结构化、半结构化与非结构化数据。
数据来源复杂,既有CRM消费者数据、航班、旅客信息、货运、ACMS结算等传统机场信息系统数据,也有语音呼叫记录、航显、离港、安检、泊位引导等机器和传感数据。
还有公共互联网数据。包括网上售票信息、网络舆情信息,以及携程、去哪儿等OTA网站、民航资源网等专业网站的数据。
2.挑战来源于复杂的数据环境
黄花国际机场各系统的技术体系和设备厂家不尽相同,这导致各系统的管理、分析等都没有一个统一的规范。
数据的孤岛性质限制来了分析的深度。
3.挑战来源于不可控的安全因素
IBM总裁兼CEO金妮·罗梅蒂说:“网络犯罪是对全球每家公司的最大威胁。”
根据今年六月份实施的《网络安全法》对于数据安全的规定,机场数据不仅关乎个人、企业,甚至涉及国家利益。机场是保护这些数据安全的第一责任人。
观数科技为黄花机场提供了一套大数据平台搭建方案,包含一套基于Hadoop的大数据平台,和一道BIGDAF大数据安全防火墙,统一归口、统一管理、统一分析。
这个方案的目标很明确:
一是保证安全,实现大数据各个核心组件的统一身份验证、权限管理、监控审计功能,确保数据在生命周期内的安全。
二是挖掘价值,帮助机场更高效的采集和利用各系统产生的海量数据,进而达到市场预测和智能化决策分析的目的。
1.BIGDAF如何保障机场数据安全
BIGDAF是国内第一款网关级大数据平台安全的解决方案,也是目前唯一受到公安部认证的大数据安全防护产品。
它实现了彻底的三权分立,立法者(安全管理员)、执法者(系统管理员)、监督者(安全审计员)相互监督,拥有统一、完善的身份验证、权限管理、监控审计功能。
BIGDAF帮助用户引入了科学的数据权限管理体制。运维一套独立的ACL,相关的安全策略不依赖于系统本身,即使ROOT用户也不能对BIG DAF的安全策略进行任何改动。
在身份验证上,采取除用户名、密码外的多因子认证,可以与用户自有的身份验证体系无缝兼容。可以设置基于时间、端口、用户的组合策略,实现边界管理。
在权限管理上,实现了RBAC、MAC、DAC等多种被国际公认的权限控制模型,控制的粒度除读、写、执行外还有重命名、新建目录、追加写等20多项。
在监控审计上,实现了对节点性能、任务、流量等的全面监控。可设置报警阈值;用户访问数据的行为随时可见,可对不同用户、不同角色对数据的使用情况进行查询、排序、分析等;非法访问、网络攻击、系统错误、性能告警、登录、运维、ACL修改等,支持远程日志导出,本地日志空间可配置。
2.应该从哪些方面着手挖掘数据价值
马云说,数据像煤和石油一样,是未来的新能源。
对于枢纽机场而言,数据可以辅助客户群体细分,为每个群体量定制特别的服务;
可以模拟现实环境,发掘新的需求同时提高投资的回报率;
可以加强部门联系,提高整条管理链条和产业链条的效率;
可以降低服务成本,发现隐藏线索进行产品和服务的创新。
数据不会平白无故的产生价值,要想达到以上目标,就必须综合着力于数据生命周期的各个阶段。比如:
海量数据存储,弹性扩展;4800TB集群容量;海量数据处理,10倍性能提升;100+数据节点。
海量数据检索;万亿数据秒级查询(模拟测试);非结构化数据存储;多数据类型存储结构;
30亿数据秒级响应;分布式海量数据分析;SQL分析简单易于操作。
在大数据时代,建立一套既能满足内部管理需求、又能与国际安全管理模式同步的大数据平台显得尤为重要。
我们为你保障安全,你只需要从数据中享受价值就好。