在数字经济时代,应用程序在不断地产生并储存大量数据,而这些数据却无法及时被其他程序使用,导致“数据孤岛”产生。数据湖的诞生,解决了“数据孤岛”的问题,帮助企业打破不同业务领域之间的壁垒,真正做到数据和业务的融会贯通,使企业获得更强的数据使用能力,提升企业综合决策能力。
企业愈发重视数据的价值,应该以何种方式处理和存储数据呢?如果每一个数据应用都单独进行数据的采集、传输或者存储,而这些数据并不能被其他应用程序使用,容易产生数据孤岛的问题,纠结于数据从哪来、数据如何访问等重复枯燥的问题。
企业迫切需要一个通用且灵活的数据平台,以减少不同数据应用中的重复数据处理过程,让不同的数据应用更专注于业务相关需求的实现。
不仅能存储传统类型数据,也包括任意其他类型数据,并且能在它们基础上做进一步的处理与分析,以充分挖掘数据价值。
月亮巴巴充分利用云原生服务,部署高可用的数据湖平台,提供诸如数据采集、数据预处理、数据存储、数据管理、数据转换和分析、查询搜索以及可视化等等功能。在此平台基础之上,支持用户选择多种开源的计算、处理、管理技术来扩展数据湖平台能力,为企业构建完整的数据湖架构体系。
支持批量数据和流式数据,两种数据类型融合处理入湖;
良好的数据安全机制,数据的传输和存储都是加密的,配合网络和权限安全策略,防止数据泄露,保障数据安全;
从采集点流入数据湖,捕获元数据并根据其生命周期中的数据敏感度从数据可追溯性、数据全生命周期等方面进行管理;
支持Spark,Flink,Kafka,
Flume,Hbase,Hive等开源技术;
模块化混合技术架构设计,根据业务量弹性调整性能和容量。