数据湖是基于数据底座(大数据平台)上的一套数据存储。数据湖允许数据不按标准进行存储,对数据的类型和格式没有太多要求。

存储包括,iot数据,实时,离线,时序数据,结构化和非结构都可以存储。但是在数据湖里面怎么去做模型和分区。

数据湖主要分为:Raw Data Zone,Cleansed Temp Zone, Curated Data Zone, Analytics Sandbox

这四层:

Raw Data :原始数据无法改变,并且每次写入后的历史数据也会被留下来,用于后期处理。Raw Data区能够支持streaming, batch, one-time,full load,invremental渐进式数据。

Transient Temp :Cleansed 主要存储没有被验证的数据,无法使用,可以通过处理,清洗继续回到RAW 里面使用,比如车联网的信号数据,没有经过解析。

Curated:这一层主要是对数据进行清洗和清理,比如缺失值,数据标准统一,数据清洗转换,json解析等。

Analytics Sandbox :这一层是分析层,主要工作是数据科学和数据探索工作,在这个区域有着最少的管理程度。但是有价值的工作也可以从分析沙盒推广到策划数据区或数据仓库。

还有sensitive(安全区)

和laboratory(数据科学区)

【数据湖架构】在 Azure Data Lake Storage (ADLS)二代上构建数据湖 - 知乎

更多推荐