山海鲸可视化

Apache Iceberg

山海鲸可视化,提供一站式数字孪生解决方案,致力于打造一款人人都会用的,零代码数字孪生工具。

简介

Apache Iceberg是一个开源的数据表格格式,旨在提供高性能、可伸缩性和数据湖管理功能。它最初由 Netflix 开发,现在是 Apache 软件基金会的一个顶级项目。

适用场景

Apache Iceberg 适用于管理大规模数据湖中的数据,包括结构化和非结构化数据。它提供了版本控制、分区、分桶和事务性操作等功能,有助于组织和管理复杂的数据湖。
优势:Iceberg 提供了强大的版本控制功能,使用户能够轻松管理和维护数据表格的不同版本。这有助于数据演化和数据质量控制。
缺点:虽然 Iceberg 兼容多个存储后端,但在某些情况下,用户可能需要根据所选择的后端进行一些配置和优化。

图例

  1. Apache Iceberg 的工作流程示意图。

image.png

  1. Apache Iceberg 的产品架构。

image.png

数字孪生大屏应用案例

目前,我们山海鲸可视化资源中心提供了丰富的数字孪生大屏案例,在网页上就可以快速体验大屏。

  1. 浙江省温州市瑞安市全面智慧防疫控制系统

image.png

  1. 智慧办公园区可视化

image.png

  1. 未来科技城可视化

image.png

相关数据源

Apache Solr
Apache Samza
Apache Phoenix
Apache Zeppelin

参考资料

  1. https://iceberg.apache.org/
  2. https://www.dremio.com/resources/guides/apache-iceberg-an-architectural-look-under-the-covers/
  3. https://infohub.delltechnologies.com/l/dell-ecs-data-lake-with-apache-iceberg/overview-2908