山海鲸可视化

Apache Airflow

山海鲸可视化,提供一站式数字孪生解决方案,致力于打造一款人人都会用的,零代码数字孪生工具。

简介

Apache Airflow是一个用 Python 编写的开源工作流管理系统,用于将复杂的数据处理任务分解为简单的任务,并以可靠的方式执行它们。它最初由 Airbnb 公司开发,并于 2015 年贡献给 Apache 软件基金会成为一个开源项目。
image.png

适用场景

Apache Airflow 可以定义和调度处理数据的 ETL(Extract-Transform-Load)工作流程,使数据流水线能够自动化和可重复。也可以自动化机器学习模型的训练、评估和部署流程,帮助实现端到端的机器学习工作流程。还可以定义和调度各种类型的任务,例如定期发送电子邮件或备份数据库等。
优势:Apache Airflow 提供了一个灵活的编程模型,可用于定义任何类型的工作流程,并且可以轻松地添加新的任务和操作符。提供了一个可视化的 UI,可以帮助用户理解和监控整个工作流程的状态。
缺点:Apache Airflow 需要在集群环境中部署,这可能需要一些复杂的配置和设置。

图例

  1. Apache Airflow 连接数据库界面。

image.png

  1. Apache Airflow 的 DAG 列表页面。

image.png

数字孪生大屏应用案例

目前,我们山海鲸可视化资源中心提供了丰富的数字孪生大屏案例,在网页上就可以快速体验大屏。

  1. 智慧工业化养殖系统数据大屏

图片(153).png

  1. 网络信息链路拓扑监控

图片 (32).png

  1. 智慧看守所可视化

图片 (132).png

相关数据源

Apache Solr
Apache Druid
Apache Calcite
Apache Cassandra

参考资料

  1. https://airflow.apache.org/docs/apache-airflow/stable/ui.html
  2. https://devpress.csdn.net/bigdata/62f96b5ec6770329307fe5be.html
  3. https://www.isolves.com/it/wlyx/fwq/2020-07-22/24895.html