電通デジタルでバックエンド開発をしている松田です。弊社ではデータパイプラインの構築や管理のために主にApache Airflowを利用しています[1, 2]。 本記事では、AirflowのOperatorを使ってタスク実行環境を分離する方法についてご紹介します。 タスク実行環境を ...

Apache AirflowはPythonで作成されており、ワークフロー（DAG、後述）もPythonによって定義されます。 ワークフローは依存関係の定義が可能なため、複雑なデータ統合処理をシンプルに単一のプログラミング言語で記述できます。

DX（デジタルトランスフォーメーション）を推進するうえで、データを効率よく扱うためのデータ統合は欠かせません ...

米Amazon Web Servicesは、Apache Airflow向けManaged Workflowsの一般提供を、11月24日（現地時間）に開始した。 Apache Airflowは、ユーザーがワークフローを作成、スケジュール、監視する際に役立つオープンソースのツールで、Managed Workflowsはデータエンジニアがクラウド ...

「AMPPS」は、Apache/MySQL/PHP/Perl/Pythonおよびそれらを利用したWebアプリケーションを手軽にインストールできるソフト。Windows XP ...