Digdag

Create data lineage from Trino/Hive queries in digdag log with Python featured image

Create data lineage from Trino/Hive queries in digdag log with Python

What’s data lineage? Data lineage is something to describe “Where this data comes from and where it goes?” I learned this term in my previous job. They provided “Cloudera …

avatar
Aki Ariga
Read more
sqllineage を使って digdag のログから Treasure Data のクエリのリネージを作ってみた featured image

sqllineage を使って digdag のログから Treasure Data のクエリのリネージを作ってみた

データリネージとは、DBなどでどのデータがどこから来てどこに行った、という「来歴」とも呼ばれる情報です。

avatar
Aki Ariga
Read more

digdaglog2sql

Extract SQLs from digdag log to visualize SQL lineage

avatar
Aki Ariga
Read more

cookiecutter-digdag

A template generates digdag workflows for SQL and Python

avatar
Aki Ariga
Read more

tdworkflow

Unofficial Treasure Workflow Client

avatar
Aki Ariga
Read more