Create data lineage from Trino/Hive queries in digdag log with Python
What’s data lineage? Data lineage is something to describe “Where this data comes from and where it goes?” I learned this term in my previous job. They provided “Cloudera …
sqllineage を使って digdag のログから Treasure Data のクエリのリネージを作ってみた
データリネージとは、DBなどでどのデータがどこから来てどこに行った、という「来歴」とも呼ばれる情報です。
cookiecutter-digdag
A template generates digdag workflows for SQL and Python