Create data lineage from Trino/Hive queries in digdag log with Python
What’s data lineage? Data lineage is something to describe “Where this data comes from and where it goes?” I learned this term in my previous job. They provided “Cloudera …
Aki Ariga
Staff Software Engineer
AI Product Engineer. Interested in Machine Learning, MLOps, and Data driven business. If you like my blog post, I’m glad if you can buy me a tea 😉
sqllineage を使って digdag のログから Treasure Data のクエリのリネージを作ってみた
データリネージとは、DBなどでどのデータがどこから来てどこに行った、という「来歴」とも呼ばれる情報です。
3 configs add recommend articles into your Hugo blog by GitHub Actions
Hugo has a feature to show keyword based related articles. Yeah, keyword based articles might be useful, for people who can manage keyword, category, etc, constantly. I’d love to …
3ファイル追加してGitHub ActionsでHugoにレコメンド記事を表示する
prelimsとGitHub Actionsを使うことで、Hugoの自分の記事にレコメンド記事を表示できるようになります
2021年を振り返って
去年に引き続き、年末の振り返りです。まだ西海岸時間は2021年です。 なにより、家族でバンクーバーに移住したのが大きな変化でした。 仕事 去年とチームは変わらず、場所だけが変わってコツコツと働いています。 ただ、組織改編等もあり蓋を開けてみれば元々の東京のメンバー＋西海岸タイムゾーンに一人という状況になったので、だいぶ働き方は変わりました。 結果としてスピー …
バンクーバーに移住して8か月が経った
この記事はpyspa Advent Calender 2021の18日目です。昨日は@golden_luckyのリンゴの話でした。 今年も早いもので12月になってしまいました。