Modern Data Stack Radio

データパイプラインの品質というテーマで、レビュアーの体制不足・属人化にどう立ち向かえばいいかといった、レビュープロセスに焦点を当てて話しました。

デジタル庁のデータ基盤 sukuna、dbt mertricflow といった時事ネタに触れつつ、セルフサービスBIを実現するのに必要な要素について話しました。データを利用する人がデータ基盤に求めている機能や、メタ情報を整備する人をどう評価するかについて深掘りしています。

株式会社CARTA HOLDINGS の pei さんをお招きして、データモデリングする時にどんなことから考え始めているのか、データエンジニア・アナリティクスエンジニアをどう育成していくか等について話しました。

dbt meetup #5 を振り返りつつ、Count や Evidence といった Headless BI ツールについて話しました。

話題のAIに触れつつ、AIを活用するためのメタ情報をどうやって拡充していくか議論しました。

getdbt から発表された State of Analytics Engineering 2023 のデータを見つつ、dbt の利用状況、アナリティクスエンジニアのポジションについて話しました。 

dbt core と cloud  どちらを入れているか、チームサイズはどれくらいか、アナリティクスエンジニアリング組織の一番のハードルは何か、年収などについて触れています。

State of Analytics Engineering 2023 はこちら↓

www.get... more

SQLを書く・レビューする・書き換える際の難しさについて話しました。レビューのしやすいSQLを書く方法、クエリがシンプルになるようなモデリング方法、ドメインとコンテキストを踏まえたレイヤリング等を議論しています。

Treasure Data の  Hirose さんをお招きして、 Data Activation や Data Mesh といったトレンドを振り返り、 modern さとは何か、dbt はなぜ modern だと言えるのか等について話しました。

Analytics Engineer の専門性ついて話しました。

ソフトウェアエンジニアやプロダクトマネージャー等との比較や、専門性が発揮されるシーン等を挙げています。