テーブル定義が変更された場合の後続データへの反映処理について知りたい
回答
目次
テーブル定義が変更された場合の後続データへの反映処理
前提として、インプットデータのテーブル定義(※)を変更した際の、後続データへの”反映処理”は、以下の2つに分けられます。
※テーブル定義とは、「データ型」や「カラム」といったデータに含まれている情報のことです
詳細は、システム用語集の「テーブル定義」をご参照ください。
・・・テーブル定義の変更が行われた際に、後続のデータファイルへ変更を反映する処理のことです。
詳細は、b→dash用語集の「後続反映処理」をご参照ください。
b. 加工/統合処理
・・・後続反映処理で変更されたテーブル定義をもとに、データを最新化するために実行する処理のことです。
詳細は、b→dash用語集の「加工/統合処理」をご参照ください。
処理の順序
「後続反映処理」と「加工/統合処理」の順序について、[データファイル A][データファイル B]をインプットとして、[データファイルC]や[データファイルD]を作成している場合を例に説明します。
仮に、[データファイル A]のテーブル定義が変更された場合、[データファイルC]において「② 後続反映処理→ ③ 統合処理」の順で処理が実行されます。
その後、[データファイルD]にて「④ 後続反映処理 → ⑤ 加工処理」の順で処理が実行されます。
後続データファイルの操作制御
インプットデータファイルのテーブル定義が変更された場合に、後続データのデータファイル詳細画面を開くと、以下のいずれかのモーダルが表示され、後続データの操作が制御されます。
※ 詳細画面を表示したデータファイルが、”参照データファイル”の場合は左図のモーダル、”参照データファイル以外”の場合は右図のモーダルが表示されます。
後続データで制御される具体的な操作については、下記の表をご参照ください。
【後続データで制御される具体的な操作】
| # | データファイルの種類 | 制御される操作 |
| 1 | 加工データファイル | ・加工タスクの追加/編集/削除 |
| 2 | SQLで加工したデータファイル |
・SQLを追加/編集
・個人情報カラムの設定 ・統合タイミングの設定 |
| 3 | テンプレートで作成した統合データファイル |
・統合対象の選択
・個人情報カラムの設定 ・統合タイミングの設定 |
| 4 | カスタマイズで作成した統合データファイル |
・データフローの設定
・統合タイミングの設定 |
参考：2024年9月19日リリース以前の仕様について
2024年9月19日のリリースによって、テーブル定義が変更された場合の処理の挙動が変更され、「1．テーブル定義が変更された場合の後続データへの反映処理」に記載の仕様になりました。
リリース以前の仕様については、以下をご参照ください。
リリース前に発生していた課題
以下のようなデータファイルの依存関係であった場合に、本来であれば[データファイル C] → [データファイル D]の順番で加工/統合処理が行われるべきですが、[データファイル D] → [データファイル C]の順番で処理が行われてしまい、エラーが発生するという事象が発生していました。
発生していた課題の詳細
上記の依存関係において、[データファイル A]のテーブル定義が変更されると、次の順番で後続反映処理が行われていました。
【後続反映処理の順番】
[データファイル C] → [データファイル D]
その後、次の順番で加工処理と統合処理が行われると、
統合処理が行われる前の[データファイル C]のデータを参照して[データファイル D]の加工処理が行われるため、
データの不整合が発生してしまい、[データファイル D]にエラーが発生していました。
【加工処理と統合処理の順番】
[データファイル D] → [データファイル C]
またエラーが発生した場合、画面上でエラー内容を確認する手段がなく、弊社に問い合わせる必要がありました。
リリース前の仕様
処理の順序について
リリース前までは、インプットデータのテーブル定義が変更されると、各後続データファイルの反映処理が実施後、加工/統合処理が各後続データファイルにて実施されていました。
例えば、以下画像の場合、[データファイル D]の後続反映処理の実施後、[データファイル C]と[データファイル D]の加工/統合処理が行われていました。
後続データの操作制御について
リリース前までは、インプットデータで変更されたテーブル定義が後続のデータファイルに反映されていない状態でも、後続のデータファイルを編集することができました。