データを取り込みたい
回答
本記事では、b→dashにデータを取り込む方法について紹介しています。b→dashへのデータ取り込みには、大きく分けて以下の2つの経路があります。
・連携システム(SFTP、Amazon S3、Sales Cloudなど)経由で取り込む
・ローカル環境からファイルをアップロードして取り込む
本記事ではどちらにも対応できるよう、データ取り込みを下記の流れで紹介しています。
1. 取り込むデータファイルを選択する(連携システム経由の場合のみ)
2. 取込設定を行う(両経路で共通)
3. 取込設定の編集を行う(必要に応じて)
取り込み後のステータスは、データファイル一覧画面に表示されるアイコンで把握できます。
[前提] b→dashに取り込めるデータの仕様
取り込み手順に進む前に、取り込み対象のデータファイルが下記のフォーマット仕様に準拠しているか確認しましょう。
# |
項目名 |
詳細 |
1 |
ファイルのネーミングルール | テーブル物理名_YYYYMMDDHHMMSS.拡張子 ※半角英数字小文字と「_(アンダースコア)」のみ利用可 ※ファイル名は他のファイルと半角英数字部分だけで判断できるようにネーミングする (例) order_list_YYYYMMDDHHMMSS.csv / order_detail_YYYYMMDDHHMMSS.csv のように1ファイルのみを抽出できるネーミングにしましょう |
2 |
文字列の扱い(ダブルクォーテーション) | 「,(コンマ)」や「(空白スペース)」などを文字列として扱いたい場合は「"(ダブルクォーテーション)」で対象文字を囲う必要があります |
3 |
文字列の扱い(カラム内改行) | カラム内で改行を行う場合は、カラム内改行した上で「"(ダブルクォーテーション)」で囲う必要があります 例) "サンプル1 サンプル2" |
4 |
文字列の扱い(エスケープ処理) | CSVファイルやTSVファイルといった、ファイルの形式に関わらず、エスケープ処理を実施する場合は「"(ダブルクォーテーション)」を使用してください(「\ (半角バックスラッシュ)」は使用不可) 「"」を文字として処理する場合の例: He said "This was a pen" → He said ""This was a pen"" |
5 |
ファイル内改行 | ファイル内の改行は「LF」または「CRLF」のいずれかに統一する |
6 |
文字コード | 「Shift-JIS」または「UTF-8」のいずれかに統一する(※ BOM付きUTF-8は使用不可) |
7 |
フッターレコード | フッター行はデータファイル中に記載しない |
取込設定時に選択できる文字コードは「Shift-JIS」と「UTF-8」の2種類ですが、取込めるデータファイルの文字コードはこの2種類のみではありません。
# |
選択した文字コード |
取込可能な文字コード |
1 |
Shift-JIS |
下記7種類: Shift_JIS / CP932 / MS932 / Windows-31J / windows-1252 / ISO-8859-9 / GB-18030 |
2 |
UTF-8 |
UTF-8のみ |
3 |
Shift-JIS、UTF-8のいずれか(共通仕様) |
下記4種類: US-ASCII / ISO-8859-1 / ASCII-8BIT / ASCII |
1. 取り込むデータファイルの選択方法
このセクションは連携システム経由(SFTP、Amazon S3、Sales Cloudなど)でデータを取り込む場合の手順です。
※ ローカル環境からファイルをアップロードした場合、この手順は不要です。「2. データファイルの取込方法」からご参照ください
1.「データパレット」をクリックし、「データを連携する」をクリックします
2. 取り込みたいファイルが含まれる「連携システム」をクリックします
3. 取り込みたいファイルを選択し、「取込」をクリックします
4. 取り込むファイルの名前を確認し、「適用」をクリックします
5. 取り込んだファイルがデータファイル一覧画面に表示されます
※ 連携システム内のファイルは一度取込むと、ファイル一覧から削除されます(基幹システム側にデータが残っていれば、連携システム内のファイルは削除されません)
2. データファイルの取込方法
選択したデータファイル(または、ローカル環境からアップロードしたデータファイル)をb→dashに「取込む方法」を説明します。
取込設定の操作手順
下記の手順1〜15で取込設定を行います。途中で参照する情報(エラー処理、更新方法など)については、各手順の直近に判断材料となる表を掲載しています。
1. 取り込みたい「データファイル」を選択します
2. 見出しとなる行である「ヘッダー行」を選択します
3. データが始まる行となる「データ開始行」を選択します
4.「カラム名」を任意の名前に変更します
5. 各カラムに対し、該当する「データ型」を選択します
※ カラム名はデータ加工/統合時にデータファイルに表示されるため、一目で何の値を指しているのか分かる名前を推奨
1つのデータファイルあたり取り込めるカラム数は1,000カラムまで(超える場合はファイルを分割)
データ型のアイコンと選定基準: テキスト型(文字、または文字と数字が混在/数字のみで集計しない) / 整数型(数字のみで集計利用) / 小数型(小数点を含む) / 日付型(年月日) / 日時型(年月日時分) / 真偽値型(0/1、True/False等)
6. エラーになった際の処理方法を「ファイルの取込を中止する」「エラーが含まれる行を削除する」「エラーとなったセルをNullに変換する」の3つから選択し、「適用」をクリックします
選択時の判断材料として、エラー種類(「データ型の不一致」「項目数の不一致」)ごとの挙動は下記の通りです。
処理方法 |
エラーの種類 |
取り込み処理 |
ファイルの取込を中止する |
データ型の不一致 |
処理がエラーとなり、取込を中止する |
項目数の不一致 |
||
エラーが含まれる行を削除する |
データ型の不一致 |
エラー行を削除(スキップ)して取込を続ける |
項目数の不一致 |
||
エラーとなったセルをNullに変換する |
データ型の不一致 |
エラー行の対象セルの値を「Null」に置換して、取込を続ける |
項目数の不一致 |
ファイルの項目数が多い場合: 処理がエラーとなる ファイルの項目数が少ない場合: 不足項目をNullで取り込む |
7.「主キー」に設定したいカラムを選択します
※ 主キーは選択しないことも、複数設定することも可能です
主キーは「顧客ID」「受注ID」のようにデータファイル内の各レコードで値が重複しないカラム(レコードを一意に特定できるカラム)を選択します
主キーに2つ以上のカラムを選択している場合、主キーに選択したカラムの「全ての値」が合致するレコードを重複として判定します
・主キーに設定するカラムは、値が整数などの数字であったとしても、必ずテキスト型に設定してください(例:「0001」を整数型にすると0が除去された「1」になる)
・「エラーとなった際の処理方法」を「Nullに変換」に設定している場合、主キーに「Null」が含まれていると取込エラーになります
・主キー設定している値に「空文字/NULL」が含まれていても、データの「取り込みエラー」は発生せず取り込めます。ただし複数カラムを主キーに設定していて「空文字/NULL」が含まれていた場合、連携ファイル内で最も上にあるレコードのみが取り込み対象となります
8.「個人情報」に値するカラムを選択します
※ 個人情報設定を行うと、データパレット/セグメント/BIの各アプリで該当カラムの値が「*******」と表示されるようになり、不要な個人情報の閲覧を防げます(マスキング表示)
ただし、データ集計時はマスキングしていない本来の値を利用するため、セグメントやレポート作成における集計結果には影響しません
個人情報の参照が不可であるユーザーでも、データの出力や加工などの編集権限を保持していれば、マスキングされているデータに対して出力や加工の操作は可能です
9. 更新設定の有無について「更新設定をする」「更新設定をしない」の2つから選択します
※「更新設定をする」を選択した場合、取込設定したファイル名に合致したファイルがアップロードされた際に、同一のデータファイルとして取り込まれます
「更新設定をしない」を選択した場合、ファイル名が合致しても別ファイルとして認識されます
10. 更新設定をする場合、更新方法を「取込済ファイルとの差分のみ更新」「取込済ファイルを削除し全て更新」から選択します
選択時の判断材料として、各更新方法の違いと、連携アプリケーション別の仕様は下記の通りです。
更新方法 |
挙動 |
| 取込済みのファイルを削除し全て更新(全件更新) | 更新時にデータファイル内のデータを削除し、連携した最新のデータを取り込みます 【活用例】レコード数0件のデータを取込み「空のデータファイルを作成」/ 特定レコードを削除したデータを取込み「特定レコードを削除」 |
| 取込済みファイルとの差分のみを更新(差分更新) | 既存データと連携するデータファイルとの差分が生じているレコードを更新します 【活用例】日次データなど別々のファイルに分けているデータを更新データとして利用 |
Sales CloudやShopifyなどでは「差分更新」と「全件更新」を選択できますが、一部のアプリケーションでは選択不可です。
アプリケーション名 |
更新方法 |
| Sansan | 「UpdatedAt」カラムを含む場合は差分更新、含まない場合は全件更新 |
| Spread Sheet | 全件更新となります |
| HRBC | 差分更新となります |
| Facebook広告 | 全件更新となります |
11. ファイルサイズが0byteの場合の処理を「エラーとする」「エラーとしない」から選択し、「次へ」をクリックします
※「エラーとする」を選択し、0byteのデータが連携された場合、取込処理が中止され、データファイルのステータスは『エラー』となります
「エラーとしない」を選択した場合、取込処理は正常に終了し、ステータスは『正常終了』となります
12. 更新時の追加取込対象となるファイルを指定し、「次へ」をクリックします
※ 取込対象ファイル名を複数設定した場合、すべての条件に該当する(AND条件)ファイルがデータ更新時の取込対象となります(OR条件ではないので注意)
13. 右上の「文字コード設定」をクリックし、文字コードを「Shift_JIS」「UTF-8」から選択します
14. [任意] 右上の「取込日時カラム」を「ON」に切り替え、「適用」をクリックします
15. 全ての取込設定を終えたら「保存」をクリックし、ファイルに任意の名前を入力して保存します
取込設定における重要な注意事項
上記の手順1〜15を実施する上で、特に注意すべき重要事項を以下にまとめます。
※ ただし「個人情報の参照」を「可」にすると、b→dashで「個人情報設定」をしている全データが閲覧可能になります
・「取込日時カラム」は一度「ON」にすると、取込設定の完了後に「OFF」にすることはできません
・データファイル名に設定できる文字数は最大255文字です
・取込設定でタイムアウトになる場合は、取込設定を何も設定せずに保存し、データファイルの取込設定を「編集」することで対応してください
[参考] 取込エラーが発生した場合の対応
取込エラーが発生した場合は、データファイル詳細画面からエラーの原因を確認し、解消することができます。詳しくは「『データが取り込まれない』原因を特定したい」をご参照ください。
ステータスが「取込完了」にならない場合は、何らかの設定が誤っていると考えられます。よくある設定誤りは下記の通りです。
・ファイルが取得できていない(ネットワーク障害、サーバーエラー)
・連携ファイルの項目数と取込先データの項目数が一致していない
・連携ファイルのデータ型と取込先データのデータ型が一致していない
・「日付型」「日時型」がb→dash指定のフォーマットに則していない
・「小数型」の桁数が11桁以上(小数点以下10桁以内に調整)
・連携ファイルの主キーと取込先データの主キーが一致していない
・「Shift-JIS」または「UTF-8」以外の文字コードのファイルを取り込もうとしている
・絵文字を取り込もうとしている(3バイト/4バイトUTF-8の絵文字以外は不可)
・機種依存文字を取り込もうとしている
・改行コードが「LF」と「CRLF」など混雑している
・「ヘッダー行のカラム数」と「レコード行のカラム数」が異なる
・1レコードのサイズ上限256KBを超えている
・文字列型(VARCHAR)で保持できる最大文字数を超えている
・ファイルが開けないなどエラーで読み取れない
・連携ファイル形式がb→dashでの取込に対応していない
・複数の「取り込み条件」に一致するファイル名となっている
・ファイルサイズが0byteのため取り込みがスキップされた
・unicode正規化が設定されている
取込可能なファイル形式: CSV(.csv)/TSV(.tsv)、圧縮方式: zip/gzip/tar.gz(1つの圧縮ファイルに1つのデータファイルのみ)
[参考] カラム数に差分が発生した場合の対応
取込設定済みのデータファイルで「指定したカラム数」と「連携されるカラム数」に差分が発生する場合があります。下記の概念図のように、カラム数の増減によって対応方法が異なります。
● カラム数が増加した場合
取込エラーが発生します。解消方法は「新規データファイルとして取り込む」「既存データファイルに取り込む」の2種類です。
「既存データファイルに取り込む」設定手順:
1. ステータスが「エラー」となっているデータファイルを選択します
2.「既存データファイルとして取り込む」を選択します
3. 追加カラムの「データ型」「カラム名」「個人情報」を設定します
4. 施策への利用状況を確認し、「次へ」をクリックします
5.「データファイル名」を入力し、「上書き保存」をクリックします
※ ヘッダー行を設定しているデータファイルのみ「既存データファイルとして取り込む」を選択可能
ヘッダー行を設定していない場合は「新規データファイルとして取り込む」「閉じる(取り込まない)」の2択
取込設定画面で新規追加されるカラムは「右側」に表示され、取込設定完了後はデータファイルの末尾に追加されます
「新規データファイルとして取り込む」の操作方法は、「2. データファイルの取込方法」と同じ手順で実施可能(既存データファイルの取込設定や後続処理には影響なし)
● カラム数が減少した場合 / カラム順が異なる場合
ヘッダー行の登録有無で挙動が異なります。
状況 |
ヘッダー行設定 |
挙動 |
| カラム数が減少 | 登録あり | 削除されていないカラムのみ連携(削除されたカラムはb→dash上では残り、値は全て「空文字」) |
| 登録なし | 取込エラーになる | |
| カラム順が異なる | 登録あり | 取込エラーは発生せず、b→dashに既に取込まれているデータファイルのカラム順で取込まれる |
| 登録なし | 連携されるデータのカラム順で連携(データ型のフォーマットに準拠すれば取込可、準拠しなければエラー) |
3. データファイルの取込設定の編集方法
「2. データファイルの取込方法」で設定した取込設定を、後から編集したい場合の手順を説明します。
1. 取込設定を「編集」したいデータファイルをクリックします
2.「取込設定」ボタン → 「編集」ボタンの順にクリックします
3. 編集したい項目のアイコン(カラム名/データ型/主キー/個人情報/定期更新/取込日時カラム/エラー処理/文字コードなど)をクリックし、編集を行います
4. 修正が終わったら、「完了」ボタンをクリックし、名前を付けて保存します
※ 各編集アイコンの内容は「2. データファイルの取込方法」の手順5〜14と同じ項目です。ローカルデータのみで利用可能な「ヘッダーの選択」「データ開始行の選択」アイコンは取込設定編集時は操作不可となります
・カラムの選択(取込むカラムの変更)
・データ型の設定の変更
・主キーの設定の変更/追加
・文字コードの変更
・取込日時カラムの「ON」への変更
・タイムゾーンの変更
[参考] タイムゾーンの変更方法
「日時型」カラムがあるデータファイルでは、タイムゾーンを変更することができます。
1.「取込設定」→「編集」をクリックします
2.「タイムゾーンのプルダウン」をクリックし、任意のタイムゾーンに変更します
3.「保存」をクリックし、ファイルに任意の名前を入力して保存します