Google Cloudのデータを取り込みたい
回答
本記事では、Google Cloud Storage(GCS)のデータをb→dashに取り込む方法について紹介しています。
GCS連携には下記の2つのパターンがあり、それぞれで設定方法が異なります。下記の俯瞰図に沿って、貴社の環境に合ったパターンを選択してください。
1. b→dashのGCSにデータを置くパターン: 貴社の中間サーバーからb→dashのGCSにデータを転送する方式
2. 貴社のGCSにデータを置くパターン: 貴社のGCSにデータを置き、b→dashから取得しに行く方式
1. b→dashのGCSにデータを置くパターン
b→dashの領域にあるGCSにデータを置き、b→dashの中間サーバーから取得する方式です。前提作業として、b→dashに連携したいデータを基幹システムから抽出し、GCSへ転送する必要があります(抽出/転送方法は環境によって異なります)。
設定方法
1.「データパレット」>「データを連携」をクリックし、右上の「新規追加」をクリックします
2.「GCS」を選択し、「適用」をクリックします
3.「b→dashのGCSにデータを置く」を選択し、「次へ」をクリックします
4.「接続情報」(バケット名/クレデンシャル)を中間サーバーに登録します
5. [任意]「パスワード付きファイルのパスワード」を入力し、「次へ」をクリックします
6. 連携頻度と時間を設定し、「追加」を選択して「次へ」をクリックします
7. 名前を入力し、「保存」をクリックします
※ 複数のデータファイルにパスワードをつける場合は、全てのデータファイルに同じパスワードをつける必要があります
※ サーバーを制限するためにb→dashのIPアドレスのみ接続できるよう設定したい場合は「取込/出力で設定するIPアドレスを知りたい」をご参照ください
一度連携タイミングを設定した後、連携システムのデータの連携タイミングを変更したい場合は、下記の手順で変更できます。
1.「データを連携」をクリックします
2. データの連携タイミングを変更したい「連携システム」を選択します
3.「次へ」をクリックします
4. データの連携タイミングを追加し、「次へ」をクリックします
5. 名前を入力し、「保存」をクリックします
検証方法
1. 設定した「連携タイミング」の時間になると、b→dashの領域のGCSに対してファイルを取得する処理が実施されます
2. 連携のステータスを確認します(ステータスはアイコンで把握可能)
3. ステータスが「接続完了」になった連携設定をクリックします
4. 連携されているデータを確認し、「取込設定」を行うことができます
※ b→dashのGCSに連携したデータファイルは、b→dashに取込んだとしても、b→dashの中間サーバーからは削除されません。連携したデータファイルを削除したい場合は、貴社カスタマーサクセス担当までお問い合わせください
考えられる原因 |
改善策 |
| 連携対象のファイル形式がb→dashで取込可能な形式とは異なる | 取込可能なファイル形式は「CSV(.csv)」「TSV(.tsv)」、圧縮形式は「zip」「tar.gz」です。パスワード付きファイルも対応可能 |
| ファイルに拡張子がついていない | 必ず拡張子(.csvまたは.tsv)のついたファイルを連携してください |
| 配置先バケット名が誤っている | 「データパレット」>「データを連携」から連携システムの設定を確認 |
| クレデンシャルが一致していない | 接続情報のクレデンシャル部分を再確認 |
| データ転送よりもb→dashでの取込処理が先に実行されている | 転送タイミングから30分以上間隔を空けることを推奨 |
| 取込みがまだ実施されていない | 次回連携タイミング以降でご確認ください |
2. 貴社のGCSにデータを置くパターン
貴社の領域にあるGCSにデータを置き、b→dashから取得しに行く方式です。前提作業として、b→dashに連携したいデータを基幹システムから抽出し、貴社のGCSへ転送する必要があります。
設定方法
1.「データパレット」>「データを連携」をクリックし、右上の「新規追加」をクリックします
2.「GCS」を選択し、「適用」をクリックします
3.「貴社のGCSにデータを置く」を選択し、「次へ」をクリックします
4. GCS連携に必要な「接続情報」(バケット名/フォルダパス/クレデンシャル)を入力します
5. [任意]「パスワード付きファイルのパスワード」を入力し、「次へ」をクリックします
6. 連携頻度と時間を設定し、「追加」を選択して「次へ」をクリックします
7. 名前を入力し、「保存」をクリックします
※ 複数のデータファイルにパスワードをつける場合は、全てのデータファイルに同じパスワードをつける必要があります
※ サーバーを制限するためにb→dashのIPアドレスのみ接続できるよう設定したい場合は「取込/出力で設定するIPアドレスを知りたい」をご参照ください
「バケット名」「フォルダパス」の確認方法
1. 左上の「ナビゲーションメニュー」をクリックし、「Cloud Storage」を選択します
2. b→dashに連携したい「バケット」の名前をクリックし、表示されているバケット名をコピーします
3. バケットの中から、連携対象となるフォルダの名前をコピーします(これが「フォルダパス」)
4. フォルダをクリックした際に表示されるファイルがb→dashに連携されます
「クレデンシャル」の確認方法
1.「Google Cloud Storage」にアクセスし、「IAMと管理」>「サービスアカウント」>「サービスアカウントを作成」をクリックします
2.「サービスアカウント名」に任意の名前を入力します
3.「ロールを選択」>「閲覧者」>「完了」をクリックします
4. 作成された「メール」>「キー」>「鍵を追加」>「新しい鍵を作成」をクリックします
5.「JSON」を選択し、「作成」をクリックします
6. ファイル保存画面で「保存」をクリックし、保存したファイルを開くと「クレデンシャル」が記載されています(「{」から「}」までの全てがクレデンシャル)
検証方法
1. 設定した「連携タイミング」の時間になると、貴社のGCSに対してファイルを取得する処理が実施されます
2. 連携のステータスを確認します(ステータスはアイコンで把握可能)
3. ステータスが「接続完了」になった連携設定をクリックします
4. 連携されているデータを確認し、「取込設定」を行うことができます
※ 取込設定の詳細については「データを取り込みたい」をご参照ください
考えられる原因 |
改善策 |
| ファイル形式がb→dashでの取込に対応していない | 取込可能なファイル形式は「CSV(.csv)」「TSV(.tsv)」、圧縮形式は「zip」「gzip」「tar.gz」 |
| ファイルに拡張子がついていない | 必ず拡張子(.csvまたは.tsv)のついたファイルを連携してください |
| 連携先バケット名が誤っている | 接続情報のバケット名部分を確認・修正 |
| クレデンシャルが一致していない | 接続情報のクレデンシャル部分を確認・修正 |
| 連携タイミングでファイルが作成されていない | b→dashのファイル参照時間を確認 |
| 取込みがまだ実施されていない | 設定した連携タイミングを確認 |
GCS連携における重要な注意事項
連携されたデータをb→dashに取り込み設定をすれば、ファイル内の全レコードが読み込まれます。