Amazon S3へデータを出力したい
回答
本記事では、b→dashからAmazon S3へデータを出力する方法について紹介しています。
S3連携でデータを出力するには下記の2つのパターンがあり、それぞれで設定方法が異なります。下記の俯瞰図と概要を参考に、貴社の環境に合ったパターンを選択してください。
1. S3を貴社の領域に置き、貴社サーバーがデータを取りに行くパターン: 貴社が用意したS3バケットへb→dashがデータを出力し、貴社サーバーが取得する方式
2. S3をb→dashの領域に置き、貴社サーバーがデータを取りに行くパターン: b→dash側で用意したS3バケットへb→dashがデータを出力し、貴社サーバーが取得する方式
各パターンの詳細な設定手順は、以下をご参照ください。
1. S3を貴社の領域に置き、貴社サーバーがデータを取りに行くパターン
貴社が用意したS3バケットへb→dashがデータを出力し、貴社サーバーが取得する方式です。S3に接続できるサーバーを限定したい場合は、貴社のシステムにてアクセスできるIPアドレスの制限を設定してください。b→dashで利用しているIPアドレスについては、「取込/出力で設定するIPアドレスを知りたい」をご参照ください。
出力先を設定する
1.「データパレット」>「データを連携」>「出力先」をクリックします
2.「新規追加」をクリックします
3.「S3」を選択し、「適用」をクリックします
4.「S3を貴社の領域に置き貴社サーバーがデータを取りに行く」をクリックします
5. S3連携に必要な「接続情報」(AWSアクセスキー / AWSシークレットアクセスキー / バケット名 / フォルダパス / リージョン)を入力します
6.「名前」を入力し、「保存」をクリックします
7. 新規作成した連携が画面に表示されたら、ステータスを確認します
※ 連携のステータスは、画面に表示されるアイコンで把握することができます
各ステータスアイコンの意味は、下記のステータス一覧画像をご参照ください
「AWSアクセスキー」「AWSシークレットアクセスキー」の確認方法
1.「AWS」にアクセスします
2. サービスメニュー一覧から「IAM」をクリックします
3. サイドメニューの「ユーザー」>「ユーザーを追加」をクリックします
4.「ユーザー名」を入力し「プログラムによるアクセス」にチェックを付けて「次のステップ」をクリックします
5.「ユーザーをグループに追加」をクリックして「グループ」欄にチェックを入れ、「次のステップ:タグ」>「次のステップ:確認」>「ユーザーの作成」の順にクリックします
6.「アクセスキーID(AWSアクセスキー)」と「シークレットアクセスキー」が表示されます
「バケット名」「フォルダパス」「リージョン」の確認方法
1. サービスメニューから「S3」を選択し、「AWSリージョン(リージョン)」を確認します
2. 表示された「バケット名」をクリックすると、配下の「フォルダパス」が表示されます
ステータスが「接続完了」にならない場合、設定に誤りがある可能性があります。下記の表に該当しないかをご確認ください。
考えられる原因 |
改善策 |
| AWSアクセスキーとAWSシークレットアクセスキーが間違っている | 「データパレット」>「データを連携」>「出力先」を開き、対象S3エリアをクリックして「編集」を選択し、入力されているAWSアクセスキー/AWSシークレットアクセスキーが出力したいS3接続先のものになっているか確認します |
| S3出力先設定にて入力している接続先情報(バケット名・フォルダパス・リージョン)が間違っている | 同じく出力先設定の編集画面から、入力されている接続先情報が出力したいS3のものになっているか確認します |
| ファイル出力設定が完了していない | 対象S3エリア内に「ファイルアイコン」があるかを確認します。アイコンがない場合は、後述の「出力するファイルを設定する」手順を実施してください |
| ファイル出力設定の連携タイミングにズレがある | 対象S3エリア内のファイルアイコンをダブルクリックし、出力タイミング設定が想定通りか確認します |
出力するファイルを設定する
S3連携の設定が完了したら、出力するファイルを設定します。
1.「データパレット」>「データを確認」をクリックします
2. 出力したい「データ」をクリックします
3.「データ出力」>「外部システム出力」をクリックします
4. 先ほど作成した「連携先システム」を選択し、「適用」をクリックします
5.「出力する列」を指定します
6.「出力タイミング」を「単発」「繰り返し」のどちらかに設定します(繰り返しの場合、連携頻度と時間を設定して「追加」をクリック)
7. 出力時の「ファイル名」「ファイル形式」「文字コード」を選択します
8. 任意で「ヘッダーも出力する」「個人情報をマスキングする」「タイムスタンプをつける」にチェックを入れ、「適用」をクリックします
9. 出力設定したデータが画面に表示されます
※「データファイル更新時に出力する」にチェックを入れると、ファイルが更新されるごとにデータが出力されます
時間指定と併用することも、時間指定なしで「データファイル更新時に出力する」のみチェックを入れることも可能です
※「個人情報をマスキングする」にチェックを入れた場合、個人情報のカラムは「*(アスタリスク)」で表示されます
どのカラムを個人情報カラムに設定するかはデータ取込時に設定します。詳しくは「データを取り込みたい」をご参照ください
※「タイムスタンプをつける」にチェックを入れると、出力時のファイル名の末尾に『年月日時分秒』が自動で付与されます(出力ファイル名のプレビューで確認可能)
2. S3をb→dashの領域に置き、貴社サーバーがデータを取りに行くパターン
b→dash側で用意したS3バケットへb→dashがデータを出力し、貴社サーバーが取得する方式です。b→dashの領域にS3を置く場合、アクセスできるIPアドレスをS3側で制限し、S3に接続できるサーバーを限定するため、貴社システム側でIPアドレス制限を設定する必要はありません。
出力先を設定する
1.「データパレット」>「データを連携」>「出力先」をクリックします
2.「新規追加」をクリックします
3.「S3」を選択し、「適用」をクリックします
4.「S3をb→dashの領域に置き貴社サーバーがデータを取りに行く」をクリックします
5. 表示された「接続情報」(AWSアクセスキー / AWSシークレットアクセスキー / バケット名 / フォルダパス / ユーザー名)を中間サーバーに登録します
6.「名前」を入力し、「保存」をクリックします
7. 新規作成した連携が画面に表示されたら、ステータスを確認します
※ 連携のステータスは、画面に表示されるアイコンで把握することができます
各ステータスアイコンの意味は、下記のステータス一覧画像をご参照ください
ステータスが「接続完了」にならない場合、設定に誤りがある可能性があります。下記の表に該当しないかをご確認ください。
考えられる原因 |
改善策 |
| AWSアクセスキーおよびAWSシークレットアクセスキーが一致していない | 「データパレット」>「データを出力する」へ移動し、対象S3エリア右上の三点リーダボタンから「出力設定」>「編集」をクリック。「出力システム登録」から表示される接続情報のうち、b→dashに表示されているAWSアクセスキー/AWSシークレットアクセスキーと、貴社で利用中の接続情報が一致しているかを確認します |
| S3出力ファイル取得時のバケット名・フォルダパス・ユーザー名が誤っている | 同じく出力設定の編集画面から、表示されているバケット名・フォルダパス・ユーザー名が出力したいS3のものになっているかを確認します |
| 参照が許可されていないバケットへアクセスしようとしている | 参照が許可されているのは、s3://bdash2-preparation-pub-prd/[S3接続情報のフォルダパス記載の情報]/ 配下のみです。出力設定の編集画面で、フォルダパスを確認します |
| 出力したいデータの出力設定が完了していない | 「データパレット」>「データを出力する」へ移動し、対象S3エリアをクリック後、「+」ボタンから出力したいデータを選択して出力設定を実施します |
| 設定しているファイルの出力タイミングが想定と異なっている | 「データパレット」>「データを出力する」>対象S3エリア>出力対象のデータをクリックし、出力時間を確認します。連携タイミングが「データ更新時」となっている場合は、出力対象ファイルの更新時間もあわせて確認します |
出力するファイルを設定する
S3連携の設定が完了したら、出力するファイルを設定します。基本的な手順は「1. S3を貴社の領域に置き、貴社サーバーがデータを取りに行くパターン」の「出力するファイルを設定する」と同じです。
1.「データパレット」>「データを確認」をクリックします
2. 出力したい「データ」をクリックします
3.「データ出力」>「外部システム出力」をクリックします
4. 先ほど作成した「連携先システム」を選択し、「適用」をクリックします
5.「出力する列」を指定します
6.「出力タイミング」を「単発」「繰り返し」のどちらかに設定します(繰り返しの場合、連携頻度と時間を設定して「追加」をクリック)
7. 出力時の「ファイル名」「ファイル形式」「文字コード」を選択します
8. 任意で「ヘッダーも出力する」「個人情報をマスキングする」「タイムスタンプをつける」にチェックを入れ、「適用」をクリックします
