AWS SAP対策用に、学んだことをまとめます
2022/05/15 合格しました!
- ADS
- ALB
- Amazon DLM(Data Lifecycle Manager)
- Aurora
- API Gateway
- AppSync
- Batch
- CloudFormation
- Config
- Cognito
- Control Tower
- DocumentDB
- Direct Connect + VPN
- DMS
- DynamoDB
- EC2
- ECS
- EMR(Elastic MapReduce)
- Elastic Transcorder
- ELB
- EBS
- Evnet Bridge
- GuradDuty
- Kinesis
- KMS
- Lambda
- MSK
- NAT Gateway
- Network Firewall
- Organizations
- Private Link
- OpsWorks
- RDS
- Rekognition
- Route53
- SMS(Server Migration Service)
- SNS
- Site-to-Site VPN
- Service Catalog
- S3
- Snowball Edge
- Storage Gateway
- SWF
- Session Manager
- TransitGateway
- VPC
- 外部認証
- 仮想プライベートゲートウェイと仮想インタフェースは異なる
- 用語
ADS
収集できるデータとは
収集ソフトウェア
application discovery service discovery connector:VMware vCenter用
Application Discovery Agent:オンプレミスサーバとVMにインストールする
ALB
マルチリージョンの設定は不可能。
Route53とかで分配すること
Amazon DLM(Data Lifecycle Manager)
EBSのスナップショットのスケジューリングと世代管理が可能
Aurora
MySQL および PostgreSQL との完全な互換性
Aurora Serverless のData API
Aurora Serverlessのエンドポイント。
コネクション数を気にしなくてよいが、制限あり
- レスポンスサイズの上限は1MiB
- 1秒当たりの最大リクエスト数は1000
Global Database
Auroraデータベースをマルチリージョンで運用できる
RPOが5秒、RTOが1分のDBクラスタを構築
タイムラグは1秒未満!すごい!
参考:AWS リージョン間での Amazon Aurora MySQL DB クラスターのレプリケーション
Auto Scaling
リードレプリカの数をAuto Scalingできる
自動的にレプリカの追加・削除が可能
API Gateway
キャッシュ
ステージに対してキャッシュを有効にすると、デフォルトではGETメソッドのみが有効
オーバーライドするメソッドの設定により、他のメソッドのキャッシュも有効にできる
AppSync
GraphQL APIの開発が可能
特徴
リアルタイムのデータアクセスと更新
オフラインでのデータ同期
アプリ内でのデータのクエリ、フィルタリング、および検索
キャッシング
エンタープライズセキュリティと、きめ細かなアクセスコントロール
カスタムドメイン名
Batch
フルマネージド型バッチ処理
特徴
フルマネージド
コスト最適化
優先度設定が可能
依存関係のジョブ実行可能
モニタリング可能
CloudFormation
deletionpolicy
削除:デフォルト設定
Retain:スタック削除の際に、リソースを削除しない
Snapshot:削除前にスナップショットを作成してくれる
スタックセット
管理アカウントにスタックセットを作成し、アカウント・組織・アカウントのリストを対象にしてデプロイ可能
Config
リソースの設定が最適か評価する
リソースの設定のスナップショットを取得する
設定履歴を取得する
リソースの作成・変更・削除時に通知を受け取る
リソース間の関係を表示する
監視できる項目一覧
マネージドルール
膨大にあるが、基本的にはAWS リソースが一般的なベストプラクティスに準拠しているかどうかを評価してくれる模様
ニーズに合わせてカスタマイズも可能
Cognito
IDプールとは
ユーザープールとは
Control Tower
必須のガードレール
強く推奨されるガードレール
DocumentDB
Direct Connect + VPN
専用線のDirect ConnectとVPNを組み合わせるソリューション
エンドツーエンドの安全なIPSec接続の利点と、AWS Direct Connectの低遅延および増加した帯域幅を組み合わせる
インターネット経由のVPCより早くて安全
接続にはパブリック仮想インタフェースが必要!
IPsec(Security Architecture for Internet Protocol)
データストリームの各IPパケットを認証/暗号化することにより、ネットワーク層でIP通信を保護するためのプロトコルとのこと
BGP(Border Gateway Protocol)
ネットワーク間の経路情報を通信機器で交換するためのプロトコル
DMS
できること
データベースをAWSに移行するマネージドサービス
異なる種類間のデータベース移行も可能
NoSQLも可能
継続的な変更をキャプチャして、継続的にレプリケーション・CDC(変更データキャプチャ)することが可能
これによりダウンタイムが最小となる
DynamoDB
結果整合性と強い整合性
Auto Scaling
実際のトラフィックパターンに応じてプロビジョンドスループット性能をユーザーに代わって動的に調整してくれる!
条件付き書き込み
–condition-expressionを付けることで、条件を指定でき、条件に一致しない場合は書き込みできないようになる
EC2
リソースグループ
Syustem ManagerのResource Gruopsからアクセスできる。
タグベースであれば、タグ名でまとめることが可能。
まとめてコマンドを実行したり、いろんなことがまとめてできる
インスタンスタイプ
タイプ | 用途 |
汎用 | 汎用 |
コンピューティング最適化 | 高パフォーマンスプロセッサの恩恵を受けるアプリケーション用 |
メモリ最適化 | メモリ内の大きいデータセットを処理するワークロード用 |
高速コンピューティング | 浮動小数点計算、グラフィックス処理、データパターン照合などの機能を、CPU で実行中のソフトウェアよりも効率的に実行する用 |
ストレージ最適化 | 高いシーケンシャル読み取りおよび書き込みアクセスを必要とするワークロード用 |
インスタンスのステータス
impaired :1つ以上のステータスチェックが失敗
フリート
さまざまな Amazon EC2 インスタンスタイプ、アベイラビリティーゾーン、オンデマンド、Amazon EC2 リザーブドインスタンス (RI)、Amazon EC2 スポット購入モデルの間での Amazon EC2 キャパシティーのプロビジョニングを簡素化
EFA(Elastic Fabric Adapter)
HPCと機械学習を高速化するためのIF
OSバイパス機能があり、ハードウェアと直接通信が可能⇒高速化につながる
拡張ネットワーキング
高い帯域幅、高いパフォーマンス、低いインスタンス間レイテンシーを提供する
SR-IOVで実現している
ECS
スポットインスタンスのドレイン
スポットインスタンスは中断することもある。
そこで、コンテナホストの中断・停止通知を受けて、新規タスクを実行しない・サービスタスクを別インスタンスに再配置してくれる
デフォルトでは無効なので、
EMR(Elastic MapReduce)
Apache Spark、Apache Hive、Presto などのオープンソース分析フレームワークを使用して、大規模な分散データ処理ジョブ、インタラクティブ SQL クエリ、機械学習 (ML) アプリケーションを実行できる
スポットインスタンスで実行可能⇒安い!
HDFSとは
Hadoop Distributed File Systemのこと。
分散ストレージ、分散ファイルシステム
Elastic Transcorder
ELB
ヘルスチェック
Auto ScalingグループのデフォルトのヘルスチェックはEC2のステータスチェックのみ
ELBヘルスチェックで、WEBページのチェックとかができる
EBS
暗号化
暗号化されていないボリュームを暗号化するには、スナップショットを作成して、そこから暗号化されたボリュームを作成して、付け替える
Evnet Bridge
ログとモニタリング
CloudTrailと連携する。
それから収集された情報を使用して、証跡の作成やルール作成などができる
GuradDuty
検知できること
Kinesis
Kinesis Data Streams
リアルタイムのデータストリーミングサービス。
センサなどから送られてくるデータを別のサービスまで届ける
Firehoseはデータのロードに60秒かかるが、Streamsは1秒以下
リアルタイム用途が強い
Kinesis Data Analytics
ストリーミングデータの分析用
Kinesis Data Firehose
こっちもリアルタイムのデータストリーミングサービスだが、Streamsと比較すると簡単に使える。
参考:Amazon Kinesis StreamsとAmazon Kinesis Firehoseは何が違うのか
KMS
CMKをEXTERNALオリジンで作成することができる
キーマテリアル(CMK作成時に使用されるデータ)は、オンプレのHSMからインポートすることが可能なため。
Lambda
Lambda@Edge
利用例1:ユーザーごとのリダイレクトURLを検索する
利用例2:クエリパラメータの正規化や順序付け⇒キャッシュで使用するクエリ文字列を整える
実行時間制限
最長15分に設定可能
同時実行数制限
1アカウント同一リージョン内で1000まで
上限を予約して制限することもできるみたい
参考:予約済み同時実行数の使いどころ
同時実行数を超えると502 Bad Gatewayが返ってくる
MSK
Managed Streaming for Apache Kafka:フルマネージドのApache Kafkaを提供
Apache Kafkaとは?
スケーラビリティに優れた分散メッセージキュー
NAT Gateway
帯域
5Gbpsから45Gbpsまで自動拡張する
Network Firewall
VPC用のWAFみたいなイメージかと
各AZ毎に配置してやる
アウトバウンドトラフィック用のVPCを作り、そこにFirewallを作って全てのトラフィックを集中させて、トラフィックを監視する
構成図参考:AWS Network Firewallを分かりやすく解説してみる
Organizations
SCPの適用範囲
組織のルートに設定しても、管理アカウントは制限できない
参考:サービスコントロールポリシー (SCP)ってなんだろ?
Private Link
VPCは以下のWEBサービスなどを同一リージョン内の別VPCに公開できるサービス
VPCピアリングとは異なり、IPアドレスレンジの重複考慮が不要
OpsWorks
Blue/Greenデプロイメントが可能
RDS
オンプレへのレプリケーション
リードレプリカを作成し、レプリケーションのターゲットをオンプレミスサーバにできる!
バックアップも安心だね!
リードレプリカの昇格
リードレプリカはスタンドアロンDBインスタンスに昇格させることができる
参考:リードレプリカをスタンドアロン DB インスタンスに昇格させる
ストレージのIOPS
汎用ストレージ:1GiB当たり3IOPS、最低100IOPSで、1TiB未満でも3000IOPSにバースト可能
プロビジョンドIOPS:IOPSを設定可能。DBエンジンに依存するが、最低1000
Rekognition
画像認識サービス
Route53
レイテンシールーティング
レイテンシーが最小になるようにルーティングする
Evaluate Target HealthをNoにするとのはダメみたい。
参考 Route53 デベロッパーガイド
SMS(Server Migration Service)
仮想マシンの移行サービス
特徴
VMを稼働したまま移行でし、増分レプリケーションも可能なためダウンタイムが最小となる
SMS自体の利用については無料!
S3やEC2はそれぞれの料金がかかります
SNS
モバイルプッシュ通知
モバイルデバイスのアプリケーションにプッシュ通知メッセージを直接送信できる
Site-to-Site VPN
VPN接続とは、VPCとお客様独自のオンプレミスネットワーク間の安全な接続
VPNトンネルは、オンプレネットワークとAWSの間のデータ送受信用の暗号化されたリンク
Service Catalog
IT 管理者によってガバナンスが適用された製品を、ユーザー部門が素早く立ち上げことが可能になるサービス。
S3
取り出しまでの時間
ストレージクラス | 取り出しまでの時間 |
Standard, IA, One Zone IA | ミリ秒 |
S3 Glacier Instant Retrieval | ミリ秒 |
S3 Glacier Flexible Retrieval | 数時間 バルク取り出しによる大量データ取得は5~12時間 |
S3 Glacier Deep Archive | 12時間~48時間 |
署名付きURL生成
IAM ポリシー未設定の IAM ユーザーが生成した S3 署名付き URL (presigned URL) を使ってオブジェクトを Get できるのはなぜか
機能
クロスリージョンレプリケーション
オブジェクトの所有者
所有者はアップロードしたアカウントになってしまうので、バケット所有者にアクセス権を付与してやらないといけない
が、最近アップデートがあった
参考:【アップデート】S3でACLを無効化できるようになりました #reinvent
IA(Infrequent Access)
入れると、30日分の料金が必ず発生する。
30日以内に別ストレージクラスに移すなら、余計のコストがかかる
Snowball Edge
データ転送用容量
100 TB (80 TB 使用可能)
Storage Gateway
ファイルゲートウェイ
ファイルシステムとして扱うことができる。
ほぼリアルタイムにS3にアップロードされる
補完型ボリュームゲートウェイ
元データはローカルにもあり、定期的にスナップショットが取られて、AWSに非同期にバックアップされる
ゲートウェイキャッシュ型ボリューム
ローカルにはキャッシュとしてのデータのみがあり、すべてのデータはAWSに保存される
問い合わせ時にキャッシュになければAWSから取得する
テープゲートウェイ
テープベースのバックアップワークフローに使える
SWF
SWF:Simple Workflow
重複が許されない、厳密に一回限りの順序性が求められる処理用
Session Manager
Linux
ブラウザベースでアクセス可能
SSHなしでアクセスできて、実行結果も含めたログ保存が可能!
参考:初めてのAWS Session Manager(SSM)
Windows
ポートフォワーディング機能で、リモードデスクトップをトンネリング可能
インスタンスでセキュリティグループのポートを開けなくていい!!
TransitGateway
料金
参考 オンプレとVPCを接続するTransitGatewayとVPNの料金を比較する
アタッチしているだけで料金がかかるので、コストパフォーマンスはVPCピアリングより悪い
VPC
仮想プライベートゲートウェイ(VGW)
VPCがVPNやDirect Connectとの接続をするためのゲートウェイ。
VPCに1つだけだが、複数のVPNやDirect Connectと接続が可能
カスタマーゲートウェイ(CGW)
AWS側とユーザー側の接続する際のつなぎ目
VPCピアリング
推移的なピアリング接続:VPCピアリングがA↔B、B↔Cで行われていても、A↔C間はルーティング不可⇒TransitGatewayを使いなさい!
料金は、データ転送料金のみで、追加はない
IPアドレスの重複は許容されない
参考:VPCピアリングの制限事項
VPCエンドポイント
サービスへのプライベート接続を可能にする VPC 内のエントリポイント。
VPCと他のサービス間の通信を可能にします。
以下のエンドポイントが存在する
- ゲートウェイエンドポイント:S3とDynamoDB用
- インタフェースエンドポイント:上記以外全て
ゲートウェイエンドポイントはゲートウェイ経由でサービスにアクセス可能
インタフェースエンドポイントはPrivateLinkで接続可能
有効にするとENI(Elastic Network Interfac)がサブネットに作成されて、エントリポイントとなる
仮想インタフェースの違い
パブリック仮想インタフェース:パブリックリソースに接続するために使う。
プライベート仮想インタフェース:VPCと接続するために使う。
DHCPオプションセット
IPアドレスをDHCPサーバーによって動的に割り当てる
参考:VPCのDHCPオプションセットを使ってEC2のDNS/NTPサーバ設定を試してみる
外部認証
【DOP】カスタムIDプロバイダーによるフェデレーション
SAML2.0が使えない場合は、カスタムIDブローカーを作成して、認証情報を取得する
仮想プライベートゲートウェイと仮想インタフェースは異なる
仮想プライベートゲートウェイ:VGW
仮想インタフェース:AWS Direct Connect 接続でしようするインタフェース
仮想プライベートゲートウェイは、VPCがVPNやDirect Connectと接続するためのゲートウェイ。1つだけ存在できる
仮想インタフェースは、プライベート・パブリック・トランジットの3種類がある。
プライベートはVPCに接続、パブリックはパブリックサービスやVPN用、トランジットはTransit Gateway接続用
用語
ヒューリスティック
発見的手法。
必ずしも正しい答えを導けるとは限らないが、ある程度のレベルで正解に近い解を得ることができる方法。
RTO、RPO
RTO(Recovery Time Objective):障害発生時に「どれくらいの時間で」復旧させるか
RPO(Recovery Point Objective):過去の「どの時点まで」のデータを復旧させるか
デュアルトンネルVPN
2つのCGWを作成して、それぞれでVPNが繋がるようにすること?
冗長性が担保できる。
VGWはVPNに1つだけだが、2つのCGWからつながるのではみたい
IDS、IPS
IDS:Intrusion Detection System、不正侵入検知システム
IPS:Intrusion Prevention System、不正侵入防止システム
パイロットライト
完全な状態のホットスタンバイを用意するのではなく、DBのような最小限の核となる部分だけスタンバイしておき、他はCloudFrontなどですぐに立ち上げられるようにしておくこと
Hadoop
大規模データの蓄積・分析をする
AWSだとEMRが対応する・
EMRはApache Hadoop、Apache Spark、Apache Hive、Hue などのクラスターが対応しているみたい
エクスポネンシャル・バックオフ・アンド・ジッター
Exponential backoff and jitter
リクエスト処理が失敗した後のリトライの際、現実的に成功しそうな程度のリトライを、許容可能な範囲で徐々に減らしつつ継続するアルゴリズム
構造化データ
ExcelやCSVファイルに代表される、「列」と「行」の概念をもつデータ