Glue workflow 사용중 3시간 정도 걸리는 Glue Job 이 발견되었다. Worker 의 수를 10 -> 30 으로 올리니 17분 정도로 드라마틱하게 단축되어 왜 이런 현상이 발생하였는지 찾아보았다. Spark 에

SQS 의 Queue type 에는 Standard 와 FIFO 가 있다. Standard queues 는 At-least-once delivery, Best-Effort Ordering 으로 작동한다. At-least-once delivery 는 적어도 한번 메시지가 전달된다는 의미로 같은 메시지가 경우에 따라 두 번 이상 전달될 수 있다. Best-Effort