3시간 걸리던 Glue Job을 17분으로 단축한 경험을 통해 Spark의 Shuffle 메커니즘과 Spill 현상을 이해하고, 효과적인 성능 최적화 방안을 알아봅니다.