GraphQL과 N + 1 문제

찾아보게 된 계기

---

현재 진행하고 있는 프로젝트에서, 백엔드와 프론트엔드간의 의존도를 떨어트리고자 GraphQL을 도입하게 되었다

• GraphQL을 사용하면 프론트측에서 원하는 데이터를 꺼내가는 형식이기 때문에, RestAPI처럼 여러 개의 엔드포인트를 만들지 않아도 되기 떄문이다.
• 그런데 GraphQL을 사용하면 Resolver가 연쇄적으로 동작하는 N + 1 문제가 발생하는 경우가 빈번하다고 해서 해결 방법을 찾기위해 알아보게 되었다.

 

N + 1 문제란?

---

1번의 쿼리로 가져올 수 있는 데이터에 대해서 참조하는 데이터 N개 각각에 대해 쿼리를 날려 N + 1 번의 쿼리 가 발생하는 문제

• 예를 들어, 하나의 블로그에 3개의 댓글이 작성되어 있다고 해보자.
• 이때, 블로그와 댓글에 대한 데이터를 가져오기 위해서는 SQL의 Join을 사용한다고 생가해보면 분명 1번의 쿼리로 충분하다.
• 그런데 GraphQL의 Resolver를 사용하게 되면, 블로그에 대한 글을 먼저 가져오고, 댓글 각각에 대해서 쿼리를 날려서 댓글에 대한 정보를 가져와 총 4번의 쿼리가 발생하게 된다. 이것이 N + 1 문제이다.
• Spring의 JPA에서는 즉시 로딩을 할 경우에 이 문제가 발생한다고 한다.

• 실제 진행중인 프로젝트에서 로그를 찍어본 결과 정말 여러번의 쿼리가 날아가는 것을 확인할 수 있었다.
• 하나의 엔티티가 5개의 엔티티를 참조하고 있는 상태였음

 

해결 방법?

---

그렇다면 N + 1 문제를 어떤 식으로 해결할 수 있을까?

• 일단 현재 우리는 몽고 DB를 사용하고 있기 때문에 몽고 DB 사용을 전제로 찾아보았다.
• 그렇게 했을 때 크게 2가지 정도의 해결방법이 알려져 있었다.

1. Mongoose의 Populate 메서드 사용
2. Dataloader 사용

 

Dataloader ?

---

Dataloader란 무엇일까?

데이터로더는 여러 개의 쿼리를 모아서 한 번에 처리해주는 라이브러리이다.
GraphQL에 한정된 개념은 아니지만, GraphQL에서 N + 1 문제를 해결하기 위해 많이 사용된다고 한다.

쿼리를 한 번에 처리하는 방법은, 쿼리를 모아뒀다가 $in [id1, id2, id3, id4] 이렇게 처리하면 한 번의 쿼리로 처리할 수 있다.
이렇게 처리하는 방식을 배치(batch)라고 한다.

GitHub - graphql/dataloader: DataLoader is a generic utility to be used as part of your application's data fetching layer to pro

 

고민했던 부분

---

그렇게 우리는 N + 1 문제를 해결하기 위해서 데이터로더를 도입하기로 결정했다. 그 과정에서 헷갈렸던 부분이 있다.

나는 MongoDB를 사용하는 게 처음이라, MongoDB에서는 참조하는 데이터를 어떤 식으로 불러오는지 궁금했다.
MySQL의 경우에는 Join으로 참조하는 데이터를 가져올 수 있지만, MongoDB에서는 어떤 식으로 불러오는지를 몰랐다.

몽구스에서 제공하는 populate() 메서드를 사용해서 참조하는 데이터를 불러올 수 있다고 한다.그렇다면, 몽구스의 populate를 사용하면 참조하는 모두 불러올 수 있는데, 데이터로더는 어디에 도입해야 하는 걸까?

구글에 나와있는 대부분의 예시에는 데이터로더는 Resolver단에 도입하게 된다.

그런데 서비스단에서 populate() 메서드를 사용해서 데이터를 모두 불러온 상태일텐데 데이터로더는 어디에 쓰이는지가 의문이었다.

 

Mongoose Populate

---

그 전에 Mongoose의 Populate는 어떤 메서드인지 먼저 알아보았다.

몽구스 공식문서를 통해서 populate를 어떻게 사용하는지, 추가적인 기능은 어떤 것들이 있는지 알아보았다.

 

Population

---

3.2 이전 버전에서는 $lookup이라는 operator를 사용해서 참조하고 있는 데이터를 불러왔지만, 3.2 이후 버전부터는 populate() 메서드를 사용해서 참조하는 데이터를 불러올 수 있게 되었다.

const mongoose = require('mongoose');
const {Schema } = mongoose;

const personSchema =Schema({
  _id:Schema.Types.ObjectId,
  name:String,
  age:Number,
  stories: [{ type:Schema.Types.ObjectId, ref: 'Story' }]
});

const storySchema =Schema({
  author: { type:Schema.Types.ObjectId, ref: 'Person' },
  title:String,
  fans: [{ type:Schema.Types.ObjectId, ref: 'Person' }]
});

constStory = mongoose.model('Story', storySchema);
constPerson = mongoose.model('Person', personSchema);

• Person은 id값을 이용해서 Story를 참조
• Story는 id값을 이용해서 Person 객체를 author, fans라는 이름의 필드로 참조

 

사용법

const story =awaitStory.
findOne({ title: 'Casino Royale' }).
populate('author').
exec();
// prints "The author is Ian Fleming"
console.log('The author is %s', story.author.name);

• populate()를 이용해서 Story에서 참조하고 있는 author의 정보를 가져온다.
• title이 'Casino Royale'인 Story를 author(Person) 정보와 함께 가져오게 된다.

 

Field Selection

---

참조하고 있는 대상의 모든 필드를 가져올 필요가 없을 때, 원하는 필드명을 지정 할 수 있다.

const story =awaitStory.
findOne({ title: /casino royale/i }).
populate('author', 'name').
exec();// only return the Persons name
// prints "The author is Ian Fleming"
console.log('The author is %s', story.author.name);
// prints "The authors age is null"
console.log('The authors age is %s', story.author.age);

• author에 대해서 name 정보만 가져오겠다고 명시
• 그렇기 때문에 age를 출력해보면 null값이 들어있다.

 

Multiple Paths

---

Story의 경우에는 author, fans 두개의 필드에서 Person 객체를 참조하고 있는데, 만약 두 필드 모두 참조하고 싶다면 populate()를 연달아서 쓰면 된다.

await Story.
    find({/* ... */ }).
    populate('fans').
    populate('author').
    exec();

• fans, author 모두 참조해서 가져온다.

단, 같은 path에 대해서 여러번 쿼리를 날릴 경우, 마지막에 요청한 쿼리만 인정된다.

// The 2nd `populate()` call below overwrites the first because they// both populate 'fans'.awaitStory.
find().
populate({ path: 'fans', select: 'name' }).
populate({ path: 'fans', select: 'email' });
// The above is equivalent to:awaitStory.find().populate({ path: 'fans', select: 'email' });

• 위의 예시에서 fans에 대해 2번의 쿼리를 요청했기 때문에, 이후에 요청한 email정보만 불러오게 된다.

 

N + 1 Problem ?

---

populate()를 사용하면 N + 1 문제가 어떻게 해결될까

• 더 나은 이해를 위해서 공식문서와는 다른 예시를 참고했다.

N+1 Problem in MongoDB

 

위의 블로그의 예시를 통해 N + 1 문제를 어떻게 해결하는지 이해할 수 있었다.

• 현재 DB에는 2개의 블로그가 존재하고, 각 블로그에는 3개의 댓글이 달려있는 상황을 가정한다.
• 우리가 필요한 정보는 2개의 블로그, 해당 블로그의 댓글들, 그리고 댓글의 작성자에 대한 정보이다.

 

• populate를 사용하지 않으면 원하는 데이터를 가져오기 위해서 총 9번의 쿼리를 요청해야 한다.
• 만약 블로그의 수가 더 많았거나, 댓글의 수가 더 많았다라면 그에 따라 쿼리의 수가 급수적으로 늘어날 것이다.
• 또한 같은 유저가 댓글을 달았다고 하더라도, 매번 쿼리를 통해 데이터를 요청하기 때문에 매우 비효율적이다.

 

populate를 사용하면 blogId 또는 userId를 취합해서 $in 연산자를 사용해서 한 번에 처리한다

• 따라서 블로그의 수나 댓글의 수가 많아도 한 번의 쿼리로 처리가 된다.
• popluate를 사용하면 쿼리의 수를 줄일 수 있고, 데이터 베이스와의 통신 횟수를 최소화하여 성능을 향상시킬 수 있다.
• 이보다 쿼리를 더 줄이려면 Embed 방식을 사용하면 되지만, Embed 방식은 Update시에 성능이 저하되기 때문에 이를 잘 생각해서 사용해야 한다.

 

Dataloader vs Populate

---

그렇다면 Dataloader와 Populate 중에 어떤 것을 사용해야 할까?

사실 이 부분에 대해서 몇 가지 글을 찾아보았지만, 명쾌하게 이게 더 좋으니까 이걸 사용하세요! 라고 하는 글은 없었다.
그 이유는 아마 두 개가 비슷한 기능을 하지만, 완전히 같은 기능을 하지 않고 상황마다 선택해서 사용해야 하기 때문일 것이라 생각했다.

• Populate를 사용해도 쿼리의 수를 줄일 수 있고, 사용법이 단순하고 간단한다.
  • 하지만 많은 데이터를 처리할 경우에 메모리 사용량이 증가할 수 있다.
  • 또한 미리 서비스단에서 populate를 걸어두면 클라이언트측 overfetching 문제는 GraphL을 통해 해결될지라도,
    서버단에서 overfetching 문제가 발생한다.
• Dataloader를 사용하면 쿼리를 모아서 한 번에 처리하고, 미리 로드된 데이터를 캐싱하기 때문에 중복된 쿼리를 방지하고, 성능을 향상시킬 수 있다.
  • 하지만 캐싱을 사용할 경우에, 원본 데이터가 업데이트 되더라도 캐싱된 데이터를 반환하기 때문에 반영이 안 된 것처럼 보일 수 있다.
  • 또한 보안상의 이유로 웹 서버에서는 매 요청마다 새로운 데이터로더 인스턴스를 생성하는 것을 권장한다.