Библиотека для тестирования JSON-RPC API

Когда я впервые столкнулся с написанием тестов для микросервиса, API которого был реализован согласно протоколу JSON-RPC, я осознал что построение качественных проверок для json элементов куда требовательнее, чем я считал ранее.

Ниже приведён простой пример.

От сервиса получен ответ:

{
  "result": 12,
  "id": 46929734,
  "jsonrpc": "2.0"
}

Что требуется проверить:

1. Ответ содержит элемент «jsonrpc» и его значение равняется «2.0»
2. Ответ содержит элемент «id» и его значение равняется аналогичному элементу переданному в запросе, в данный момент допустим это — 46929734

Ответ содержит элемент «result» и его значение равняется 12


Как это необходимо проверить, используя Java + TestNG + Gson:

Assert.assertTrue(response.has("result"));
Assert.assertTrue(response.has("jsonrpc"));
Assert.assertTrue(response.has("id"));

Assert.assertTrue(response.get("result").isJsonPrimitive());
Assert.assertTrue(response.get("jsonrpc").isJsonPrimitive());
Assert.assertTrue(response.get("id").isJsonPrimitive());

Assert.assertEquals(response.get("result").getAsInt(), 12);
Assert.assertEquals(response.get("jsonrpc").getAsString(), "2.0");
Assert.assertEquals(response.get("id").getAsInt(), 46929734);

В этот момент, в сознании может начать формироваться вопрос «Зачем так много ассертов?». Да, фактически при тестировании, вас интересует только группа из трех последних ассертов, они проверяют значения json элементов в ответе и если они пройдут — значит ответ соответствует ожиданиям. Но, что если тест упадет? Рассмотрим несколько возможных причин падения такого теста:

1. Ответ ->
   

   {
     "result": 12,
     "id": 46929734,
     "jsonrpc": "1.0"
   }

   
   Ошибка от TestNG -> java.lang.AssertionError: expected [2.0] but found [1.0]
   Ждали «2.0», получили «1.0» — тут все понятно.
   
2. Ответ ->
   

   {
     "result": 12,
     "id": 46929734,
     "jsonrpc": {}
   }

   
   Ошибка от TestNG -> java.lang.UnsupportedOperationException: JsonObject
   
   Попытались распарсить как строку элемент, который абсолютно неожиданно получили в ответе как обьект.
   
3. Ответ ->
   
   

   {
     "result": 12,
     "id": 46929734
   }

   
   Ошибка от TestNG -> java.lang.NullPointerException
   Попытались распарсить как строку элемент, которого нет в ответе.
   

С первым примером — все отлично. Ошибка понятная, сразу видны фактическое и ожидаемое значения. А вот второй и третий примеры этим похвастаться не смогут. Такое падение требует времени тестировщика на анализ причины. Дебажить по такой поверхностной ошибке — затруднительно. Время потребуется для того, чтобы понять какой конкретно элемент тест пытался парсить, каким методом он пытался его парсить и как в действительности этот элемент выглядел в ответе. Возможно вам даже придется перезапускать тест локально, просто потому, что это может оказаться быстрее, чем собрать всю необходимую информацию из логов тестовой сборки.

Такое количество проверок, необходимость их написания и поддержки в акутальном состоянии, меня очень огорчало, поэтому я создал отдельную библиотеку, в которой собрал все необходимые, на мой взгляд, проверки для json элементов. Тот же уровень покрытия и детализации, что требовал приведенный выше json с помощью библиотеки достигается тремя строками, вместо девяти.

Gassert.verifyInteger(response, "result", 12);
Gassert.verifyString(response, "jsonrpc", "2.0");
Gassert.verifyInteger(response, "id", 46929734);

В библиотеке реализованы методы для проверки:

• элементов всех примитивных типов, вложенных и нет, с проверкой значения и без
• JsonObject, вложенных и нет, с проверкой значения и без
• JsonArray, вложенных и нет, с проверкой значения и без
• JsonNull элементов, вложенных и нет
• типов элементов внутри массива
• содержания массивом ожидаемого элемента
• размерности массива
• размерности обьекта

На всех уровнях проверки, реализованы более детализированные ошибки относительно тех что предоставляет TestNG по умолчанию.

Рассмотрим повторно возможные причины падения теста:

1. Ответ ->
   

   
   {
     "result": 12,
     "id": 46929734,
     "jsonrpc": "1.0"
   }
   

   
   Ошибка от Gassert -> java.lang.AssertionError: Element [jsonrpc] verification failed. expected [2.0] but found [1.0]
   
2. Ответ ->
   
   

   
   {
     "result": 12,
     "id": 46929734,
     "jsonrpc": {}
   }
   

   
   Ошибка от Gassert -> java.lang.AssertionError: Element [jsonrpc] is not a JsonPrimitive. did not expect to find [true] but found [false]
   
3. Ответ ->
   
   

   
   {
     "result": 12,
     "id": 46929734
   }
   

   
   Ошибка от Gassert -> java.lang.AssertionError: Json does not contains element: [jsonrpc]. did not expect to find [true] but found [false]
   

Также, большинство методов для проверок перегружены с дополнительным строковым параметром, который в случае падения ассерта будет добавлен к тексту выводимой ошибки. Данную возможность можно использовать например для того, чтобы выводить полное тело ответа или запроса+ответа в ошибке.

Библиотека находится в публичном github репозитории, а также добавлена в maven репозиторий.

Maven
Github
APIDocs