BigData. Производительность хранения в файлах и базах

Submitted by martinez on Thu, 01/03/2019 - 09:45

Есть распространенная задача читать-сохранять большое кол-во пар ключ-значение с приемлемой производительностью. Есть несколько способов, и при малом кол-ве ключей обычно проблем нет при любом способе, но когда число становится большим, то могут возникнуть проблемы. Пусть ключем будет число, значением текст 1Кб. Большим объемом  будем считать объем 100-200Gb. Использовать будем один диск.

Способов несколько

  1. в файлах с иерархией
  2. в БД postgresql
  3. в БД Mongo
  4. в HBase

Выводы сделаем после првоерки всех способов.

Яндекс.Метрика