BigData. Производительность хранения в файлах
Задача: протестировать производительность хранения ключ-значение в файлах. Сохранять буду путем создания .new а затем переиоменования
VMware Ubuntu 512MB, так мало памяти на кэш.
| одновременно | ||||||
| иерархия | файлов | создание | запись | чтение | запись | чтение |
| 1 | 10 | <1sec | 1150 (1100-1200 IO=5MB) | 1740 (1700-1750 IO=0) | 1070 (1060-1090 IO=4.5MB) | 1540 (1535-1600) |
| 1 | 100 | <1sec | ||||
1. 10 файлов, иерархия каталогов 1.
- создание в переделах 1сек
- чтение: 1700 файлов, IO 0
- запись: 1200 файлов, IO 5MB/s
- чтение-запись: чтение 1500 файлов, IO 0, запись 1100 файлов, IO 4.5MB/s
2. 100 файлов, иерархия каталогов 1. то же самое.
3. 1.000 файлов, иерархия каталогов 1. то же самое
4. 10.000 файлов, иерархия каталогов 1.
создание 1300 файлов/сек
то же самое, хотя бывают провалы
5. 100.000 файлов, иерархия каталогов 1.
- создание в переделах 1200 файлов/сек
- чтение: 100 файлов, IO 350KB/s
- запись: 1100 файлов, IO 8MB/s, c частыми проседаниями
- чтение-запись: чтение 1500 файлов, IO 0, запись 1100 файлов, IO 4.5MB/s