Почтовый ящик  

Домашне-серверное

Перекинул библиотечную базу данных с MySQL на PostgreSQL. Импорт данных из 420308 файлов архивов занял порядка 9 часов, в противовес 16 часам, что было на MySQL.
Неплохо, однако.

28 октября 2021

tags:
IT, lytdybr
<< предыдущая заметка следующая заметка >>
Оставить комментарий
2021-10-28 17:12
Linux Firefox
 Санкт-Петербург
0
0
Vitus Wagner
Это ты что, с автокоммитом что ли их заливал, что так долго7

В постгресе при заливке больших объемов данных имеет смысл делать коммит примерно рад в 10000 записей. С одной стороны и WAL не пухнет, транзакции вменяемого размера получаются, с другой - не тратится время на коммит после каждой записи. А то он при коммите пытается добиться того, чтобы данные легли на диск пробившись через все кэши, А это медленно.
2021-10-28 17:28
Windows Firefox
 Los Angeles
0
0
Кошак
Не я эту софтинку на питоне писал, которая домашний OPDS каталог поддерживает. :)

Речь о SimpleOPDS: http://www.sopds.ru/
<< предыдущая заметка следующая заметка >>