Ассоциация ЭБНИТ    ИРБИС-корпорация    Вики-Ирбис    Online/CHM справка Ирбис   
АРМ Каталогизатор :  ИРБИС Irbis
 
медленный импорт
Пользователь: А. Роман (IP-адрес скрыт)
Дата: 13, June, 2018 09:44

Здравствуйте, уважаемые коллеги!

Пожалуйста подскажите с чем м.б. связана проблема - импортируем записи (из текстового формата) со слиянием по формату ключа.

В начале импорт идет относительно шустро (около 15-20 записей в секунду), но после импорта примерно 2000 записей скорость импорта падает примерно в 10 раз до 1,5 записей в секунду.

Системных ресурсов достаточно (около 10 Гб ОЗУ свободно), очередь записи диска в норме, исключения в антивирусе настроены.
Для ускорения процесса (т.к. для импорта требуется только один префикс IDD=) временно исключены все сценарии, кроме "IDD="V3^0 из VUZ.FST, а также оставлен пустой autoin.gbl, но ощутимого эффекта это не дало. Процесс импорта все также замедляется после 2000 записей.

В АРМ Книгообеспеченность CSV файл открывается на 20%, после чего выпадает сообщение "out of memory".

Серверный АРМ Администратор пока использовать для задачи импорта со слиянием записей не можем, т.к. при импорте в нем не актуализируются записи. Если бы возможность автоактуализации записей присутствовала в АРМ Администратор - проблема бы решилась.

Re: медленный импорт
Пользователь: ochagova (IP-адрес скрыт)
Дата: 13, June, 2018 16:21

В INI Администратора есть параметр RecUpdif, он должен задавать режим актуализации при импорте. Попробуйте. Замедление, видимо, связано с формированием протокола. В Администраторе его можно отключить.

Re: медленный импорт
Пользователь: А. Роман (IP-адрес скрыт)
Дата: 13, June, 2018 20:32

Людмила Николаевна, пробовали. В этом режиме записи импортируются в АРМ Администратор без слияния с ранее загруженными (т.е. все импортируемые записи создаются как новые, независимо от наличия в БД записей, отвечающих формату ключа импортируемых записей).

Я не верно сформулировал проблему. Актуализация конечно работает, но не работает импорт со слиянием.

А формирование протокола в АРМ Каталогизатор нельзя отключить или выводить в файл?

Re: медленный импорт
Пользователь: KrVs (IP-адрес скрыт)
Дата: 04, June, 2019 14:48

А не придумали еще способ как ускорить актуализацию записей?
А то 12 часов актуализируется база из 100 тыс записей.

Re: медленный импорт
Пользователь: Alio (IP-адрес скрыт)
Дата: 04, June, 2019 14:50

KrVs написал(а):
-------------------------------------------------------
> А не придумали еще способ как ускорить
> актуализацию записей?
> А то 12 часов актуализируется база из 100 тыс
> записей.
Во-первых, непонятно, какое отношение Ваш вопрос имеет к этой теме.
И во-вторых, о каком режиме идет речь: АКТУАЛИЗИРОВАТЬ СЛОВАРЬ или СОЗДАТЬ СЛОВАРЬ ЗАНОВО?

Re: медленный импорт
Пользователь: KrVs (IP-адрес скрыт)
Дата: 04, June, 2019 15:17

Alio написал(а):
-------------------------------------------------------
> Во-первых, непонятно, какое отношение Ваш вопрос
> имеет к этой теме.
> И во-вторых, о каком режиме идет речь:
> АКТУАЛИЗИРОВАТЬ СЛОВАРЬ или СОЗДАТЬ СЛОВАРЬ
> ЗАНОВО?

Задал сюда, потому как этот процесс входит в импорт записей. Прошу прощения, если ошибся веткой.

Речь идет именно о режиме "Актуализировать словарь". Когда единичный процесс идет. Как было сказано выше, примерно 2-3 записи в секунду проходит актуализация.

В "Создать словарь заново" всё отлично. Очень нравится что там разбивается на несколько частей база и идет свой независимый подпроцесс для каждой части. Так очень быстро все идет. (Хотя в более старых версиях, до 2012, один процесс шел и тоже долго было.)

Жаль для актуализации нечто подобное нельзя реализовать.

Re: медленный импорт
Пользователь: Alio (IP-адрес скрыт)
Дата: 04, June, 2019 15:53

При большом кол-ве НЕАКТУАЛИЗИРОВАННЫХ записей надо обязательно применять режим СОЗДАТЬ СЛОВАРЬ ЗАНОВО

Re: медленный импорт
Пользователь: KrVs (IP-адрес скрыт)
Дата: 04, June, 2019 16:15

Alio написал(а):
-------------------------------------------------------
> При большом кол-ве НЕАКТУАЛИЗИРОВАННЫХ записей
> надо обязательно применять режим СОЗДАТЬ СЛОВАРЬ
> ЗАНОВО

Вы имеете ввиду после режима "АКТУАЛИЗИРОВАТЬ СЛОВАРЬ"? Так как все время выполняли эти операции по порядку. Сначала Актуализация, а потом Создать словарь заново. Или можно выполнять сразу СОЗДАТЬ СЛОВАРЬ ЗАНОВО? И актуализация пройдет в этом режиме сама.

Re: медленный импорт
Пользователь: Alio (IP-адрес скрыт)
Дата: 04, June, 2019 16:43

KrVs написал(а):
-------------------------------------------------------
> Alio написал(а):
> --------------------------------------------------
> -----
> > При большом кол-ве НЕАКТУАЛИЗИРОВАННЫХ записей
> > надо обязательно применять режим СОЗДАТЬ
> СЛОВАРЬ
> > ЗАНОВО
>
> Вы имеете ввиду после режима "АКТУАЛИЗИРОВАТЬ
> СЛОВАРЬ"? Так как все время выполняли эти операции
> по порядку. Сначала Актуализация, а потом Создать
> словарь заново. Или можно выполнять сразу СОЗДАТЬ
> СЛОВАРЬ ЗАНОВО? И актуализация пройдет в этом
> режиме сама.
Однако... Разумеется, так.



Извините, только зарегистрированные пользователи могут писать в этом форуме.
This forum powered by Phorum.