Ассоциация ЭБНИТ    ИРБИС-корпорация    Вики-Ирбис    Online/CHM справка Ирбис   
АРМ Администратор :  ИРБИС Irbis
 
Создание словаря заново полностью
Пользователь: roit (IP-адрес скрыт)
Дата: 17, May, 2015 12:12

БД ЭК у меня более 200 тыс. записей. При создании словаря заново полностью на этапе отбора появляются 2 окна и параллельно идет отбор записей. Всего процесс создания словаря занимает 1,5 часа.
Я бы не предположила, что может быть иначе, но на днях мне понадобилось поставить ИРБИС на 1 машину, вместе и серверную и клиентскую часть. Я импортировала туда только БД RDR, которая у меня более 7 тыс. записей. И вот тут, при создании словаря заново полностью, я увидела на этапе отбора аж 4 окна. Времени на весь процесс при этом ушло значительно меньше.
От чего это зависит? И могу ли я каким-то образом добиться этого при выполнении процедуры на своем настоящем сервере?

Re: Создание словаря заново полностью
Пользователь: Карауш (IP-адрес скрыт)
Дата: 17, May, 2015 17:17

Это зависит от версии процессора конкретного компьютера. Если процессор двух-ядерный, то процесс создания словаря раздваивается, а если четырех-ядерный - то четыре окна.

Re: Создание словаря заново полностью
Пользователь: roit (IP-адрес скрыт)
Дата: 18, May, 2015 14:00

Понятно. Спасибо!

Re: Создание словаря заново полностью
Пользователь: roit (IP-адрес скрыт)
Дата: 19, May, 2015 20:43

Что то у меня не так последние дни происходит с этим процессом. Помогите разобраться в чем может быть причина. У меня БД ЭК ок. 270 тысяч записей. Понемногу она подрастает - записей на 100 маскимум в день. Впрочем, удаление записей тоже процесс постоянный и ежедневный. И все 2 года, что у нас ИРБИС создание словаря полностью при помощи серверного Администратора занимало около 1,5 часов. Так было и в это воскресенье. А вот вчера вечером мне снова понадобилось сделать эту процедуру и заняла она у меня 2 часа 2 минуты. Сегодня уже сделала за 2 часа 18 минут. Так совпало, что мне надо это делать довольнот часто - сторонняя программа, которая у нас отвечает за полнотекстовую Электронную библиотеку взаимодействует с иРБИСом и для пополнения библиотеки даже 1 текстом надо делать создание словарей.Тревожит скачок за 1 день на полчаса и тенденция к увеличению времени, которое затрачивается на процесс.
Какие причины могут к такому привести? Я уж не говорю про ускорить процесс, но как сделать чтобы он не замедлялся так?



Редактировано 2 раз. Последний раз 19.05.2015 20:44 пользователем roit.

Re: Создание словаря заново полностью
Пользователь: Карауш (IP-адрес скрыт)
Дата: 20, May, 2015 14:47

Причины:
1. Антивирус сильно внимательно присматривает за новыми данными и процессами.
2. Если есть алгоритм анализа внешних файлов и "делания" словарей на основе этих данных, то непредсказуем процесс. Т.е. нужно анализировать программу полнотекстовых данных, сколько она вносит затрат процессора.
3. Что-то еще работает фоновым процессом на компьютере (в т.ч. вирус сильно присматривается к данным и антивирусу).
4. Жесткий диск фрагментирован и (или) на нем мало свободного места.
5. Вы запускаете программу АРМ Администратор не на рабочем столе сервера, а на основе файл-серверного доступа.
6. Вы часто добавляете в файл fst новые строки для построения все новых и новых словарей, в которых используете ссылки между базами и взятие данных из сторонних файлов, а не из базы ИРБИСа напрямую простыми операциями.
7. Плохо работает вентилятор и перегревается процессор (маловероятно).
8. Вы ориентируетесь на начало и конец по разным часам :) (не верю, что так, но причина).

Re: Создание словаря заново полностью
Пользователь: roit (IP-адрес скрыт)
Дата: 20, May, 2015 16:32

Спасибо за обстоятельный ответ. Есть над чем подумать и что спросить у наших системщиков. Но есть вопросы и к Вам.
Поясню сразу нашу ситуацию - ИРБИС64 и Web установлены на виртуальном сервере, который нам выделен на общем сервере вуза. Бродовский сразу сказал, что архитектура не лучшая, но, увы, это мы изменить не можем.

"4. Жесткий диск фрагментирован и (или) на нем мало свободного места."
Это о каком Жестком диске. У нас там 2 - на C: все программы как на обычном компьютере, Апач, Веб. На D: сама папка iRBIS64 со всем ее содержимым.На какой жесткий диск надо посмотреть?

"5. Вы запускаете программу АРМ Администратор не на рабочем столе сервера, а на основе файл-серверного доступа. "
Я всегда запускаю программу одинаково - через Подключение по удаленному рабочему столу. Я ее так запускала и в воскресенье, когда словарь выполнялся за 1,5 часа и в понедельник, когда стал выполняться за 2 часа. Причем запускала с одного и того же компьютера из дома.

"6. Вы часто добавляете в файл fst новые строки для построения все новых и новых словарей"
Это Вы обо мне слишком хорошо думаете :) В моем fst строки, которых не было в дистрибутиве, только те, что мне прислала Дунаевская для 46 поля и строка от Колосова. Они все были и когда было 1,5 часа и когда стало 2 и более. Вообще единственное, что я меняла между воскресеньем и понедельником это ставила на сервер irbis_server.exe, полученный у Бродовского, но он мне уже написал, что это не при чем, когда я к нему пристала.

"8. Вы ориентируетесь на начало и конец по разным часам :) (не верю, что так, но причина)."
Спасибо, насмешили. Недавно тут как раз мы с Рудзским вспоминали анекдот про "как выяснили возраст фараона? сам сознался!" :) Помимо часов (сверяю и по ним), есть еще и сообщение самого ИРБИСа о том, что словарь создан за такое-то время (как показывают опыты, оно совпадает с реальностью)



Редактировано 2 раз. Последний раз 20.05.2015 16:54 пользователем roit.

Re: Создание словаря заново полностью
Пользователь: Карауш (IP-адрес скрыт)
Дата: 22, May, 2015 17:56

> 4. Жесткий диск фрагментирован и (или) на нем мало свободного места."
Это о каком Жестком диске. У нас там 2 - на C: все программы как на обычном компьютере, Апач, Веб. На D: сама папка iRBIS64 со всем ее содержимым.На какой жесткий диск надо посмотреть?

На оба. Если фрагментирован или места мало на C, то тормозит система, если на D, то тормозит ИРБИС.

> Я всегда запускаю программу одинаково - через Подключение по удаленному рабочему столу. Я ее так запускала и в воскресенье, когда словарь выполнялся за 1,5 часа и в понедельник, когда стал выполняться за 2 часа. Причем запускала с одного и того же компьютера из дома.

Это правильно, так и нужно.

> Вообще единственное, что я меняла между воскресеньем и понедельником это ставила на сервер irbis_server.exe, полученный у Бродовского, но он мне уже написал, что это не при чем, когда я к нему пристала.

Может быть причина в этом файле. Программа меняется, в нее добавляются алгоритмы.

Рекомендую для проверки провести такой эксперимент.
1. Зарезервировать каталог базы.
2. вернуть старый irbis_server
3. сделать словарь заново.
4. замерить время процесса.
5. вернуть все из резерва и irbis_server.
6. продолжить диалог здесь на форуме :)

Re: Создание словаря заново полностью
Пользователь: roit (IP-адрес скрыт)
Дата: 24, May, 2015 21:16

Спасибо большое. Эксперимент провела. Время одинаковое, так что дело не в программе, а очевидно в диске C: Почему то на нем стремительно уменьшается свободное пространство, ужу 700-900 Мб. Будем теперь разбираться что там такое.



Редактировано 1 раз. Последний раз 24.05.2015 21:30 пользователем roit.

Re: Создание словаря заново полностью
Пользователь: roit (IP-адрес скрыт)
Дата: 11, April, 2016 10:15

Снова нужна помощь на ту же тему. Теперь создание словаря заново полностью у меня занимает уже 3 часа (все на тех же 270 тыс. с небольшим записях). Объем диска C: на нашем виртуальном сервере увеличили. Но зато установили проклятую программу Secret Net 7. Впрочем, про нее я уже спрашивала, ее похоже никто тут не знает и помочь не может.
Самое страшное, что у меня перестал создаваться словарь заново полностью вообще - зависает на этапе сортировки (в самом конце этого этапа, уже перед загрузкой).
Буду очень благодарна если кто-нибудь посмотрит прикрепленные файлы и подскажет в какую строну копать, может какие-то настройки в ини поменять и что требовать у информационного управления нашего вуза сделать с нашим виртуальным сервером.
И еще вопрос: если я буду создавать словарь так - запускать отдельно отбор, сортировку, загрузку будет ли это полным эквивалентом команде "создать словарь заново полностью"? Мне кажется, что должно быть т.к. он состоит из тех же этапов. Но вдруг я чего-то не понимаю.

Вложения: отбор.JPG (149KB)   сортировка1.JPG (144.8KB)   сортировка2.JPG (151.1KB)  
Re: Создание словаря заново полностью
Пользователь: roit (IP-адрес скрыт)
Дата: 11, April, 2016 10:17

И последняя картинка на ту же тему. Кстати, может можно как-то оживить уже вот так зависшую сортировку?

Вложения: сортировка зависла.JPG (126.3KB)  
Re: Создание словаря заново полностью
Пользователь: roit (IP-адрес скрыт)
Дата: 12, April, 2016 16:38

Всем спасибо. На сегодняшний день проблему наши информационщики решили - увеличили мощности сервера (оперативку до 8 Гб. и сделали 2 процессора)



Извините, только зарегистрированные пользователи могут писать в этом форуме.
This forum powered by Phorum.