Приветствую.
Cgiirbis на сервере загружает процессор на 100% периодически.
Если два процесса появляется - то по 50%. Если больше - то в сумме все равно на 100% получается.
Скриншоты прикреплены.
Это нормально?
Может ли из-за этого тормозить сам Ирбис ("бегать")?

Ps. Возможно подобный вопрос всплывал, но не нашел.

С уважением, Лазарев Илья (Научная Библиотека ВятГУ)

100% загрузка процессора нормальна. Расформатирование — ресурсоёмкая задача. Но если процессы находятся в этом состоянии слишком долго — нужно проводить анализ. Надеюсь, правильное определение прав доступа(http://irbis.gpntb.ru/read.php?21,38962,page=3) изменит ситуацию.

Находятся недолго, но при одновременном обращении к вебкаталогу и к Ирбису из Каталогизатора, может получиться "пробежка" (торможение) в каталогизаторе, я правильно понимаю?

С уважением, Лазарев Илья (Научная Библиотека ВятГУ)

iLq написал(а):
-------------------------------------------------------
> Находятся недолго, но при одновременном обращении
> к вебкаталогу и к Ирбису из Каталогизатора, может
> получиться "пробежка" (торможение) в
> каталогизаторе, я правильно понимаю?


Неизбежная ситуация на любом сервере и с любым прогрммным обеспечением. В Apache можно настроить количество одновременно запускаемых процессов. Вероятно, можно настроить приоритет их выполнения.

На днях (в течении нескольких) была таже проблема, но процессов было гораздо больше...
Потом сама по себе исчезла...

Думаю, это результат ситуации, когда сервер не справляется, а пользователи лихорадочно нажимают на гиперссылки, пытаясь добиться ответа, и тем самым усугубляют положение.

Коллеги, попробуйте уменьшить
значение параметра

CGITimeOut

Изменил с 200(!) до 30.
Пока тишина.

Есть предположение, что это не пользователи(хотя вариант с лихорадочным нажиманием имеет место быть), а поисковые боты.
Анализ Logdb подтвердил это - более 2/3 запросов приходит ко мне от Googla.



Редактировано 1 раз. Последний раз 23.09.2010 10:56 пользователем Крюковских Александр.

Добрый день.

В развитие темы и сообщения в теме Зависания системы.

Сегодня у нас произошла авария: 100% загрузка процессоров сервера в течение примерно 10 минут с 12:50 по (примерно) 13:00. Принудительно завершили через диспетчер задач некоторые процессы cgiirbis_64.exe, и ситуация стабилизировалась.

Анализ ситуации показал, что в cgiirbis_64.log нет никаких записей в интервал времени между 12:54:21 и 12:57:53. И, кроме того, было сформировано только 5 файлов Error_terminate_*.log (за 12:50 и 12:52).

У нас Web ИРБИС 2010.1 с настройками:
CGITimeOut=60
clickers_banning=1

И интересный момент: во время аварии наблюдали, что для отдельных процессов cgiirbis_64.exe в столбце "Время ЦП" диспетчера задач было указано время более семи минут.



Редактировано 1 раз. Последний раз 17.06.2011 15:08 пользователем PRM.

PRM написал(а):
-------------------------------------------------------
> Добрый день.
>
> В развитие темы и сообщения в теме Зависания
> системы.
>
> Сегодня у нас произошла авария: 100% загрузка
> процессоров сервера в течение примерно 10 минут с
> 12:50 по (примерно) 13:00. Принудительно завершили
> через диспетчер задач некоторые процессы
> cgiirbis_64.exe, и ситуация стабилизировалась.
>
> Анализ ситуации показал, что в cgiirbis_64.log нет
> никаких записей в интервал времени между 12:54:21
> и 12:57:53. И, кроме того, было сформировано
> только 5 файлов Error_terminate_*.log (за 12:50 и
> 12:52).
>
> У нас Web ИРБИС 2010.1 с настройками:
> CGITimeOut=60
> clickers_banning=1
>
> И интересный момент: во время аварии наблюдали,
> что для отдельных процессов cgiirbis_64.exe в
> столбце "Время ЦП" диспетчера задач было указано
> время более семи минут.

Может быть, у Вас есть возможность восстановить запросы, которые приводили к таким результатам, по протоколам APACHE?

Файлы Error_Terminate сообщали об ошибке "Server error: timeout ellapsed (200 c)"?



Редактировано 1 раз. Последний раз 18.06.2011 10:15 пользователем Кирилл Соколинский (СЗТУ).

> Может быть, у Вас есть возможность восстановить
> запросы, которые приводили к таким результатам, по
> протоколам APACHE?
>
> Файлы Error_Terminate сообщали об ошибке "Server
> error: timeout ellapsed (200 c)"?

Кирилл Евгеньевич, здравствуйте.

Да, запросы в файлах протокола Apache сохранились, но... Программно по очереди проверил за промежуток времени 12:50 - 13:00:
- GET-запросы из access.log к /cgi-bin/irbis64r_01/cgiirbis_64.exe с кодом ответа 200;
- запросы из cgiirbis_64.log.
И в таком режиме максимальное время выполнения запроса составило примерно 6 секунд.

Да, файлы Error_Terminate_*.log сообщали об ошибке "Server error: timeout ellapsed".

PRM написал(а):
-------------------------------------------------------
> Да, запросы в файлах протокола Apache сохранились,
> но... Программно по очереди проверил за промежуток
> времени 12:50 - 13:00:
> - GET-запросы из access.log к
> /cgi-bin/irbis64r_01/cgiirbis_64.exe с кодом
> ответа 200;
> - запросы из cgiirbis_64.log.
> И в таком режиме максимальное время выполнения
> запроса составило примерно 6 секунд.

К сожалению, на данный момент мы с Вами не располагаем достаточным количеством информации чтобы разобраться в причинах перегрузки. Информации чтобы воспроизвести не достаточно. В моей практике не встречалось случаев когда процесс, занимающий процессор, работал бы больше чем CGITimeOut.

Кирилл Евгеньевич, спасибо.
Продолжаем наблюдение.

Добрый день.
У нас такая же проблема. 16 запросов в минуту идет с адреса 193.233.14.10. Как я понял это Ирбис-корпорация. Наша библиотека подключалась к Ирбис-корпорация только в "Заимствование записей на книги", Все остальные базы каким-то образом подключились в "Заимствование аналитики". Кирилл Евгеньевич удалите пожалуйста из списка аналитики.

Буда написал(а):
-------------------------------------------------------
> У нас такая же проблема. 16 запросов в минуту идет
> с адреса 193.233.14.10. Как я понял это
> Ирбис-корпорация. Наша библиотека подключалась к
> Ирбис-корпорация только в "Заимствование записей
> на книги", Все остальные базы каким-то образом
> подключились в "Заимствование аналитики". Кирилл
> Евгеньевич удалите пожалуйста из списка аналитики.

1. С момента, как Вы написали мне, я приостановил Вашу работу в ИРБИС-корпорации. ИРБИС-корпорация не делает к Вашему серверу никаких запросов. Для книг эта ситуация сохранится до 30 ноября. Сейчас перегрузки сохраняются? Скорость значительно повысилась?

2. Поисковая система в аналитике за всё время своего существования (6 месяцев) выполнила всего 3 тыс. 800 запросов. Для сравнения система поиска книг -- 5000 запросов в день. Поэтому никакой связи между поиском аналитики и нагрузками на WEB ИРБИС не существует.

Ранее поиск по аналитике был технически невозможен. И когда он был реализован, я автоматически включил Вашу библиотеку в список источников аналитики. Прошу прощения, если это не соответствовало Вашим желаниям.

Всем участникам ИРБИС-корпорации было выслано письмо с просьбой выразить свои возражения, если они имеются, по поводу включения их баз в корпорацию для аналитики. Кроме того, в связи с этим было опубликовано сообщение на форуме.

В настоящее время Ваша библиотека исключена из системы поиска аналитики. Хотелось бы уточнить: опасение перегрузок единственная причина, по которой Вы не хотите выставлять свою аналитику?

3. Количество запросов ИРБИС-корпорации действительно очень велико, но они предельно простые — это выборка записей в текстовом формате. Для сравнения, один вывод 10 записей каталога в полном формате требует в 100 раз больше процессорного времени. Поэтому даже сервер библиотеки БИЭПП — Cel.2000, RAM 2000 нисколько не ощущает этой нагрузки.

4. У Вас не происходит ежедневное опустошение базы статистики. Скорее всего, это и является причиной замедления работы WEB ИРБИС. К слову сказать, статистика J-ИРБИС, который у Вас тоже функционирует, практически не отражается на скорости его работы…

Здравствуйте. Возникает та же проблема, в моменты перегрузки в логе написано что налетают боты поисковых систем