Gena написал(а):
-------------------------------------------------------
> Любой запрос к веб-ирбису в момент обработки
> "съедает" одно ядро. Я так понимаю, что у вас
> двухядерный сервер? Вот запрос от корпорации и
> загружает сервер на 49-50%, загружая своей
> обработкой одно ядро полностью. Советую
> подготовится к тому, что активное использование
> вашими читателями веб-ирбиса приведет к тому, что
> библиотекари регулярно будут видеть бегущего
> барса. Лучше разнести Веб-Ирбис и АБИС на разные
> машины.
А может большая нагруженность на веб-ирбис провоцировать вот эту ошибку irbis.gpntb.ru/read.php?9,72050 в момент выдачи литературы? можно ли как то сопоставить эту взаимосвязь что ошибка может происходить из-за того что сервер не справляется с запросами и просто не может обработать запрос на снятие противокражного бита и выдаётся эта ошибка (каталогизаторы раньше времени книгу не снимают сам проверял)



Редактировано 1 раз. Последний раз 27.07.2012 20:04 пользователем indiana.

Врядли тут есть какая-нибудь взаимосвязь. Я с RFID-оборудованием не работал, так что точно сказать не могу, но мне кажется, что программа работающая непосредственно с оборудованием, запускается и работает с клиентского компьютера, а не с сервера. Так что процес снятия бита на сервер по идеи влиять не должен. Единственное что может быть: запущенная обработка выдачи порождает на сервере процес, который не завершается до тех пор, пока программное обеспечение от Антивора не выдаст ему сообщение о том, что метка снята. Если при этом снятие затягивается, или завершается аварийно, то может как-нибудь и процесс на сервер подвисать. Но это все сугубо теоретически, точно вам на это сможет ответить только Александр Иосифович.

Спасибо ещё последим может что получится сделать..

Роботы не должны иметь доступа к базам по умолчанию! Т.е. упомянутый измененный формат должен быть основным, входить в дистрибутив.
И пусть боты знают все больше и больше форматов файлов, но ведь isis-подобных среди них нет?
P.S. Конечно нужна отдельная копия ЭК для внешних пользователей и отдельный (железный) веб-сервер, заветам Михал Владимыча верны!!!
Кстати, пришло в голову - очень мало вирусов для *NIX'ов и MacOS, и это, как известно, одно из их преимуществ. А спецвирусов для файлов ISIS-ИРБИС уж точно нет.

irbis_arbat@mail.ru



Редактировано 2 раз. Последний раз 28.10.2012 09:54 пользователем Lavrinovich.

Алексей, по-умолчанию боты и не имеют доступа.

Костя, по умолчанию боты серфет сайты и ссылки аж бегом! Недавно в одной библиотеки установили Ирбис, еще толком ничего не наполнили, но ссылка на Ирбис появилась на сайте библиотеки, а через неделю у меня в ЛогДБ была десятитысячная статистика с одной группы ИП-адресов. Как потом по адресам удалось выяснить, это нас гугл-индексировал.

Алексей, современным ботам глубоко фиолетово какую БД использует тот или иной сайт. Они об этих БД ничего не знают точно так же, как не знают и наши пользователи-люди. как происходит индексирование: робот берет любую страницу, а потом вытягивает с нее все ссылки, далее он идет по каждой из полученных ссылок. Так вот, сам по себе Веб-Ирбис не имеет постоянной страницы со всеми данными. Так что проиндексировать сразу все роботы и не могут. Но если робот работая с каким-то сайтом находит ссылку на Веб-Ирбис, то он начинает посылать ему запросы по всем ссылкам, которые он на вебе находит. А сейчас большинство веб-ирбисов оставляют на своих страницах поиск по словарю, по которому просто анализируя ссылки терминов, можно получить ссылки почти на все записи в БД.

Гена, по джаваскрипту вроде не ходят. По дефолту ссылки Кирилл переделал на Джаву. Может сейчас что-то и изменилось. Но подчеркну свою мысль: боты - это хорошо, они наши друзья.

Да, собственно говоря, я тоже категорически за боты. Это помогает случайным пользователям попасть на наши каталоги. Когда только поднимался вопрос об индексировании ботами, то все силы были направленны как раз на то, что бы они это делали, а не на то, что бы от них защититься

Проблему вижу в другом (пусть простят меня разработчики), - в неоправданно высокой загрузке железа веб-ирбисом. Мой 4-х ядерный сервер с 12 гигабайтами оперативки иногда часами лежит под нагрузкой. Буду ставить 8-м ядер, а дальше что? 16 ядер в продаже нет, больше 16 гиг оперативку не поставишь, а этого сегодня стандартные требования для базы в 300 тыс. А если миллион записей, то что, кластер поднимать?

Костя, у меня 8-ми ядерный сервер, и с ним тоже иногда бывает тугу, особенно когда днем студенты ломятся с поисками, идет активная книговыдача и комплектаторы начинают перебрасывать обработанные партии.

Гена, где же тогда выход? Плавно съехав с темы хочу констатировать что Невозможно до бесконечности вертикально масштабировать производительность (увеличивать количество ядер, добавлять оперативную память). Надо расти горизонтально, то есть увеличивать количество серверов. Но с этим проблемы. Сегодня насколько я понял мы не можем развести веб-ирбис и сервер ирбиса на разные ПК (речь идет о полнофункциональном варианте с функцией заказа литературы).
Активная книговыдача по штрих-кодам, при которой пауза между сканированием штрих-кода и отображением издания составляет 3-5 сек. уже некомфортна (да аппетит приходит во время еды).

Костя, согласен со всеми доводами. Но тут ситуация упирается в ряд факторов:
1. Веб-Ирбис для отображения страниц запускает форматер, который, пока не отрисует все форматы и не склеит фреймы в итоговую страницу, висит процесом с загрузкой ядра на 100%;
2. любое действие оператора, вызывающее запись, поиск или расформатирование записи, пораждает процесс, который так же съедает ядро и висит в нем до тех пор, пока не закончит обработку.

Так что при росте запросов (хотя от читателей, хоть от сотрудников), требуется рост мощностей. И решение этой проблемы может быть только в принципиальном изменении технологий работы. Так что есть надежды на Ирбис128, другого выхода не вижу.

Давно пропала тема "Список запрещенной литературы", ну и Бог с ней.
Но бывает тем не менее нужно - по самым разным причинам - чтобы "извне" отдельные записи не были видны или чтобы они не индексировались бы ботами... Тем более что ИРБИС применяется не только в РФ...

irbis_arbat@mail.ru

Алексей, пока что аргументированного запроса с таким "бывает" не поступало. Все здравомыслящие люди понимают, что все выставленное в интеренет априори становится доступно ВСЕМ.

Ну ладно, предположим, нет или почти нет ИРБИС-юзеров в Белоруссии, Туркмении... а как Зюганов к власти придет? Или вот Киев "покатоличел", то есть все руководящие посты заняли западненцы-русофобы...

irbis_arbat@mail.ru

Проблемы все еще не вижу.

Gena написал(а):
-------------------------------------------------------
> Алексей, современным ботам глубоко фиолетово какую
> БД использует тот или иной сайт. Они об этих БД
> ничего не знают точно так же, как не знают и наши
Геннадий, а невозможность поиска извне внутри "классических" баз, то есть внутри файлов типа isis или mdb и т. п. - это теперь не недостаток, не актуально?

irbis_arbat@mail.ru

Алексей, в базах данных Ирбиса тоже невозможно искать извне. Это возможно только через АРМ Веб-Ирбис. Если настроить интерфей поиска " внутри файлов типа isis или mdb", то гугловские роботы при определенных условяих проиндексируют эти базы также, как и ирбисовсеие базы

Последнее для меня, деда-Всеведа с трухлявого пенька, сенсация...

irbis_arbat@mail.ru

> Если настроить интерфей поиска " внутри файлов типа isis или mdb", то гугловские роботы при определенных условяих проиндексируют эти базы также, как и ирбисовсеие базы

Роботы поисковиков все это индексирование итак делают через режим поиска web-ирбиса "По словарю". И если не делать никаких ограничений для этого сайта (т.е. защит от роботов), то у всех у кого есть web-ИРБИС поисковые роботы просто живут на сайте и генерируют запросы через этот режим поиска.

Явно нужно разделить темы:
- защита данных на сервере, чисто техническую
- теоретическая возможность и, главное, целесообразность удаленного поиска в "классических" (не "вебовских") базах.
Если это еще актуально.

irbis_arbat@mail.ru

не актуально

С первым понятно - каждый админ решает эту проблему сам "в меру своей испорченности".
А со вторым непонятно, что изменилось принципиально, ведь названным типам файлов данных очень много лет? Долго было невозможно и вдруг стало озможно?

irbis_arbat@mail.ru

Суть в том, что для сети Интернет абсолютно все равно, какие используются базы. Вы можете хоть в текстовом файле хронить информацию, хоть в супер-пупер навороченной базе Оракла. От этого ничего не меняется. Если у вас есть сайт, зарегистрированный в поисковой сети, то робот просто заходит на этот сайт и начинает сканировать начальную страницу на предмент ссылок (в случае с веб-ирбисом это переходы по видам поиска и вид поиска "по словарю", в котором представлены ВСЕ термины из 4 наиболее часто используемых словарей, а это индексы от всей базы) и поочереди переходит по всем ссылкам, запоминая то, что сайт по ним возвращает. Вот и все.

Как зарегистрировать сайт в поисковой системе?

[www.google.ru]

Кирилл Евгеньевич! Можно ли отключить индексирование конкретной базы поисковыми роботами в WEB ИРБИС64 версия 2012.1., используя файл web_dict.pft, прикрепленный в первом посте этой ветки?

Денисова Лариса написал(а):
-------------------------------------------------------
> Кирилл Евгеньевич! Можно ли отключить
> индексирование конкретной базы поисковыми роботами
> в WEB ИРБИС64 версия 2012.1., используя файл
> web_dict.pft, прикрепленный в первом посте этой
> ветки?

В 2012.1 индексирование по-умолчанию отключено (хотя если до этого использовалась другая версия, поисковики могут демонстрировть старые индекссы). Все файлы, которые выкладывались на форуме ранее использовать не стоит -- они априори устаревшие.

Спасибо.

Здравствуйте! В прошлом месяце подключили веб-ирбис (Ирбис 64, 13.1) и через какое-то время статистика обращений к базам подпрыгнула до 10 тыс. за день, а иногда и больше (в это время подключили счетчик Яндекс-метрика). Все дело в роботах, как я поняла? Как можно это исправить, чтобы статистика была более реальной?