Ассоциация ЭБНИТ    ИРБИС-корпорация    Вики-Ирбис    Online/CHM справка Ирбис   
Web Ирбис и Z-Ирбис :  ИРБИС Irbis
 
Страницы: 12>>
Страница: 1 из 2
Оптимизация индексирования WEB ИРБИС роботами (Yandex, Google)
Пользователь: recived (IP-адрес скрыт)
Дата: 18, February, 2013 09:39

День добрый. Пришел к печальному выводу, что ирбис в дефолтном состоянии, не очень хорош как для пользователей так и для ПС (Поисковые системы). Верстка на уровне первокласника (Кросбраузерность и валидность). В плане сео, дела обстоят совсем не ахти (Гугл еще ест некоторые урлы, а вот с яндексом совсем не дружим). Юзабельность со стороны посетителей ужасна (На основании анализа в поведении пользователей на ресурсе), пользователи просто теряются и сваливают, не желая разбираться с тем, как все устроено и работает.

Уважаемые разработчики. С чем связаны такие недостатки? Может быть стоит задуматься улучшить свой продукт и подойти грамотно ко всем решениям задач, которые охватывают ваш продукт?

Банальная минимальная сео-оптимизация дала уже неплохой результат например в гугле (см. скрин). А если произвести все работы которые все недостатки уберут из веб-ирбиса? боюсь даже предствить как будет ценен ресурс для посетителей и как возрастут его показатели.

http://s004.radikal.ru/i207/1302/fb/9987bd446646.png



Редактировано 2 раз. Последний раз 03.03.2013 20:51 пользователем Кирилл Соколинский (СЗТУ).

Re: Веб-ирбис - развитие и прочее.
Пользователь: Konstantinus (IP-адрес скрыт)
Дата: 18, February, 2013 11:57

Что вы понимаете под "баналной СЕО-оптимизацией"?

Прикладываю скрин без онной.

http://irbis.gpntb.ru/file.php?21,file=8180

Веб-шлюз - это только инструмент. Хотите с бантиками и красиво? Тогда берите J-Irbis и пилите Джумлу.

Недостатков масса в обоих решениях. Веб-Ирбис достаточно понятен и гибок, было бы время в нем разобраться, но это безусловно не коробочный продукт.

Да хочеться красиво, быстро, стразу с массой функционала. Пока таких решений не видел вообще, даже зарубежом.

Будет время, напишу обзор веб-модулей различных АБИС. Но общий вывод - до Гугла (морфология, ошибки, автоматический поиск на смежных языках) им всем далеко.

И еще, сделайте у себя поиск Гуглом по вашему ЭК. Мне помогает инога найти то, что очеь трудно стандартными методами.



Редактировано 3 раз. Последний раз 18.02.2013 12:05 пользователем Konstantinus.

Вложения: google.jpg (38.4KB)  
Re: Веб-ирбис - развитие и прочее.
Пользователь: recived (IP-адрес скрыт)
Дата: 18, February, 2013 12:36

Konstantinus написал(а):
-------------------------------------------------------
> Что вы понимаете под "баналной СЕО-оптимизацией"?
Под банальной имел ввиду добавление h1, meta, запрет индексации дублей, страниц печатей и т.п. Все те работы, которые улучшают индексацию и перевариваемость ПС.


> Прикладываю скрин без онной.
>
> [irbis.gpntb.ru]
Все конечно хорошо, но лучше показывать не стабильно проиндексированную стату за несколько лет, а тенденцию роста. Ждать год, когда пс съедят все урлы и не выплюнут их в выдачу по НЧ, как то не хочется.


> Веб-шлюз - это только инструмент. Хотите с
> бантиками и красиво? Тогда берите J-Irbis и пилите
> Джумлу.
>
> Недостатков масса в обоих решениях. Веб-Ирбис
> достаточно понятен и гибок, было бы время в нем
> разобраться, но это безусловно не коробочный
> продукт.
>
> Да хочеться красиво, быстро, стразу с массой
> функционала. Пока таких решений не видел вообще,
> даже зарубежом.
>
Ну а почему бы и нет? Если нет даже за рубежом решений, эт не значит что у нас не может быть таких. Все зависит от желания и рук кодеров ;-) Времени кстати не так уж и много тратиться.


> Будет время, напишу обзор веб-модулей различных
> АБИС. Но общий вывод - до Гугла (морфология,
> ошибки, автоматический поиск на смежных языках) им
> всем далеко.

> И еще, сделайте у себя поиск Гуглом по вашему ЭК.
> Мне помогает инога найти то, что очеь трудно
> стандартными методами.
Мы то знаем как им пользоваться, т.к уже имеем дело с ним. А вот уникам пришедшим из ПС, совсем непонятно как и что устроено. Наверняка у вас стоит метрика и настроен вебвизор. Просто для интереса, поизучайте месяц данные по пользователям. Обратите внимание на их поведение, сколько убегает до 15 сек, сколько переходят далее 2 страниц.

ps. Без обид конечно. Просто обоснованная критика на увиденные мной проблемы. Мне то всего навсего надо поднять цифры для своего ресурса, с чем успешно справляюсь. Но хотелось бы чтобы, на эти недостатки обратили разработчики.



Редактировано 3 раз. Последний раз 18.02.2013 12:51 пользователем recived.

Re: Веб-ирбис - развитие и прочее.
Пользователь: Кирилл Соколинский (СЗТУ) (IP-адрес скрыт)
Дата: 18, February, 2013 20:30

recived написал(а):
-------------------------------------------------------
> Пришел к печальному выводу, что ирбис
> в дефолтном состоянии, не очень хорош как для
> пользователей так и для ПС

Ограничения WEB ИРБИС известны и очевидны не только Вам, но и разработчикам. WEB ИРБИС -- был очень эффективным решением для начала 2000-х годов, но он имеет опрееделённые концептуальные ограничения. Поэтому в настоящее время разрабатывается новое WEB решение для ИРБИС -- J-ИРБИС 2.0. (http://irbis.gpntb.ru/list.php?43)

Если у Вас есть желание участвовать в разработке -- буду рад. Сотоветствующие предложения Читайте раздел Для программистов библиотек здесь: [irbis.gpntb.ru]

> Банальная минимальная сео-оптимизация дала уже
> неплохой результат например в гугле (см. скрин).

В чём этот результат должен выражаться? Вы уверены, что любой(например, ВУЗОвской) библиотеке необходимо, чтобы на неё выходили тысячи пользователей WWW?



Редактировано 1 раз. Последний раз 18.02.2013 20:33 пользователем Кирилл Соколинский (СЗТУ).

Re: Веб-ирбис - развитие и прочее.
Пользователь: Konstantinus (IP-адрес скрыт)
Дата: 18, February, 2013 21:39

Ваша критика понятна. Для лучшего индексирования в Веб-Ирбисе сделано немного.

Просто приймите ситуацию "как есть". У вас есть 3-и пути:
1. Допиливать веб. Обидно конечно изобретать велосипед, но если будем больше делиться опытом, то может и сделаем какие-то решения "дефолтными".
2. Ждать Джей 2.0 и смотреть как там.
3. Писать свой веб-модуль, благо таким разработчики идут на встречу, и есть решения на чистом php.

И представтесь пожалуйста (не для перехода на личности в споре), а в смысле покажите как вы изменили веб-ирбис в лучшую сторону.

Re: Веб-ирбис - развитие и прочее.
Пользователь: recived (IP-адрес скрыт)
Дата: 19, February, 2013 06:30

Кирилл Соколинский (СЗТУ) написал(а):
> В чём этот результат должен выражаться? Вы
> уверены, что любой(например, ВУЗОвской) библиотеке
> необходимо, чтобы на неё выходили тысячи
> пользователей WWW?

Результат в ценности использования ресурса пользователями. Точнее, чтобы пользователь зайдя на ресурс, получил то, что ему нужно, а не бежал или плутал по ресурсу до посинения.


>Если у Вас есть желание участвовать в разработке -- буду рад. Сотоветствующие предложения Читайте раздел Для программистов библиотек здесь: [irbis.gpntb.ru]

Хм. Я так понимаю веб-ирбис уходит в историю и ваша компания делает упор на j-irbis?


Konstantinus написал(а):
-------------------------------------------------------
>Ваша критика понятна. Для лучшего индексирования в Веб-Ирбисе сделано немного.

>Просто приймите ситуацию "как есть". У вас есть 3-и пути:
>1. Допиливать веб. Обидно конечно изобретать велосипед, но если будем больше делиться опытом, то может и сделаем какие-то решения "дефолтными".
>2. Ждать Джей 2.0 и смотреть как там.
>3. Писать свой веб-модуль, благо таким разработчики идут на встречу, и есть решения на чистом php.

1 увлекательней и занимательней :D даже жить веселее стало, ковыряясь в нем. Я бы с радостью бы изучил еще и джей 2.0, но к счастью я не обслуживаю веб-ирбис и занимаюсь им исключительно на энтузиазме.

> И представтесь пожалуйста (не для перехода на личности в споре), а в смысле покажите как вы изменили веб-ирбис в лучшую сторону.
Предпочитаю оставаться в тени по тем или иным причинам, так что простите уж ).



Редактировано 1 раз. Последний раз 19.02.2013 07:48 пользователем recived.

Re: Веб-ирбис - развитие и прочее.
Пользователь: recived (IP-адрес скрыт)
Дата: 19, February, 2013 06:50

От себя добавлю некоторые рекомендации (Может кому будет интересно):

1. robots.txt - установите запрет индексации на дубли страниц, версии для печати и прочий хлам. пример (Остальное дополняйте по вашим требованиям):

Disallow: /*print
Disallow: /*S21FMT=briefwebr
Disallow: /*S21FMT=infow_wh
Disallow: /*S21SRD=DOWN
Disallow: /*S21SRD=UP
Disallow: /*S21SRW=AVHEAD
Disallow: /*S21SRW=dz
Disallow: /*S21SRW=GOD
Disallow: /*S21SRW=TIPVID
Disallow: /*MFN=

2. Сделайте динамические тайтлы (не методом js) - каждая страница должна быть с уникальными title.

3. Мета description - тоже самое что и тайтлы, только порог в 200 символов и желательно инфу дергать из аннотаций.

4. Вывод поискового запроса в теле страницы , отфильтруйте и обрамите в h1, пример:
Поисковый запрос: (<.>A=Бажов, Павел Петрович$<.>) ==> Поисковый запрос: Бажов, Павел Петрович

5. Верстку сменить с табличной на блочную, убрать все комментарии, лишние теги, вычистите от лишнего хлама.

6. Новые окна (Регистрация, авторизация) - можно сделать с использованием fancybox. Пользователям нравятся такие штучки да и удобней.

7. Ссылкам навигации добавить описания. Переименовать вложенность в нормальный вид "Янд.Быстрые ссылки"

8. Сделайте разметку для структурирования данных в выдаче гугла по каждому критерию (Автор, рубрика, ключевое и т.д):

Землянухин, Александр Валентинович - Электронный каталог
[mydomain.tpl]?...
Электронный каталог - Найдено документов(книг): 124
На этом месте будет появляться фрагмент страницы. Поскольку текст зависит от введенного запроса, сейчас он не отображается.

9. Если не установлен ГА, установите. Дополните его сбором информации об:
- Открытие страницы регистрации
- Успешных регистраций
- Количество поисков и текст поиска
- Количество авторизаций
- Другие функции которые вы хотите анализировать

Все это даст более тщательное представление об использовании тех или иных функций (частей) ресурса. Если будут происходить какие либо улучшения, вы уже будете видеть эффективность ваших новвоведений.

10. Не подключена Метрика? Подключайте. С помощью вебвизора сможете изучить поведения пользователей на ресурсе и выявить проблемные места. Ну и за некоторыми данными, удобнее следить в метрике и анализировать их.


Остается только решить задачу с яндексом. Может кто поделится данными по яндексу (кол.проиндексированных и кол.в поиске) дабы подтвердить мою теорию, что страницы под АГС?



Редактировано 2 раз. Последний раз 19.02.2013 07:03 пользователем recived.

Re: Веб-ирбис - развитие и прочее.
Пользователь: Grievous (IP-адрес скрыт)
Дата: 19, February, 2013 07:47

Konstantinus написал(а):
-------------------------------------------------------
> И представтесь пожалуйста (не для перехода на
> личности в споре), а в смысле покажите как вы
> изменили веб-ирбис в лучшую сторону.

Каталог доступен тут
[catalog.unatlib.org.ru]

Re: Веб-ирбис - развитие и прочее.
Пользователь: Konstantinus (IP-адрес скрыт)
Дата: 19, February, 2013 09:32

Спасибо, каталог раньше нашел сам. Некоторые идеи понравились (в части дизайна), утяну к себе в [e-catalog.mk.ua]

Про Яндекс:
Загружено роботом - e-catalog.mk.ua - 378304
В поиске - 5377

Так что думаю что это общая проблема.

И еще, спасибо за СЕО советы.
В robots.txt не забудьте Disallow: /*PRINT (оказалось что боты чувствительны к регистру)



Редактировано 3 раз. Последний раз 19.02.2013 09:51 пользователем Konstantinus.

Re: Веб-ирбис - развитие и прочее.
Пользователь: recived (IP-адрес скрыт)
Дата: 19, February, 2013 10:00

Konstantinus написал(а):
-------------------------------------------------------
> Спасибо, каталог раньше нашел сам. Некоторые идеи
> понравились (в части дизайна), утяну к себе в
> [e-catalog.mk.ua]
>
> Про Яндекс:
> Загружено роботом - e-catalog.mk.ua - 378304
> В поиске - 5377
>
> Так что думаю что это общая проблема.
>
> И еще, спасибо за СЕО советы. Как бы вроде все и в
> теме, но смотрю вы глубоко копаете (так и до Сапы
> докопаетесь :) )

От меня требуют повышать цифры. Сунулся и увидел, что можно дорабатывать и дорабатывать. Можно так допилить что уши в трубку завернутся от результата :D . Методами раскрутки через биржи, нужнаются только ВЧ. А нафига нам это надо? Нам будет достаточно улучшить выдачу по НЧ да и повысить лояльность ПС. По некоторым выше советам отображу на скринах результат работы с 20 декабря по сегодняшние работы.

http://s019.radikal.ru/i635/1302/d9/21e47429300b.png

Далее уже надо будет работать с интерфесом, чтобы направить пользователей туда, куда мы хотим. Например мне нужно, чтобы пользователь проявил интерес к ресурсу, зарегистрировался, залогинился и скачал файлы книг. Все это можно расчитать, грамотно продумать и поднять цифры в разы, за счет простой оптимизации интерфейса. Но это уже совсем другая история (с)

Сейчас буду думать как вывести страницы из под АГС яши. Есть идея одна в голове, если получится, то ждет прыжок высоко вверх по стате. Сейчас в яше (132981/505). + из всех проиндексированных ссылок 50% нуждаются в переиндексации.



Редактировано 4 раз. Последний раз 19.02.2013 10:35 пользователем recived.

Re: Веб-ирбис - развитие и прочее.
Пользователь: recived (IP-адрес скрыт)
Дата: 19, February, 2013 10:46

Кирилл Соколинский (СЗТУ) написал(а):
-------------------------------------------------------
> recived написал(а):
> --------------------------------------------------
> -----
> > Пришел к печальному выводу, что ирбис
> > в дефолтном состоянии, не очень хорош как для
> > пользователей так и для ПС
>
> Ограничения WEB ИРБИС известны и очевидны не
> только Вам, но и разработчикам. WEB ИРБИС -- был
> очень эффективным решением для начала 2000-х
> годов, но он имеет опрееделённые концептуальные
> ограничения.

Исходя из вышенаписанных улучшений, ограничений пока что не увидел хоть и извернулся ).



Редактировано 1 раз. Последний раз 19.02.2013 10:49 пользователем recived.

Re: Веб-ирбис - развитие и прочее.
Пользователь: recived (IP-адрес скрыт)
Дата: 21, February, 2013 13:00

Ну что же, за два дня переверстал карточки в соответсвии с принципами разметки [schema.org]. Почитать про разметку можете тут (http://help.yandex.ru/webmaster/?id=1122752). Что сделал?

1. Из страницы убрал зажирнения слов с помощью html <b>, заменил их span'ами и прописал в css (Незачем нам выделение лишних нетематических слов, которые сбивают Я).

2. Заметил еще один ньюанс. В теле страницы выводятся теги <b></b> или <br><br><br>. Как бы в них должны содержаться данные, но их нет. Пришлось дописывать условия, при которых не выводились бы теги если данных нет.

3. Добавил title в ссылки по типу "Показать все документы по автору Вася Пупкин" и т.д на другие ссылки, рубрики, кл.слова.

4. Закрыл все ВС noindex,nofollow.

5. Навигационным ссылкам (Бд) добавил title.

5. Разметку сделал по Schema. Незнаю пока что выйдет. Реализовал все переделки на отдельной БД с минимум записей. Так что, будет с чем сравнивать и вычислять результат от проделанной работы. И так, разбил данные по этому принципу (http://schema.org/Book). См.Скрин.

http://s52.radikal.ru/i138/1302/79/88a4334bedd4.png

Выхлоп тут [http://pastebin.com/P5v4ggBh]

На период 20.02 статистика Яндекса см.тут /3/:
http://cs411719.userapi.com/v411719613/64a9/DMc75_9baWU.jpg

Через месяц можно будет сравнить как идет индексация и сколько страниц в выдаче.



Редактировано 2 раз. Последний раз 21.02.2013 13:08 пользователем recived.

Re: Веб-ирбис - развитие и прочее.
Пользователь: Konstantinus (IP-адрес скрыт)
Дата: 21, February, 2013 14:39

Будем ждать ваших наработок в открытом доступе.

Re: Веб-ирбис - развитие и прочее.
Пользователь: recived (IP-адрес скрыт)
Дата: 22, February, 2013 06:58

Всем привет. Сегодня познакомлю с ПО, которое даст возможность просканировать ирбис и создать карты сайта (sitemap) для Я и гугла.

1. GSiteCrawler - Старенькая, но очень хорошая программа создания карты сайта. Исходя из сканирования ирбиса, нашел для себя пару минусов.
- Плохая скорость работы (На 50к урл ушло ~3 суток)
- Ограничение Базы 900MB. (Без ограничений, если база лежит на MSDE, но я так и не стал замарачиваться ее установке.)
- Глючность (Все таки софт 2008г).

Шаг 1: Начнем. Сразу же после установки, проходим в file->Global Option->General меняем на Language на русский. Перезапускаем программу и получаем русский интерфейс.

Шаг 2: Во вкладке "Проект" указываем название, и урл нашего ирбиса (http://irbis.tpl/).
(Если у вас разбиты базы по /cgi-bin/1/ /cgi-bin/2/ /cgi-bin/3/ то лучше добавляйте по этим параметрам)

Шаг 3: Настройки:Для себя я поменял в настройках (File->Общие настройки)только:
1. Количество краулеров (15)
2. Макс.разрешенный размер (2000)
3. Пауза между запросами (1 сек)

Шаг 4: Во вкладке настройки делаем как показано на скрине "" (Дописываем exe,EXE расширение для сканирования.)

Шаг 5: По желанию я добавлял фильтры по условиям которых отбрасывались бы урлы и не попадали в скан (Исходя из моего robots.txt). Это типа версий для печати и т.п. Установить их сможете зайдя во кладки: Фильтр->Банить URL-ы-> (Кнопка) Импортировать robots.txt.
!!!прим. При скане у меня все равно всплывали запрещенные урлы после чего я добавил теже правила в "Фильтр" во вкладку "Отбрасывать части".

Шаг 6: И так после всех настроек теперь нам необходимо скормить десяток урлов нашим краулерам. Зачем? Краулеры начинают сканировать ваш проект исходя из введеного вами Главного урла, конкретно это страницы в корне сайта index. Тут придется вам создать в корне ирбиса данный файл и напихать туда ссылок на ваш ирбис (Желательно в разные части)

После всего проделанного, можете нажимать кнопку Запуск и смотреть как краулеры собирают урлы.

Как выгрузить карту сайта, я думаю у вас не возникнет вопросов (не забудьте ее прописать в robots.txt.). Пример карты тут [catalog.unatlib.org.ru]

зы: Чуть позже выкину вторую софтину.

http://s017.radikal.ru/i404/1302/db/1a4ca6d9e369.png
http://s019.radikal.ru/i616/1302/61/d1f630e1100a.png



Редактировано 1 раз. Последний раз 22.02.2013 07:03 пользователем recived.

Re: Веб-ирбис - развитие и прочее.
Пользователь: Konstantinus (IP-адрес скрыт)
Дата: 22, February, 2013 10:28

Какой размер итогового сайтмапа? Возможно есть смысл делать несколько сайтмапов по 2мб?

Re: Веб-ирбис - развитие и прочее.
Пользователь: recived (IP-адрес скрыт)
Дата: 22, February, 2013 11:26

Гугл принимает не более 10мб. Так что 9.5мб делайте, да и GSiteCrawler автоматически при создании карты сайта, разобьет файлы на неболее 10мб. Мой вышел в 46926 на 21мб

На выходные включу другую программу (SiteMapG) на сканирование оставшейся БД. Примерно 2кк для скана, из них ~70% попадет под фильтры. Думаю 300-500к урлов в сайтмап упадут. Но неизвестно как поведет себя программка при таких объемах. Если все норм, выложу фак по ней. Единственное, что она файлы не делит на части. Тут уже bashем доделаю с переразбавкой на каждую БД (http://catalog.unatlib.org.ru/sitemap/polnotext.xml). Вчера Попробовал ею отсканить пару баз, в итоге в сайтмап упало 46к урлов за 190мин. Скорость быстрее чем в gscrawler.



Редактировано 6 раз. Последний раз 22.02.2013 12:56 пользователем recived.

Re: Оптимизация индексирования WEB ИРБИС роботами (Yandex, Google)
Пользователь: recived (IP-адрес скрыт)
Дата: 15, March, 2013 06:01

Ну что неплохо... Основной поток с гугла. В яндексе так и не смог реанимировать, имхо надо полностью все переверстывать и менять. На этом и заканчиваю свою работу с веб-ирбисом )
http://s017.radikal.ru/i431/1303/3c/ee852baf984a.png

Re: Оптимизация индексирования WEB ИРБИС роботами (Yandex, Google)
Пользователь: Konstantinus (IP-адрес скрыт)
Дата: 15, March, 2013 10:48

Осталось 2-а вопроса:
1. С Яндексом бороться не будем?
2. "переверстал карточки в соответсвии с принципами разметки schema.org" - не хотите рассказать немного больше?
3. Ну и про верстку DIV'ами с удовольствием послушаем.

Хотел поблагодарить за то, что благодаря вам начал менять дизайн, а то уже давно пока что-то было "оптимизировать".

С другой стороны нагрузка с Гугла запредельная, не знаю что даже можно сделать. В "инструментах вебмастера" понизил частоту опроса, но пока не помогает.

Re: Оптимизация индексирования WEB ИРБИС роботами (Yandex, Google)
Пользователь: recived (IP-адрес скрыт)
Дата: 16, March, 2013 09:35

>>Осталось 2-а вопроса:
>>1. С Яндексом бороться не будем?
Я так думаю чтобы в яндексе выйти из под фильтров, это нужна полная переработка вебирбиса. Но вооозможно поможет только SEF (ЧПУ). Над их реализацией я не думал, но что-то внутри меня говорит, что это возможно сделать без проблем. Остальные предложенные мои идеи, реализация которых, так или иначе повлияли бы на некоторые изменения в отображении (Дизайн), просто отсеяло начальство, основываясь на личных предпочтениях и хотелках по типу "Ой мне так не нравится", "Я так просто не хочу" и т.п. Так что мой энтузиазм пропал, делать интересные и нужные вещи в веб-ирбисе =).

>> 2. "переверстал карточки в соответсвии с принципами разметки schema.org" - не хотите рассказать немного больше?
Структуированные данные которые по определенному принципу отображаются в поисковых результатах. Лучше конечно почитать тут [help.yandex.ru] и тут [support.google.com] . Сорри я просто с тяжелой ночи, мыслей нет по этому поводу.

>>3. Ну и про верстку DIV'ами с удовольствием послушаем.
Что именно по дивам вам интересно?

>>Хотел поблагодарить за то, что благодаря вам начал менять дизайн, а то уже давно пока что-то было "оптимизировать".
Да я тут не причем ). Просто показал, что работать есть над чем, было бы желание!

>>С другой стороны нагрузка с Гугла запредельная, не знаю что даже можно сделать. В "инструментах вебмастера" понизил частоту опроса, но пока не помогает.
А вот это уже отдельная не менее интересная темка. Возможно масса вариантов. Поставить nginx как fronend и отдавать весь хлам типа css, js, jpg и прочие такие данные. Также как вариант перенаправлять ботов на другую машину (Зеркало). Или проще сменить железо =). По оптимизации серверов на базе win, тут я не могу помочь, я работаю исключительно с линем.



Редактировано 1 раз. Последний раз 16.03.2013 09:41 пользователем recived.

Re: Оптимизация индексирования WEB ИРБИС роботами (Yandex, Google)
Пользователь: Konstantinus (IP-адрес скрыт)
Дата: 16, March, 2013 10:30

>>Поставить nginx как fronend и отдавать весь хлам типа css, js, jpg и прочие такие данные.

Не поможет. Там основная нагрузка от исполнения кода шлюза.
Вечно железо апгрейдить не получиться.

Re: Оптимизация индексирования WEB ИРБИС роботами (Yandex, Google)
Пользователь: recived (IP-адрес скрыт)
Дата: 16, March, 2013 11:49

Konstantinus написал(а):
-------------------------------------------------------
> >>Поставить nginx как fronend и отдавать весь хлам
> типа css, js, jpg и прочие такие данные.
>
> Не поможет. Там основная нагрузка от исполнения
> кода шлюза.
> Вечно железо апгрейдить не получиться.

А если шлюз на 2 машины как зеркало и распределять трафик по обеим машинам?

Re: Оптимизация индексирования WEB ИРБИС роботами (Yandex, Google)
Пользователь: Konstantinus (IP-адрес скрыт)
Дата: 16, March, 2013 17:11

Конечно можно, но проблема будет в функции заказа литературы. Изменния должны происходить в обоих БД.

Re: Веб-ирбис - развитие и прочее.
Пользователь: Gena (IP-адрес скрыт)
Дата: 19, April, 2013 12:28

Помогите пожалуста разобраться с GSiteCrawler. Все настроил по вашему описанию. Но после запуска краулеры находят 200 урлов и говорят, что это все. Но такого точно быть не может. И еще. Краулер режит крлы по кириллице. Я ни в одном урле не увидел кириллических символов, а они там точно есть!

Re: Оптимизация индексирования WEB ИРБИС роботами (Yandex, Google)
Пользователь: recived (IP-адрес скрыт)
Дата: 30, April, 2013 07:04

Всем привет. Давно не заглядывал сюда. Отчет ниже по визитам. Макс 902. Ну и почти хорошие новости. Скорее всего продолжу перебирать веб-ирбис полностью, начиная от исправления мелких косяков, до полной смены интерфейса для максимального увеличения юзабельности. Целью работ будет повышение цифорок по скачиванию книг а также увеличения количества поисковых запросов в ирбисе. ).
http://s019.radikal.ru/i633/1304/a5/6ccf0f760a00.png



Gena написал(а):
-------------------------------------------------------
> Помогите пожалуста разобраться с GSiteCrawler. Все
> настроил по вашему описанию. Но после запуска
> краулеры находят 200 урлов и говорят, что это все.
> Но такого точно быть не может. И еще. Краулер
> режит крлы по кириллице. Я ни в одном урле не
> увидел кириллических символов, а они там точно
> есть!

Используйте эту программу SiteMapG. С ней проще работать и меньше глюков. Единственный глюк в ней то, что по какой то причине она перестает сканировать. Причем я не нашел ни каких логических связей возникновения данной ошибки и не смог определить, из-за чего именно глючит.

Re: Оптимизация индексирования WEB ИРБИС роботами (Yandex, Google)
Пользователь: Gena (IP-адрес скрыт)
Дата: 30, April, 2013 10:46

Спасибо, я эту утилиту уже нашел и именно с ее помощью сделал себе сайтмеп. На счет глюка с остановкой сканирования - это первое, с чем в ней сталкнулся. Пришлось три раза запускать сканирование для того, что бы просканировать все.

Re: Оптимизация индексирования WEB ИРБИС роботами (Yandex, Google)
Пользователь: recived (IP-адрес скрыт)
Дата: 05, May, 2013 17:54

Gena написал(а):
-------------------------------------------------------
> Спасибо, я эту утилиту уже нашел и именно с ее
> помощью сделал себе сайтмеп. На счет глюка с
> остановкой сканирования - это первое, с чем в ней
> сталкнулся. Пришлось три раза запускать
> сканирование для того, что бы просканировать все.

Я каждый день в течении 3 недель мучался сканировал. В итоге собрал почти 80% всех урлов. С глюком боролся так:
Сканировал урлы до глюка. Невыходя из программы копировал папку кеша в другое место. После удалял содержимое кеша и останавливал программу. При запуске, программа должна предварительно очистиьт папку кеша и заново собирать урлы. Поэтому сначала жал на старт и сразу приостанавливал, далее копировал кеш обратно в папку и снимал с паузы. Таким образом, она должна сначала отсканировать файлы в кеше, а после уже опять продолжить сканировать. Ну а дальше можно делать сайтмап и разбивать его с помощью bash как угодно.



Редактировано 1 раз. Последний раз 05.05.2013 17:55 пользователем recived.

Re: Оптимизация индексирования WEB ИРБИС роботами (Yandex, Google)
Пользователь: indiana (IP-адрес скрыт)
Дата: 28, May, 2013 13:18

А мощность сервера что бы этой программой просканировать большая должна быть? На 2-ух ядерном можно или он не справится?



Редактировано 1 раз. Последний раз 28.05.2013 13:20 пользователем indiana.

Re: Оптимизация индексирования WEB ИРБИС роботами (Yandex, Google)
Пользователь: indiana (IP-адрес скрыт)
Дата: 28, May, 2013 13:18

А как вывести статистику посещаемости (обращений) на сайте в вебирбисе как [тут] и что бы с циферками было по базам, а то у нас по нулям всё [опс]
Спасибо.



Редактировано 7 раз. Последний раз 29.05.2013 03:40 пользователем indiana.

Re: Оптимизация индексирования WEB ИРБИС роботами (Yandex, Google)
Пользователь: pivo (IP-адрес скрыт)
Дата: 30, May, 2013 07:32

indiana написал(а):
-------------------------------------------------------
> А как вывести статистику посещаемости (обращений)
> на сайте в вебирбисе как [тут] и что бы с
> циферками было по базам, а то у нас по нулям всё
> [опс]
> Спасибо.


Включение режима ведения статистики
Способы работы с базой статистики определяются рядом параметров в секции [MAIN] INI файла WEB ИРБИС.
Ведение статистики включается раскомментированием или добавлением параметра:
LogDateBase=LOGDB
Он указывает, что система должна записывать запросы в базу LOGDB.
Поскольку переполнение базы LOGDB может крайне негативно отразиться на состоянии системы, пользователю предлагается ежедневно опустошать базу статистики и экспортировать её содержимое в файлы CSV, легко интерпретируемые в Excel.
Необходимость ежедневного экспорта данных включается параметром:
EveryDayEmtyLogDB=1
Название файла формата, согласно которому должен создаваться отчёт определяется параметром:
EveryDayEmtyLogDB_Format=otchet
Название формата отчёта определяется параметром:
EveryDayEmtyLogDB_Report=otchet.csv

После установки параметров INI файла требуется создать в АРМе Администратор небиблиографическую базу LOGDB и скопировать в неё все файлы из папки Addins\Statistic\logdb
Подключение краткой формы статистики
Для подключения краткой формы статистики требуется:
1. Скопировать файлы из папки Addins\Statistic\Shot Stat Files\Logdb в одноимённую папку базы.
2. Раскомментировать ссылку на статистическую форму в файле footer_7.frm (удалить один восклицательный знак в конструкции <!!FILE=stat.frm>)
Подключение полной формы статистики
Для подключения полной формы статистики требуется:
1. Скопировать файлы из папки Addins\Statistic\Full Stat Files\Logdb в одноимённую папку базы.
2. Раскомментировать( удалить обрамляющие их ‘<!—‘ и ‘-->’) строки в файле deposit\search_modes.pft

Re: Оптимизация индексирования WEB ИРБИС роботами (Yandex, Google)
Пользователь: indiana (IP-адрес скрыт)
Дата: 30, May, 2013 13:30

Спасибо!smileys with beer

Страницы: 12>>
Страница: 1 из 2


Извините, только зарегистрированные пользователи могут писать в этом форуме.
This forum powered by Phorum.