Ассоциация ЭБНИТ    ИРБИС-корпорация    Вики-Ирбис    Online/CHM справка Ирбис    FTP-сервер
Электронные архивы :  ИРБИС Irbis
Cистема структурированного хранения электронных документов, обеспечивающая надежность хранения, конфиденциальность и разграничение прав доступа, отслеживание истории использования документа, быстрый и удобный поиск. Источник: Wikipedia 
Страницы: <<Первая...4748495051525354555657
Страница: 57 из 57
Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 06, March, 2019 20:32

Что касается известных ботов, это понятно. Посмотрите кстати на robots.txt куррент ветки dspace - там вообще побанили всех честных краулеров :) Я ограничился crawl дилеем - [elar.rsvpu.ru]

А что до увеличения страниц, Иван Мазар еще пару лет назад продвигал "Disallow: /browse", так что "Disallow: /*/simple-search" в контексте "вот тебе робот сайтмап, и знай своё место" не выглядит так уж страшно.

Кстати, когда были проблемы со входом новых репозиториев в гугл, мои "админы" требовали иных дйствий - требовали роста кэша гугла. Делал так - [ideafix.name]

Re: DSpace (установка, настройка)
Пользователь: Zhanat (IP-адрес скрыт)
Дата: 13, March, 2019 07:28

Здравствуйте. Переехали на последнюю версию dspace до этого был 3.1. Теперь все медленно работает. И не сказать что уж процы сильно загруженны. Крутится все на виртуалке. У кого были такие же проблемы и как их решили? Спасибо за ответы.

Re: DSpace (установка, настройка)
Пользователь: Allenrush (IP-адрес скрыт)
Дата: 13, March, 2019 09:19

Здравствуйте! Пробую настроить корректно oai, но выдает ряд ошибок:
Checking ListSets response
REQUEST [elib.gsu.by] GET
WARN Malformed response: not well-formed (invalid token) at line 1, column 717, byte 817 at /usr/lib64/perl5/vendor_perl/XML/Parser.pm line 187. . The most common reason for malformed responses is illegal bytes in UTF-8 streams (e.g. the inclusion of Latin1 characters with codes>127 without creating proper UTF-8 mutli-byte sequences). You might find the utf8conditioner, found on the OAI tools page helpful for debugging.
FAIL Failed to parse response
FAIL Can't check set names
Checking ListIdentifiers response
REQUEST [elib.gsu.by] GET
FAIL Server failed to respond to the ListIdentifiers request (HTTP header values: status=500 Internal Server Error, age=0, lifetime=3600, is fresh:=1)
FAIL No ListIdentifiers response with content
NOTE The base URL did not respond to the ListIdentifiers verb.Without that, we cannot proceed with the validation test. Exiting.
FAIL ABORT: The base URL did not respond to the ListIdentifiers verb. Without that, we cannot proceed with the validation test. Exiting.
С чем может юыть связано?

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 13, March, 2019 11:44

Allenrush
Покажите параметры запуска явы и томкэта, такое ощущение что ява работает не в УТФ8. В качестве проверки в рабочем ОАИ фиде найдите заглавие или автора с буквой Й в стсаве... если всё слетит нафиг - дело в кодировке явы/кота.
[ideafix.name] не факт что у Вас именно этот случай, но мало ли.

Zhanat
Последняя это 5.10 или 6.3? Покажите с каким Xmx запускается томкэт и какой Xmx стоит в dspace.sh, так же по htop (или у Вас виндовс?) посмотрите утилизацию памяти и кто ест проц.

Вообще, пятый ест больше третьего, но к примеру [elar.usfeu.ru] мы стабилизировали на объёме памяти 1.75GB под Windows - всё работало сносно.



Редактировано 1 раз. Последний раз 13.03.2019 11:47 пользователем IdeaFix.

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 13, March, 2019 11:52

Allenrush
У Вас очень старый dspace и очень старый tomcat. Помнится, до версии 5.3 были серьезные блокирующие баги, потом (вплоть до 5.10) было развитие XMLUI и латание дыр. Если "SOLR везде" не нужен, планируйте обновление до 5.10 и tomcat 7.0.9x, многие проблемы уйдут сами собой

Re: DSpace (установка, настройка)
Пользователь: Zhanat (IP-адрес скрыт)
Дата: 14, March, 2019 08:11

IdeaFix
Версия dspace 6.3. Стоит на винде Server 2008 R2. Xmx 1500 так как томкат 32 разрядный. Проц в основном кушает томкат но не сильно процентов на 30. Возможно надо попробовать все перевести в 64 и дать коту побольше памяти.

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 14, March, 2019 10:38

Zhanat
Tomcat не имеет разрадности в привычном смысле. Если ОС и JAVA x64, то и томкэт выжрет столько, сколько дадут. Но 1.5гб это мало.

Re: DSpace (установка, настройка)
Пользователь: phoenix2 (IP-адрес скрыт)
Дата: 14, March, 2019 16:13

Здравствуйте, коллеги. Меня засыпает спам через страницу feedback. По-идее, обратной связью может воспользоваться только авторизованный пользователь, однако у себя в почте я вижу такое:

Date: 14.03.19 17:12
Email: cathy@promo.kathreadwrites.net
Logged In As: null
Referring Page: [dspace.bsu.edu.ru]

т.е. посыл сообщения был от некого пользователя null, ссылка на страницу обратной связи из UI скрыта, но, сами понимаете, страница такая с формой существует. Вопросы (может подскажете, как решить):
1) Как убрать возможность пользоваться страницей feedback от юзера null?
2) Как реализовать капчу на форме feedback? (для jspui в интернетах не нашел, есть только для xmlui)
Спасибо.

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 14, March, 2019 17:00

Ну, капча - не проблема... отредактировать form.jsp - не самая сложная задача. Для остального же имхо нужно обновиться до 5.10.

Re: DSpace (установка, настройка)
Пользователь: phoenix2 (IP-адрес скрыт)
Дата: 16, March, 2019 21:12

Спасибо за ответ. Я так понял с официального сайта, что даже в пределах релизов 5.х я не могу свой ресурс обновить как, например, винду 10 - обновление порушит всю мою локализацию, её надо будет делать заново:( Решил вопрос с обратной связью втупую - просто заменил эту форму заглушкой.
У меня еще вопрос по статистике DS. Недавно столкнулся с проблемой заполнения диска логами DS (каждый день получал логи по 300-400 Мб). Предотвратил проблему тем, что в конфигах логов поменял режим с Info на Warning. В бытность обновления моего ресурса до версии 5.5 вы журили меня за то, что я все старые логи снес, что от этого пострадала статистика за прошлые годы использования. Я где ни копал, везде пишут, чтоб насчет логов не парился, что на статистику они не влияют. Вопрос: можно ли удалять старые логи, если ответ слишком длинный, киньте ссылку, где об этом можно почитать, пожалуйста? Если это важно, месячные отчеты у меня генерятся каждый месяц, общий отчет - каждый день...
Спасибо.

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 17, March, 2019 13:59

1. Читайте насчёт обновления в документации. При запуске ant update (при учете верной настройки) в /dspace сохранятся все ваши кастомизации в файлах с измененным именем. Т.е. /dspace/config/dspace.cfg превратится в /dspace/config/dspace.cfg.DDMMYYY.old и так с КАЖДЫМ обновленным конфигом/файлом/папкой. Но настоящие сварщики все изменения вносят в исходник и пересобирают уже чистовой вариант.

https://pp.userapi.com/c850036/v850036768/153290/kAXd7QHZkwk.jpg

По webapps всё не так детально, но кастомизации webapps обычнос водятся к /browse, /layout, /static/css/ и еще паре мест (сужу по jspui), так что, всё это можно сделать пока идет index-discovery Реально я на прошлой неделе трижды обновлял по два dspace в день без отрыва от основной работы.


У меня реально работало так:
0. делаем бэкап
1. делаем mvn -U clean package
2. делаем ant update
3. борем постгрес, а то в документации не очевидно описаны проблемыы flyaway3, но при этом описано явно что всё якобы делаетися автоматом.
4. Как только у нас всё запустилось, делаем dspace index-discovery и пока оно делается (у меня минимум час), кстомизируем сначала прямо наживую вебаппс, там перезагрузка кота не нужна, а потом те конфиги, которые забыли в /dspace/*. Как индекс дискавери прошел, перезапускаем кота и всё..

Этот способ почти без оговорок работает даже при апгрейде с 3.х до 6.х (там будет параллельная проблема с postgres и последовательная с solr), но и это не сложно. Вот с 1.4.х до 4.х и выше - это да, это боль в плане SOLR, а в остальном - фигня.



2. Сжатие логов (папки) средствами файловой системы.

https://pp.userapi.com/c850036/v850036768/153297/Y3KsK0z8hcY.jpg

В три раза... а под линукс я бы в 10 раз сделал без особых потерть производительности. А если потереть логи и сделать dspace stat-initial && dspace stat-report-initial, что происходит? На самом деле самому интересно. Вернее, у меня происходит известно что, но мало ли, вдруг дело в настройках.

Картинки пошарил через vk, если не грузится по каким-то причинам, используйте прокси.



Редактировано 4 раз. Последний раз 17.03.2019 14:05 пользователем IdeaFix.

Re: DSpace (установка, настройка)
Пользователь: phoenix2 (IP-адрес скрыт)
Дата: 18, March, 2019 14:05

Спасибо за ответ. Обновлением займусь года через 2. Пускай ЖЦ релиза нашего репозитория будет 5 летsmiling smiley Насчет stat-initial и stat-report-initial, я как-то думал, что эта парочка делается раз при установке\обновлении, а дальше я только по cron генерю общую и месячную статистику. А разве это не так должно работать, как часто и зачем надо еще делать stat-initial?

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 18, March, 2019 16:51

stat-initial делается для перегенерации месячной статистики при обновлении/уточнении списка роботов или при пропуске какого-то из месяцев по каким-то причинам (сбой, не успело и пр.). Т.е. если месяц пропущен, или правила обновлены - stat-initial. А stat-general и так с начала времен всё дергает.

Насчет ЖЦ, тут надо всё же багрепортами и релиз ноутсами руководствоваться... я начал обновляться, когда скриптовые иньъекции в именах пользователей стали очень уж частыми :(

С другой стороны, у белорусских коллег на 5.2 сломаны просмотровые индексы (это релиз с ошибкой) - [elib.gsu.by] и ничего... пользуются.

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 19, April, 2019 18:51

[www.opennet.ru]

Страшно же?

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 21, May, 2019 12:27


Re: DSpace (установка, настройка)
Пользователь: woodyfon (IP-адрес скрыт)
Дата: 21, May, 2019 17:03

Ждем экспорт в xml для регистрации DOI и от OJS можно будет отказываться.

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 21, May, 2019 22:20

Хмм... OJS - электронное издательство. Там совершенно другой функционал.

А что касается DOI, так там вроде датацитовские (или кроссрефовские?) уже и так работают. Какой-то механизм есть.

В любом случае, никто не мешает написать OAI трансформер, который будет прямо готовый фид давать в/для кроссрефа.

Re: DSpace (установка, настройка)
Пользователь: PVF (IP-адрес скрыт)
Дата: 07, June, 2019 15:04

IdeaFix написал(а):
-------------------------------------------------------
> Что касается известных ботов, это понятно. Посмотрите кстати на robots.txt куррент ветки
> dspace - там вообще побанили всех честных краулеров :) Я ограничился crawl дилеем - [elar.rsvpu.ru]
Я оставил стандартный с ветки со всеми закрытыми честными краулеров + закрыл пользовательские.

> А что до увеличения страниц, Иван Мазар еще пару лет назад продвигал "Disallow: /browse", так что
> "Disallow: /*/simple-search" в контексте "вот тебе робот сайтмап, и знай своё место" не выглядит так
> уж страшно.
[wiki.duraspace.org]
/*/simple-search пришлось открыть.
По команде site: при 10 тис. материала - цифра 1.3 млн. , а например site:elar.rsvpu.ru/& - 48 тис.
Причина не ясна.

> Кстати, когда были проблемы со входом новых репозиториев в гугл, мои "админы" требовали иных
> дйствий - требовали роста кэша гугла. Делал так - [ideafix.name]
Данный инструмент [www.auditmypc.com] работает только с Internet Explorer + включенная Java.
В ручную сделать sitemap не получилось. Спасибо!

Это только у меня пропали все ссылки на источник-репозитарий, бесплатные полные тексты публикаций, которые имеют значок [PDF] в Google Scholar?

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 07, June, 2019 16:25

> Я оставил стандартный с ветки со всеми закрытыми честными
> краулеров + закрыл пользовательские.

Тут у каждого своя ситуация. Нас, к примеру, в круг ложил text.ru, который вообще представляется хромом и игнорирует robots.txt. Поэтому пришлось банить целый VDS'ник. До того, пришлось забанить Китай... все автономки :) Фаерволлом, насовсем. понимаю что роскомнадзор стайл, но... чем богаты.

> По команде site: при 10 тис. материала - цифра 1.3 млн.
> а например site:elar.rsvpu.ru/& - 48 тис. Причина не ясна.

Именно elar.rsvpu.ru получал серьезные штрафы. Там с метаданными перемудрили и где-то при 20 тысяч фонда удалили поле source, т.к. оно не несло особой пользы, но вводило харвестеры в заблуждение. Сильно просел и google scolar и google search.

А насчет изменений в scholar - я воспринимаю это как смену времен года, или глобальное потепление.... на это нельзя повлиять, это не нужно пытаться объяснить... это даже понимать не надо. Оно просто происходит и всё.

Re: DSpace (установка, настройка)
Пользователь: PVF (IP-адрес скрыт)
Дата: 10, June, 2019 09:57

Но почему выборочно?
[scholar.google.ru]

Re: DSpace (установка, настройка)
Пользователь: Woldemarh (IP-адрес скрыт)
Дата: 10, June, 2019 10:19

Здравствуйте!
Появились проблемы с DSpace.
В таблице форматов пропало описание PDF-формата. Непонятно почему.
Мы его заново добавили-оформили.
Новые загруженные PDF-файлы нормально распознаются и открываются в новой вкладке.
А старые PDF-файлы (загруженные до удаления опписания PDF-формата из таблицы) перестали распознаваться (выдаёт: 1 unknown) и вместо окрытия в новой вкладке (как это всегда работало) выдаёт окно сохранения на диск.
Перезагрузили, та же ситуация (у старых загруженных PDF-файлов формат "1 unknown").
Подскажите, пожалуйста, есть ли способ, чтобы "старые" PDF-файлы вновь распознавались по формату и открывались в окне браузера?



Редактировано 3 раз. Последний раз 12.06.2019 10:56 пользователем Woldemarh.

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 16, June, 2019 11:19

PVF написал(а):
-------------------------------------------------------
> Но почему выборочно?
> [scholar.google.ru]
> fu.ru/handle/10995/27090

Что именно выборочно? Потерял контекст.

Woldemarh написал(а):
-------------------------------------------------------
> Подскажите, пожалуйста, есть ли способ, чтобы
> "старые" PDF-файлы вновь распознавались по формату
> и открывались в окне браузера?

На сколько я понимаю, есть несколько вариантов решения проблемы, но сначала бы понять причину.

Для понимания причины, понять бы какая версия DSpace и отработают ли штатно dspace database info и dspace database migrate (или как их там?). Реестры метаданных фактически лежат в базе данных, а механизмов перепривязки именно средствами dsapce кроме index dbbrowwse я не помню.

Так что, либо пыаться решить проблему посредством REST (или LNI, а почему бы и нет?), или таки лезть руками в базу.

Re: DSpace (установка, настройка)
Пользователь: Woldemarh (IP-адрес скрыт)
Дата: 18, June, 2019 11:14

Причина непонятна. Нам прислали PDF-файл, а файл по клику (вместо открытия в новом окне для чтения) выдал окно на сохранение.
После чего и другие PDF-файлы перестали открываться в новом окне, а в таблице форматов исчезло описание PDF-формата...
Версия DSpace 5.3

Что посоветуете?

Re: DSpace (установка, настройка)
Пользователь: IdeaFix (IP-адрес скрыт)
Дата: 18, June, 2019 12:17

Что посоветуете?
1. Обновиться до 5.10. Я дано советую!
2. Потом посмотреть на [wiki.duraspace.org] пункт 10e.

Кстати, 5.3 с нуля ставили или обновляли? dsapce database info и логи после dspace database repair покажите.

Страницы: <<Первая...4748495051525354555657
Страница: 57 из 57


Извините, только зарегистрированные пользователи могут писать в этом форуме.
This forum powered by Phorum.