Что касается известных ботов, это понятно. Посмотрите кстати на robots.txt куррент ветки dspace - там вообще побанили всех честных краулеров :) Я ограничился crawl дилеем - [elar.rsvpu.ru]

А что до увеличения страниц, Иван Мазар еще пару лет назад продвигал "Disallow: /browse", так что "Disallow: /*/simple-search" в контексте "вот тебе робот сайтмап, и знай своё место" не выглядит так уж страшно.

Кстати, когда были проблемы со входом новых репозиториев в гугл, мои "админы" требовали иных дйствий - требовали роста кэша гугла. Делал так - [ideafix.name]

Здравствуйте. Переехали на последнюю версию dspace до этого был 3.1. Теперь все медленно работает. И не сказать что уж процы сильно загруженны. Крутится все на виртуалке. У кого были такие же проблемы и как их решили? Спасибо за ответы.

Здравствуйте! Пробую настроить корректно oai, но выдает ряд ошибок:
Checking ListSets response
REQUEST [elib.gsu.by] GET
WARN Malformed response: not well-formed (invalid token) at line 1, column 717, byte 817 at /usr/lib64/perl5/vendor_perl/XML/Parser.pm line 187. . The most common reason for malformed responses is illegal bytes in UTF-8 streams (e.g. the inclusion of Latin1 characters with codes>127 without creating proper UTF-8 mutli-byte sequences). You might find the utf8conditioner, found on the OAI tools page helpful for debugging.
FAIL Failed to parse response
FAIL Can't check set names
Checking ListIdentifiers response
REQUEST [elib.gsu.by] GET
FAIL Server failed to respond to the ListIdentifiers request (HTTP header values: status=500 Internal Server Error, age=0, lifetime=3600, is fresh:=1)
FAIL No ListIdentifiers response with content
NOTE The base URL did not respond to the ListIdentifiers verb.Without that, we cannot proceed with the validation test. Exiting.
FAIL ABORT: The base URL did not respond to the ListIdentifiers verb. Without that, we cannot proceed with the validation test. Exiting.
С чем может юыть связано?

Allenrush
Покажите параметры запуска явы и томкэта, такое ощущение что ява работает не в УТФ8. В качестве проверки в рабочем ОАИ фиде найдите заглавие или автора с буквой Й в стсаве... если всё слетит нафиг - дело в кодировке явы/кота.
[ideafix.name] не факт что у Вас именно этот случай, но мало ли.

Zhanat
Последняя это 5.10 или 6.3? Покажите с каким Xmx запускается томкэт и какой Xmx стоит в dspace.sh, так же по htop (или у Вас виндовс?) посмотрите утилизацию памяти и кто ест проц.

Вообще, пятый ест больше третьего, но к примеру [elar.usfeu.ru] мы стабилизировали на объёме памяти 1.75GB под Windows - всё работало сносно.



Редактировано 1 раз. Последний раз 13.03.2019 11:47 пользователем IdeaFix.

Allenrush
У Вас очень старый dspace и очень старый tomcat. Помнится, до версии 5.3 были серьезные блокирующие баги, потом (вплоть до 5.10) было развитие XMLUI и латание дыр. Если "SOLR везде" не нужен, планируйте обновление до 5.10 и tomcat 7.0.9x, многие проблемы уйдут сами собой

IdeaFix
Версия dspace 6.3. Стоит на винде Server 2008 R2. Xmx 1500 так как томкат 32 разрядный. Проц в основном кушает томкат но не сильно процентов на 30. Возможно надо попробовать все перевести в 64 и дать коту побольше памяти.

Zhanat
Tomcat не имеет разрадности в привычном смысле. Если ОС и JAVA x64, то и томкэт выжрет столько, сколько дадут. Но 1.5гб это мало.

Здравствуйте, коллеги. Меня засыпает спам через страницу feedback. По-идее, обратной связью может воспользоваться только авторизованный пользователь, однако у себя в почте я вижу такое:

Date: 14.03.19 17:12
Email: cathy@promo.kathreadwrites.net
Logged In As: null
Referring Page: [dspace.bsu.edu.ru]

т.е. посыл сообщения был от некого пользователя null, ссылка на страницу обратной связи из UI скрыта, но, сами понимаете, страница такая с формой существует. Вопросы (может подскажете, как решить):
1) Как убрать возможность пользоваться страницей feedback от юзера null?
2) Как реализовать капчу на форме feedback? (для jspui в интернетах не нашел, есть только для xmlui)
Спасибо.

Ну, капча - не проблема... отредактировать form.jsp - не самая сложная задача. Для остального же имхо нужно обновиться до 5.10.

Спасибо за ответ. Я так понял с официального сайта, что даже в пределах релизов 5.х я не могу свой ресурс обновить как, например, винду 10 - обновление порушит всю мою локализацию, её надо будет делать заново:( Решил вопрос с обратной связью втупую - просто заменил эту форму заглушкой.
У меня еще вопрос по статистике DS. Недавно столкнулся с проблемой заполнения диска логами DS (каждый день получал логи по 300-400 Мб). Предотвратил проблему тем, что в конфигах логов поменял режим с Info на Warning. В бытность обновления моего ресурса до версии 5.5 вы журили меня за то, что я все старые логи снес, что от этого пострадала статистика за прошлые годы использования. Я где ни копал, везде пишут, чтоб насчет логов не парился, что на статистику они не влияют. Вопрос: можно ли удалять старые логи, если ответ слишком длинный, киньте ссылку, где об этом можно почитать, пожалуйста? Если это важно, месячные отчеты у меня генерятся каждый месяц, общий отчет - каждый день...
Спасибо.

1. Читайте насчёт обновления в документации. При запуске ant update (при учете верной настройки) в /dspace сохранятся все ваши кастомизации в файлах с измененным именем. Т.е. /dspace/config/dspace.cfg превратится в /dspace/config/dspace.cfg.DDMMYYY.old и так с КАЖДЫМ обновленным конфигом/файлом/папкой. Но настоящие сварщики все изменения вносят в исходник и пересобирают уже чистовой вариант.



По webapps всё не так детально, но кастомизации webapps обычнос водятся к /browse, /layout, /static/css/ и еще паре мест (сужу по jspui), так что, всё это можно сделать пока идет index-discovery Реально я на прошлой неделе трижды обновлял по два dspace в день без отрыва от основной работы.


У меня реально работало так:
0. делаем бэкап
1. делаем mvn -U clean package
2. делаем ant update
3. борем постгрес, а то в документации не очевидно описаны проблемыы flyaway3, но при этом описано явно что всё якобы делаетися автоматом.
4. Как только у нас всё запустилось, делаем dspace index-discovery и пока оно делается (у меня минимум час), кстомизируем сначала прямо наживую вебаппс, там перезагрузка кота не нужна, а потом те конфиги, которые забыли в /dspace/*. Как индекс дискавери прошел, перезапускаем кота и всё..

Этот способ почти без оговорок работает даже при апгрейде с 3.х до 6.х (там будет параллельная проблема с postgres и последовательная с solr), но и это не сложно. Вот с 1.4.х до 4.х и выше - это да, это боль в плане SOLR, а в остальном - фигня.



2. Сжатие логов (папки) средствами файловой системы.



В три раза... а под линукс я бы в 10 раз сделал без особых потерть производительности. А если потереть логи и сделать dspace stat-initial && dspace stat-report-initial, что происходит? На самом деле самому интересно. Вернее, у меня происходит известно что, но мало ли, вдруг дело в настройках.

Картинки пошарил через vk, если не грузится по каким-то причинам, используйте прокси.



Редактировано 4 раз. Последний раз 17.03.2019 14:05 пользователем IdeaFix.

Спасибо за ответ. Обновлением займусь года через 2. Пускай ЖЦ релиза нашего репозитория будет 5 лет Насчет stat-initial и stat-report-initial, я как-то думал, что эта парочка делается раз при установке\обновлении, а дальше я только по cron генерю общую и месячную статистику. А разве это не так должно работать, как часто и зачем надо еще делать stat-initial?

stat-initial делается для перегенерации месячной статистики при обновлении/уточнении списка роботов или при пропуске какого-то из месяцев по каким-то причинам (сбой, не успело и пр.). Т.е. если месяц пропущен, или правила обновлены - stat-initial. А stat-general и так с начала времен всё дергает.

Насчет ЖЦ, тут надо всё же багрепортами и релиз ноутсами руководствоваться... я начал обновляться, когда скриптовые иньъекции в именах пользователей стали очень уж частыми :(

С другой стороны, у белорусских коллег на 5.2 сломаны просмотровые индексы (это релиз с ошибкой) - [elib.gsu.by] и ничего... пользуются.

[www.opennet.ru]

Страшно же?

[duraspace.org]

Ждем экспорт в xml для регистрации DOI и от OJS можно будет отказываться.

Хмм... OJS - электронное издательство. Там совершенно другой функционал.

А что касается DOI, так там вроде датацитовские (или кроссрефовские?) уже и так работают. Какой-то механизм есть.

В любом случае, никто не мешает написать OAI трансформер, который будет прямо готовый фид давать в/для кроссрефа.

IdeaFix написал(а):
-------------------------------------------------------
> Что касается известных ботов, это понятно. Посмотрите кстати на robots.txt куррент ветки
> dspace - там вообще побанили всех честных краулеров :) Я ограничился crawl дилеем - [elar.rsvpu.ru]
Я оставил стандартный с ветки со всеми закрытыми честными краулеров + закрыл пользовательские.

> А что до увеличения страниц, Иван Мазар еще пару лет назад продвигал "Disallow: /browse", так что
> "Disallow: /*/simple-search" в контексте "вот тебе робот сайтмап, и знай своё место" не выглядит так
> уж страшно.
[wiki.duraspace.org]
/*/simple-search пришлось открыть.
По команде site: при 10 тис. материала - цифра 1.3 млн. , а например site:elar.rsvpu.ru/& - 48 тис.
Причина не ясна.

> Кстати, когда были проблемы со входом новых репозиториев в гугл, мои "админы" требовали иных
> дйствий - требовали роста кэша гугла. Делал так - [ideafix.name]
Данный инструмент [www.auditmypc.com] работает только с Internet Explorer + включенная Java.
В ручную сделать sitemap не получилось. Спасибо!

Это только у меня пропали все ссылки на источник-репозитарий, бесплатные полные тексты публикаций, которые имеют значок [PDF] в Google Scholar?

> Я оставил стандартный с ветки со всеми закрытыми честными
> краулеров + закрыл пользовательские.

Тут у каждого своя ситуация. Нас, к примеру, в круг ложил text.ru, который вообще представляется хромом и игнорирует robots.txt. Поэтому пришлось банить целый VDS'ник. До того, пришлось забанить Китай... все автономки :) Фаерволлом, насовсем. понимаю что роскомнадзор стайл, но... чем богаты.

> По команде site: при 10 тис. материала - цифра 1.3 млн.
> а например site:elar.rsvpu.ru/& - 48 тис. Причина не ясна.

Именно elar.rsvpu.ru получал серьезные штрафы. Там с метаданными перемудрили и где-то при 20 тысяч фонда удалили поле source, т.к. оно не несло особой пользы, но вводило харвестеры в заблуждение. Сильно просел и google scolar и google search.

А насчет изменений в scholar - я воспринимаю это как смену времен года, или глобальное потепление.... на это нельзя повлиять, это не нужно пытаться объяснить... это даже понимать не надо. Оно просто происходит и всё.

Но почему выборочно?
[scholar.google.ru]

Здравствуйте!
Появились проблемы с DSpace.
В таблице форматов пропало описание PDF-формата. Непонятно почему.
Мы его заново добавили-оформили.
Новые загруженные PDF-файлы нормально распознаются и открываются в новой вкладке.
А старые PDF-файлы (загруженные до удаления опписания PDF-формата из таблицы) перестали распознаваться (выдаёт: 1 unknown) и вместо окрытия в новой вкладке (как это всегда работало) выдаёт окно сохранения на диск.
Перезагрузили, та же ситуация (у старых загруженных PDF-файлов формат "1 unknown").
Подскажите, пожалуйста, есть ли способ, чтобы "старые" PDF-файлы вновь распознавались по формату и открывались в окне браузера?



Редактировано 3 раз. Последний раз 12.06.2019 10:56 пользователем Woldemarh.

PVF написал(а):
-------------------------------------------------------
> Но почему выборочно?
> [scholar.google.ru]
> fu.ru/handle/10995/27090

Что именно выборочно? Потерял контекст.

Woldemarh написал(а):
-------------------------------------------------------
> Подскажите, пожалуйста, есть ли способ, чтобы
> "старые" PDF-файлы вновь распознавались по формату
> и открывались в окне браузера?

На сколько я понимаю, есть несколько вариантов решения проблемы, но сначала бы понять причину.

Для понимания причины, понять бы какая версия DSpace и отработают ли штатно dspace database info и dspace database migrate (или как их там?). Реестры метаданных фактически лежат в базе данных, а механизмов перепривязки именно средствами dsapce кроме index dbbrowwse я не помню.

Так что, либо пыаться решить проблему посредством REST (или LNI, а почему бы и нет?), или таки лезть руками в базу.

Причина непонятна. Нам прислали PDF-файл, а файл по клику (вместо открытия в новом окне для чтения) выдал окно на сохранение.
После чего и другие PDF-файлы перестали открываться в новом окне, а в таблице форматов исчезло описание PDF-формата...
Версия DSpace 5.3

Что посоветуете?

Что посоветуете?
1. Обновиться до 5.10. Я дано советую!
2. Потом посмотреть на [wiki.duraspace.org] пункт 10e.

Кстати, 5.3 с нуля ставили или обновляли? dsapce database info и логи после dspace database repair покажите.

[dspace-glam.4science.it]
[dspace-glam.4science.it]
[dspace-glam.4science.it]
[dspace-glam.4science.it]

Не знаю как долго проживут ссылки, но.... кто что думает? Если не бежать на ANGULAR UI, то может CRIS/GLAM сойдёт пересидеть?

Zhanat написал(а):
-------------------------------------------------------
> IdeaFix
> Версия dspace 6.3. Стоит на винде Server 2008 R2.
> Xmx 1500 так как томкат 32 разрядный. Проц в
> основном кушает томкат но не сильно процентов на
> 30. Возможно надо попробовать все перевести в 64 и
> дать коту побольше памяти.

Если не секрет, сколько трафика держит такая конфигурация? Нагрузочное тестирование делали?



Редактировано 1 раз. Последний раз 02.07.2019 15:14 пользователем recived.

Видимо, имеет место мисквоттинг, но я таки рискну ответить. Тут дело не в трафике, а во взаимодействии с postgres. Вернее, узкое место там. Просмотровые индексы все в SOLR и поисковые, и перебор по ссылкам максимум вызовет отказы по таймауту, или общее замедление, а вот выкачивание файлов во много потоков уже начинает использовать базу. А если систему замедлить "перебором" гипертекста и качать файлы в 100 потоков, то "внутренняя системная ошибка" не заставит себя ждать.

Ну и это.... мы томкат голой жопой в интернет выставляем.... какое нагрузочное тестирование?:)

Мне иногда кажется, что в MIT студентов более-менее толковых кидают на разные финтифлюшки в DSpace делать — дипломы защищать) Один с XML/XSL тренируется на темах, другой SOLR крутит-вертит, третий какой-нибудь протокол прикручивает — получается иногда "пришей кобыле хвост") Все эти свистелки-******** прикручивают, а реструктурировать коллекции/разделы нельзя через веб-интерфейс, упорядочивать коллекции приходится неразрывными пробелами в начале названий, готовых пресетов для описания различных типов материалов нет, структура разделов/коллекций всего архива лагает и т.д… На поиске багов и оптимизации/улучшении существующего дипломов и диссертаций не защитить)

Запустил простецкий тест abs -n 10 -c 1 на dspace.mit.edu… Главная страница 1 сек, а /community-list - 5 сек! И это ещё с отключенными счётчиками. Тоже самое на elar.urfu.ru: 1.5 сек и 3.4 сек (со счётчиками), elib.sfu-kras.ru (из локалки): 0.16 и 1.5 сек (со счётчиками), dspace.susu.ru — 0.7 сек и 1 сек (без счётчиков).



Редактировано 3 раз. Последний раз 03.07.2019 06:36 пользователем edhel.

С месяц назад на наш ds навалились боты целыми подсетями и начали усиленно сканить. От 5-10 коннектов в сек, начал отваливаться psql, потом кот и т.д. Тогда-то и задался вопросом, как живут большие проекты ds с большим трафиком.

MIT давно ничего не делает с dspace фундаментального :( Имхо, сейчас что-то делает только 4science и та часть duraspace, которая трудоустроена в 4science.

У Хилтона Гибсона в вики кстати очень разные рекомендации были по настройке постгрес для дспейс4 и дспейс5, на мой вопрос о причинах он сказал что харвестили их в разное время по-разному, от того и настройки разные :)