Кстати, в гитхабе все задачки по 5 и 6 были закрыты чуть ли не лично Тимом первого июля. Типа поддержка всё, но закрыты были не с мотивировкой вонтду или чем-то аналогичным, а как исправленные. Свинство.

Здрастуйте.
Подскажите как уменьшить размер папки log, разрослась на 40 гиг.

Если хотите сохранить внутреннюю статистику и позможность её перестройки, то /dspace/log или оставить как есть, или сжимать средствами ФС.

У меня есть инстанс где /dspace/log весит 1.5ТБ

Для пользователей, использующих dspace 5.8 и ниже (только для 5 версии)
Чтобы обновить файлик GeoLityCity.dat для статистики, можно воспользоваться ресурсом по адресу
geoip-legacy/
Файл GeoIPCity.dat.gz.
Для распаковки в Linux использовать команду

gzip -dc GeoIPCity.dat.gz > /dspace/config/GeoIPCity.dat

Они пытались...
[wiki.lyrasis.org]

Но на самом деле и dat и mmdb - это прикладывание подорожника. Половина "клиентов" используют арендные адреса, не привязанные явно к географии. Этот функционал пойдёт вслед за dspace stats-util -u :)

Но с 5.8 обновиться бы... там есть всякие неприятные штуки и в xmlui и в jspui.

[ideafix.su] - с высокой вероятностью делать этого не нужно, но с одной стороны, много где есть приказ от коллег по ИБ закрывать всё обнаруженное, а с другой стороны, хуже не будет.

Доброго времени суток!

Возникла необходимость заблокировать доступ к определенной коллекции для определенного диапазона ip-адресов. Возможно ли это сделать на уровне tomkat? Может кто-то делал подобное?

Спасибо!

На уровне Tomcat это едва ли возможно, разве что Вы перечислите в правиле ВСЕ хендлы и коллекции и документов.

Мне приходит на ум что-то типа:

<Context path="/bitstream/123456789/1/*|/bitstream/123456789/2/*|/bitstream/123456789/3/*" ...>
<Valve className="org.apache.catalina.valves.RemoteAddrValve" deny="11\.2\.3\.4|5\.6\..*" />
</Context>

Где context path это регексп с адресами, а в параметре deny указан один адрес и одна подсеть.

Но может лучше реализовать авторизацию по IP на уровне dspace или пришло время поставить перед томкетом nginx или apache httpd?

Добрый день, коллеги!

По производственной необходимости и спортивному интересу, стал осваивать DSpace 7.6.1. для создания библиотеки по узкой медицинской теме. Сначала для собственных нужнд, в дальнейшем возможно расширение на паблик.

За два месяца экспериментов, поиска инструкция, составления своего гайда по установке, более-менее пришло осознание как это работает, но осталось много вопросов по тонким настройкам, а именно:
1. Solr "из коробки" насколько хорошо работает по русским словам? Нужно ли и можно ли добавить словари? Или попробовать перейти на другой метод поиска (с простого на продвинутый, в инструкции solr описывается такое)? Часто в словах может быть ошибка в одной букве.
2. В документации описывается возможность подсказок при поиске (если не найдено слово, то высвечиваются подсказки известных), но вроде никто не смог это сделать. Ощущение, что именно по фронте убрали такую возможность. Как и вывод части текста из поиска.
3. Как лучше сделать регулярный бэкап? кроном экспорт сообществ/коллекций?
4. Локализация - зачем её делать в бэкэнде? Во фронте вроде все фразы есть, а в документации описано еще изменения в бэке, но как они влияют на результат - не понятно.

Благодарю за любые ответы и подсказки!

Конечно, я всё это говорю из зависти, не иначе, но складывается забавная ситуация всё же... ветки 5 и 6 не по понятиям и с отказом от обязательств заEOLили, седьмой версии наделали пачку релиз кандидатов, мотивируя это тем, что ситуация с 6-й линейкой не должна повториться и версия 7.0 должна быть готовым к промышленному применению dotzero релизом. Как оно вышло на самом деле мы в общем все свидетели :)

По факту сейчас в целом и в частностях в Angular нет паритета по функционалу с "устаревшими" xmlui и jspui, документация оставляет желать лучшего, а видные члены комьюнити нет-нет да и предлагают купить платную поддержку у их конторы :)

Сделали из средненькой коробки, которую можно было худо-бедно селфхостить, еще один ПЛОХОЙ фреймворк, который теперь надо внедрять, а не просто кидать в под, как коробочное решение ранее.

Ну а если по теме, то...

1. SOLR теперь у нас в основном не форкнутый, а ванильный, так что, какой с комьюнити спрос, надо читать тут - [solr.apache.org] и по факту понимать что возможности SOLR обширны, а настройки на стороне dspace скромны. Не думаю что у кого-то есть исчерпывающий практический опыт, рад буду ошибиться.
2. В какой документации? На 5-6 версиях это работало, но лучше бы не работало, в Abgular это могли сломать именно потому, что работает оно не очень.
3. Вариантов масса, в зависимости от того, что Вы хотите получить и что именно (метаданные, данные, весь контент, состояние сервиса, контейнер или виртуальную машину) хотите забекапить. [ideafix.su] оно конечно устарело, это скорее наводящий вопрос,ч ем ответ.
4. Тут же не телепаты. Что именно Вы имеете в виду под локализацией в бэке? Я мутным взором доки (https://wiki.lyrasis.org/display/DSDOC7x) и не очевидно что имелось в виду.

Ну и да... зачем 7 для интранет ресурса?

P.S. Атмира до сих пор пятую версию клиентам продаёт? Или таки обновились?

IdeaFix написал(а):
-------------------------------------------------------

> 3. Вариантов масса, в зависимости от того, что Вы
> хотите получить и что именно (метаданные, данные,
> весь контент, состояние сервиса, контейнер или
> виртуальную машину) хотите забекапить.
> [ideafix.su] оно конечно устарело,
> это скорее наводящий вопрос,ч ем ответ.

Хотелось бы максимально бэкапить - изредка весь сервер, периодически хотя бы БД и папки бэка и фронта. с Ubuntu работал редко, поверхностные знания.
Мысль понял, подумаю даже над устаревшей информацией.

> 4. Тут же не телепаты. Что именно Вы имеете в виду
> под локализацией в бэке? Я мутным взором доки
> (https://wiki.lyrasis.org/display/DSDOC7x) и не
> очевидно что имелось в виду.
[wiki.lyrasis.org]
Тут описано отдельно бэк (вроде для сообщений разных) и фронт (тысяча строк на перевод).

Больше фронт нужно переводить, это освоил. Сомнения появились из-за разделения локализации.

> Ну и да... зачем 7 для интранет ресурса?

Не совсем интра - сервер в инет смотрит на своем домене, пока хочу его для собственной библиотеки сделать, чтобы можно было выгрузить кучку документации и пользоваться через интернет.
А потом, если проект покажет свое удобство, могут подключиться несколько медицинских сообществ и простые посетители, которые ищут достоверную информацию по нужному направлению.

Рад был бы что-то аналогичное использовать, более проверенное, но среди электронных библиотек ничего не нашлось. Каталогов полно, а библиотек нет.

> P.S. Атмира до сих пор пятую версию клиентам
> продаёт? Или таки обновились?

Да, видел их, но ценник неадекватный (где-то видел его). И импортный saas, могут отключить в любой момент.
Судя по интерфейсу демо, у них 7-я версия в продаже.

По бекапу.

Важно понимать что контент (описания, файлы, пользователи, права, картинки и аннотации коллекций) хранится не только в базе. Есть база и есть асетстор с битстримами. Соответственно, бэкапя только базу (СБУД) Вы получаете нечто, что невозможно будет восстановить, ведь файлов в асетсторе не будет.

Поэтому, если бекапить юниксвейно - то каталог асетстора и дамп базы. Но надо понимать что в какой-то момент объём будет таков, что бекап будет не мновенным, придётся или как-то снапшотить, или останавливать работу на запись в момент бекапа. И только кажется что это фигня.

Опять же, в силу разных причин для dspace важно хранить логи и кеш SOLR. Статистика, всё такое...

Поэтому обычно люди и бэкапят виртуальную машину или контейнер целиком, хотя инструменты для отдельного бекапа контента (макрос AIP позволяет забэкапить наравне с разделами и коллекциями так же и юзерские учетки... но не LDAP конфиг). Ну и по своему опыту могу сказать что на массиве в 100 000 заглавий и более, многие вещи уже не работают. Например, экспорт фонда или экспорт метаданных. И дело не в размере хипа в яве. Просто проблемы роста. В общем, снапшоты виртуалки - наше всё.

По поводу локализации бэкенда всё еще не понятно. Если Вы планируете загружать 100% контента пакетно посредством SAF или REST - это одно, админка (а судя по всему под бэком понимается именно оно) и некоторые служебные вещи возможно действительно не нужны, но если у Вас будет сидеть несколько разных контент-менеджеров на добавление и валидацию добавленного пользователями контента, то сделать им удобный воркфлоу, правильный язык у почтовых уведомлений и др. и пр. как-бы надо.

У DSpace есть один серьезный минус... особенность - никакого дрм. Защита по паролю да, но если пароль есть - выкачать можно всё и сразу. Обычно останавливает как раз это людей, строящих закрытые ресурсы. Из бесплатного только EPRINTS можно рассматривать как коробочное решение, VIVO и FEDORA именно для библиоотеки (склада документов) - слишком круто.

[elib.usma.ru] кстати можете попробовать связаться с коллегами, у них получился очень необычный опыт. Да и у меня с ними тоже... медицинская тематика оказалась очень уж закрытой. Но опыт разработки формата описания, реестра метаданных и структуры там нормальный в общем сложился.

IdeaFix написал(а):
-------------------------------------------------------
> По бекапу.

Понял, проще всю машину бэкапить. А дальше понятно станет по объемам. Может и экспорт обычный делать.

> У DSpace есть один серьезный минус... особенность
> - никакого дрм. Защита по паролю да, но если
> пароль есть - выкачать можно всё и сразу. Обычно
> останавливает как раз это людей, строящих закрытые
> ресурсы.

Есть же разграничение доступа в коллекциях, можно задать доступы к битстримам. У админов полный доступ, у "студентов" только в определенные коллекции, из других коллекций не вытащить данные.
Или есть серьезная уязвимость, что любой зарегистрированный может получить доступ к любым данным?

> Из бесплатного только EPRINTS можно
> рассматривать как коробочное решение, VIVO и
> FEDORA именно для библиоотеки (склада документов)
> - слишком круто.

VIVO и FEDORA - не слышал про них, читаю потихоньку. Вроде аналогичные продукты, но менее распространенные. И русскоязычного сообщества нет.

> [elib.usma.ru] кстати можете попробовать
> связаться с коллегами, у них получился очень
> необычный опыт. Да и у меня с ними тоже...
> медицинская тематика оказалась очень уж закрытой.
> Но опыт разработки формата описания, реестра
> метаданных и структуры там нормальный в общем
> сложился.

Их как раз рассматривал как образец.

elar.urfu.ru, elar.rsvpu.ru, elib.usma.ru, elar.usfeu.ru, elar.uspu.ru и много кто еще сделаны в общем в одной логике... черкните на ideafix@ideafix.name, возможно в телеге или почте будет удобнее пообщаться. На старте репозитория есть не очевидные проблемы, которые лучше сразу обойти, чем потом исправлять.

Неожиданно для себя воспроизвели проблему, описанную тут и соответственно тут.

Т.е. хендл сервер не стартует с ошибкой в логе:

Цитата:

"2024/10/29 07:30:32 YEKT" 25 Started new run.
java.lang.UnsupportedOperationException
at java.lang.Runtime.runFinalizersOnExit(Runtime.java:287)
at java.lang.System.runFinalizersOnExit(System.java:1059)
at net.handle.server.Main.initialize(Main.java:124)
at net.handle.server.Main.main(Main.java:75)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.tanukisoftware.wrapper.WrapperSimpleApp.run(WrapperSimpleApp.java:290)
at java.lang.Thread.run(Thread.java:750)
Shutting down...

В качестве решения проблемы выбрали вариант остаться на JDK 8u345.

[repositories.webometrics.info] Декабрьское обновление

Здравствуйте!

Недавно в репозитории при попытке открыть любой файл начала появляться "внутренняя системная ошибка", В логах следующее:

_{2025-01-14 09:26:18,694 ERROR org.hibernate.engine.jdbc.spi.SqlExceptionHelper @ Cannot get a connection, pool error Timeout waiting for idle object
2025-01-14 09:26:18,694 WARN org.dspace.app.webui.servlet.DSpaceServlet @ anonymous:no_context:general_jspui_error:org.hibernate.exception.GenericJDBCException\colon; Could not open connection}

При этом dspace database test отрабатывает без ошибок.
Кто-нибудь сталкивался с таким? В чем может быть причина?

Ну давайте по порядку.... остановка кота, остановка постгрес, щапуск постгрес и запуск кота решают проблему?

Ява обновлялась? С место проблем нет? После dspace database test я бы попробовал dspace database info и потом (на выключенном томкете) dspace database migrate

Вариант обновления постгрес до версии выше 13 и использование штатной postgresql-42.2.*.jre7 я не рассматриваю как фантастический

IdeaFix написал(а):
-------------------------------------------------------
> Ну давайте по порядку.... остановка кота,
> остановка постгрес, щапуск постгрес и запуск кота

> решают проблему?
Нет, не решают.

> Ява обновлялась? С место проблем нет? После dspace
> database test я бы попробовал dspace database info
> и потом (на выключенном томкете) dspace database
> migrate

Ява не обновлялась, с местом проблем нет.
database info - отрабатывает нормально, database migrate - тоже.


>Вариант обновления постгрес до версии выше 13 и использование штатной postgresql-42.2.*.jre7 я не рассматриваю как фантастический

Это возможно, но 10.14 - максимальная версия, которая стала на данный сервер, т.е. для обновления придется переносить весь фонд.
А что еще можно попробовать? Хотелось бы, по возможности, обойтись "малой кровью".

@ideafix_name давайте в телеграм в режиме диалога пообщаемся, так удобнее будет

Я щас пальцем в небо конечно, но если вдруг у Вас еще не выключена гугл аналитика:

[irbis.elnit.org]

IdeaFix написал(а):
-------------------------------------------------------
> Я щас пальцем в небо конечно, но если вдруг у Вас
> еще не выключена гугл аналитика:
>
> [irbis.elnit.org]
> sg-112260

комментирование не помогло (tomkat выдавал ошибку 502), но этот пост очень сильно помог выявить проблему. У меня в local.cfg остался старый идентификатор universal analytics и, видимо, происходила ситуация как в посте, т.е. ожидающие клиенты заполняли треды tomcat и все падало. После удаления не рабочего идентификатора проблема прошла.

Огромное Вам спасибо за помощь!

Продолжаю аудидить старые инсталляции для обновления.

Отключение гугл аналитики видимо уже стало базой.

Следующий момент Google Sitemaps ping. Если функционал включен в конфиге, получаем что-то такое [www.google.com] в виде "функционала" и строку ошибки в логах.

Для отключения деприкейтнутого функционала достаточно закомментировать строку, начинающуюся на "sitemap.engineurls" в dspace.cfg



Редактировано 1 раз. Последний раз 18.04.2025 20:00 пользователем IdeaFix.

Коллеги, а кто как ощущает нагрузку ботов, как классических поисковых, так и собирающих данные для обучения ИИ?

В конце дня я запустил на продакшенном сервере что-то такое:

Цитата:

cat /var/log/apache2/access.log | awk -F\" '{print $6}' | sort | uniq -c | grep bot | sort -n

и получил список ботов, условный конечно, но всё же, с колличеством их вхождений в лог.

Получилось что-то такое:

Цитата:

147 Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKit/601.2.4 (KHTML, like Gecko) Version/9.0.1 Safari/601.2.4 facebookexternalhit/1.1 Facebot Twitterbot/1.0
158 Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +[help.mail.ru])
220 Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; ClaudeBot/1.0; +claudebot@anthropic.com)
274 Mozilla/5.0 (compatible; YandexAccessibilityBot/3.0; +[yandex.com]) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0
285 Mozilla/5.0 (compatible; Googlebot/2.1; +[www.google.com])
292 Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +[www.apple.com])
1065 Mozilla/5.0 (iPhone; CPU iPhone OS 7_0 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A465 Safari/9537.53 (compatible; bingbot/2.0; +[www.bing.com])
1150 Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+[webmaster.petalsearch.com])
1452 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +[perplexity.ai])
2071 Googlebot/2.1 (+[www.google.com])
2292 Mozilla/5.0 (compatible; AhrefsBot/7.0; +[ahrefs.com])
3041 Mozilla/5.0 (keys-so-bot)
3480 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +[openai.com]
4529 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
4551 Mozilla/5.0 (compatible; SemrushBot/7~bl; +[www.semrush.com])
9366 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +[www.bing.com]) Chrome/116.0.1938.76 Safari/537.36
10457 Mozilla/5.0 (compatible; YandexBot/3.0; +[yandex.com])
58159 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/136.0.7103.59 Mobile Safari/537.36 (compatible; Googlebot/2.1; +[www.google.com])

некоторые строчки из того списка пошли в бан (по юзерагенту через fail2ban), вернее, получили ограничение интенсивности. Некоторые решено было изучить повнимательнее.

Такая команда:

Цитата:

cat /var/log/apache2/access.log | awk -F\" '{print $6}' | sort | uniq -c | grep python | sort -n

Цитата:

2 python-httpx/0.27.2
2 python-requests/2.27.1
3 python-httpx/0.27.0
4 python-requests/2.27.0
4 python-requests/2.31.0
21759 python-requests/2.32.3

Что тоже вызывает вопросы.

У кого-то есть прям хорошие рабочие практики выстраивания отношений с ботами, позволяющие как-то заметно снизить нагрузку и при этом не навредить (не забанить что-то нужное)?

Продолжаю свои банальные заметки... посредством правил в htaccess, robots.txt и fail2ban удалось заметно снизить фактическую нагрузку на систему посредством поражения в правах сервисов, которые не конвертируют своих клиентов в наших посетителей, но... количество запросов значительно снизить не удалось.

Т.е. забаненные в robots.txt и .htaccess (по юзерагенту) роботы продолжают методично обходить ресурс по старым картам и/или внешним ссылкам, получая 403 до тех пор пока не сработает fail2ban.

Рекомендации относительно robots.txt сводятся обычно к чему-то такому:

User-agent: ChatGPT-User
Disallow: /

Рекомендации для конфигурации веб-сервера, к чему-то такому:

RewriteCond %{HTTP_USER_AGENT} ChatGPT-User
RewriteRule (.*) - [F,L]

И это не ошибка выжившего, реально рекомендации в этих ваших интернетах вот точно такие, но бот никуда не уходит и продолжает долбить сайт получая 403.

Но если посмотреть в логи, то... очевидно противоречие:

elar.urfu.ru:443 40.116.73.214 - - [02/Jun/2025:12:55:26 +0500] "GET /robots.txt HTTP/1.1" 403 3781 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +[openai.com]"

Строчка логов вполне реальная.

Так что, код

RewriteCond %{HTTP_USER_AGENT} ChatGPT-User
RewriteRule (.*) - [F,L]

стоит заменить на код

RewriteCond %{HTTP_USER_AGENT} ChatGPT-User
RewriteCond %{REQUEST_URI} !robots\.txt$
RewriteRule (.*) - [F,L]

и уже после этого смело говорить что этот ваш чатгпт даз нот респект robots.txt.