1. Точно ли есть /tomcat/webapps/solr?
2. Есть ли /manager? Можно посмотреть задеплоемные програмы
3. solr обязан открываться (не 403) только по localhost/solr/admin к примеру, по имени домена должно быть 403. Если у Вас solr адрес в конфигах не локалхост а имя домена - ничего не будет работать

IdeaFix написал(а):
-------------------------------------------------------
> Neoart
> А зачем с нуля? Можно старый обновить... а по делу
> - у Вас проблема с правами на dspace\solr я думаю
>


С нуля, так как старый репозиторий хранился на сервер LInux, без оболочки. Он умер практически, данные вытащить можно только через сам сайт. Там данных всего 700 файлов было, немного.

> Покажите что обновление дискавери показывает

Простите, сам с Dspace недавно работаю, на мне сайты еще.
Как посмотреть, что это обновление показывает?

Neoart, посмотрите [wiki.duraspace.org] подпункт 10



Редактировано 1 раз. Последний раз 23.11.2017 12:15 пользователем edhel.

Без оболочки? ssh есть? Консоль? Как умер? Давайте стабилизируем машину. Можно в приват.

dspace index-discovery что возвращает?

IdeaFix написал(а):
-------------------------------------------------------
> 1. Точно ли есть /tomcat/webapps/solr?
> 2. Есть ли /manager? Можно посмотреть задеплоемные
> програмы
> 3. solr обязан открываться (не 403) только по
> localhost/solr/admin к примеру, по имени домена
> должно быть 403. Если у Вас solr адрес в конфигах
> не локалхост а имя домена - ничего не будет
> работать

Спасибо. Реально не было этой папки. 1й пункт помог.

Не смогли бы вы мне помочь еще в нескольких вопросах:
1) с добавлением русского алфавита в поиске
Я видел на форуме на старых версиях добавляли с помощью &#1069 или \u0415\. Т. е. использовали расширенные utf-коды.Сейчас тоже нужно делать так или на новых версиях по другому?
2) Как поменять логотип и название в шапке на наш? В каком файле нужно прописывать?
3) Как изменить шрифты на оранжевый?

По кастомизации XMLUI не подскажу, у нас jspui везде. Но рискну предположить что всё так же - шаблоны и css.

Раньше нужно было править код и пересобирать сервлет под русский алфавит. Инструкции есть и тут где-то и у меня в блоге.

Да, еще /webapps/oai сделайте для порядку :)

Если речь про алфавит на страницах /browse (просмотр названий, авторов, дат), то в 5-ке правил исходники и пересобирал DSpace заново:

diff -r 8009abce354b -r 5fe24a41d17a dspace-xmlui/src/main/java/org/dspace/app/xmlui/aspect/administrative/PrivateItems.java
--- a/dspace-xmlui/src/main/java/org/dspace/app/xmlui/aspect/administrative/PrivateItems.java Fri Aug 26 11:43:31 2016 +0700
+++ b/dspace-xmlui/src/main/java/org/dspace/app/xmlui/aspect/administrative/PrivateItems.java Mon Sep 05 11:44:35 2016 +0700
@@ -398,6 +398,13 @@
jumpList.addItemXref(super.generateURL(PRIVATE_URL_BASE, letterQuery), Character
.toString(c));
}
+ // !!!!
+ for (char c = 'А'; c <= 'Я'; c++)
+ {
+ letterQuery.put(BrowseParams.STARTS_WITH, Character.toString(c));
+ jumpList.addItemXref(super.generateURL(PRIVATE_URL_BASE, letterQuery), Character
+ .toString(c));
+ }

// Create a free text field for the initial characters
Para jumpForm = jump.addPara();
diff -r 8009abce354b -r 5fe24a41d17a dspace-xmlui/src/main/java/org/dspace/app/xmlui/aspect/artifactbrowser/ConfigurableBrowse.java
--- a/dspace-xmlui/src/main/java/org/dspace/app/xmlui/aspect/artifactbrowser/ConfigurableBrowse.java Fri Aug 26 11:43:31 2016 +0700
+++ b/dspace-xmlui/src/main/java/org/dspace/app/xmlui/aspect/artifactbrowser/ConfigurableBrowse.java Mon Sep 05 11:44:35 2016 +0700
@@ -475,6 +475,13 @@
jumpList.addItemXref(super.generateURL(BROWSE_URL_BASE, letterQuery), Character
.toString(c));
}
+ // !!!!
+ for (char c = 'А'; c <= 'Я'; c++)
+ {
+ letterQuery.put(BrowseParams.STARTS_WITH, Character.toString(c));
+ jumpList.addItemXref(super.generateURL(BROWSE_URL_BASE, letterQuery), Character
+ .toString(c));
+ }

// Create a free text field for the initial characters
Para jumpForm = jump.addPara();
diff -r 8009abce354b -r 5fe24a41d17a dspace-xmlui/src/main/java/org/dspace/app/xmlui/aspect/discovery/SearchFacetFilter.java
--- a/dspace-xmlui/src/main/java/org/dspace/app/xmlui/aspect/discovery/SearchFacetFilter.java Fri Aug 26 11:43:31 2016 +0700
+++ b/dspace-xmlui/src/main/java/org/dspace/app/xmlui/aspect/discovery/SearchFacetFilter.java Mon Sep 05 11:44:35 2016 +0700
@@ -408,6 +408,13 @@
jumpList.addItemXref(linkUrl, Character
.toString(c));
}
+ // !!!!
+ for (char c = 'А'; c <= 'Я'; c++)
+ {
+ String linkUrl = basicUrl + "&" + SearchFilterParam.STARTS_WITH + "=" + Character.toString(c).toLowerCase();
+ jumpList.addItemXref(linkUrl, Character
+ .toString(c));
+ }

// Create a free text field for the initial characters
Para jumpForm = jump.addPara();
diff -r 8009abce354b -r 5fe24a41d17a dspace/modules/xmlui-mirage2/src/main/webapp/themes/Mirage2/styles/_style.scss
--- a/dspace/modules/xmlui-mirage2/src/main/webapp/themes/Mirage2/styles/_style.scss Fri Aug 26 11:43:31 2016 +0700
+++ b/dspace/modules/xmlui-mirage2/src/main/webapp/themes/Mirage2/styles/_style.scss Mon Sep 05 11:44:35 2016 +0700
@@ -48,3 +48,16 @@
background: url('../images/sibfu-logo.png');
}
}
+
+// отступ перед русским алфавитом
+ul.alphabet li {
+ display: block;
+ float: left;
+}
+ul.alphabet:after {
+ content:'\a\a';
+ white-space:pre;
+}
+ul.alphabet li:nth-child(28) {
+ clear:left;
+}


Потом ещё:

diff -r 1782f740e7c3 -r 172f19301a85 dspace/modules/xmlui-mirage2/src/main/webapp/themes/Mirage2/styles/_style.scss
--- a/dspace/modules/xmlui-mirage2/src/main/webapp/themes/Mirage2/styles/_style.scss Wed Nov 23 10:56:33 2016 +0700
+++ b/dspace/modules/xmlui-mirage2/src/main/webapp/themes/Mirage2/styles/_style.scss Wed Nov 23 15:06:18 2016 +0700
@@ -58,6 +58,9 @@
content:'\a\a';
white-space:pre;
}
-ul.alphabet li:nth-child(28) {
+form[action^="/"] ul.alphabet li:nth-child(27) {
clear:left;
}
+form[action="browse"] ul.alphabet li:nth-child(28) {
+ clear:left;
+}


Кстати в этом же файле _style.scss можно править стили, только потом пересобирать надо.

Добрый день, форумчане.
Зарегистрировался специально для уточнений вопросов по dspace. т.к. удовлетворяющих ответов не нашёл ни в документации, ни здесь, ни на просторах глобальной сети.
Не так давно обновил имеющуюся версию dspace c 4.3 до 5.6., а заодно и некоторое сопутствующее ПО. 6-ю пока не хочу ставить, да и не вижу глобальной необходимости. Сам уже не новичок вроде и делал не мало правок по настройке и локализации.
Но есть ряд вопросов, которые не получается решить самостоятельно. Буду прыгать от радости, если мне дадут дельные советы.

Используемая конфигурация сервера и ПО:
Windows Server 2008 R2 (x64);
Dspace v5.6 (xmlui);
Java v1.8 (131);
PostgreSQL v9.0;
Apache Tomcat v8.5;
Maven v3.2.5;

Собственно самые проблемные моменты:
1) статистика. Использую вроде как солр. Отображается всё корректно. Но нигде нет общего количества загрузок. Google Statistics подключил и по умолчанию что-то считает. На одной из первых страниц форума даже дан код для использования трекера, но куда его засунуть в используемом типе интерфейса, не понимаю. Ну и как его к Google прикрутить потом, соответственно, тоже мыслей нет пока. На jspui переходить совсем не хочется

2) очень сильно мешающий момент при одновременной работе нескольких зарегистрированных пользователей. Открытой регистрации у нас нет. Но есть группа, в которую я внёс несколько юзеров для загрузки документов и дал им полные права на работу с коллекциями. Работают каждый день. Суть проблемы: если в данный момент в системе залогинено больше одного пользователя, то чуть ли не при каждом обновлении страницы данные одной учётки перебиваются данными другой. И, самое интересное, если в момент добавления документа в репозиторий на экране отображаются данные не текущего пользователя, то и документ добавляется от имени того юзера, который светится на экране, а не от имени того, кто это реально делает. Возможно, часть проблемы кроется в том, что все работники заходят в свои учётки dspace из одной подсети (кстати, из под одной доменной учётки, но разных компов; собственно, все в одной комнате), а сервер находится на удалённом хостинге и видит при каждом запросе только один внешний ip университета. Но это только предположение. Как исправить сей момент, ума не приложу.

3) со временем, доступ к отдельным загруженным документам пропадает, если используется РУССКИЙ интерфейс.Он же стоит по умолчанию в настройках. В английском такой проблемы не наблюдал до сих пор. Вот эта фишка вообще загадка для меня, к которой без понятия как подступится.

Извиняюсь за кучу текста и сразу несколько совершенно разных вопросов, но они меня достали. Очень жду советов или хотя бы правильных ссылок, хотя перелопатил не мало.

1. Гугл апи в jspui (для подмены стандартной статистики на аналитику) в принципе не работает. Скачивания PDF'ок не пишутся в статистику гугла/яндекса, ибо в PDF нет кода отслеживания. Некий обходной путь тут выше предлагался, правда как защита от скачивания, но можно его и для запуска кода аналитики юзать. Ну и вот... [ideafix.name], логи, логи и еще раз логи. Но этос корее для отчета, нежели для оперативной статистики по документам.
2. Так быть не должно.
3. Что значит доступ пропадает?

Ну и дайте что ли ссылочку, и в двух словах что перед tomcat стоит?

Спасибо за быструю реакцию.

1) На всякий случай ещё раз уточню, используем XMLUI, не jspui, т.к. разница принципиальная. Число загрузок, впрочем, как и посещений реальных пользователей, нужно именно для отчётности. Если связать с гуглом эти цифры не получится, чёрт с ним, хотя и жаль. Но их нужно как-то получать и давать руководству. Что логи - оно понятно. Кстати, по предложенной ссылке уже ходил ранее, но мне не понятно чем анализировать и как правильно отрезать ботов, пауков, и другое не нужное никому.

2)Не должно, но факт имеет место, и я уже который месяц ломаю голову, как это исправить. Админы отмахиваются, мол мы точно не причём здесь.

3) Долго сейчас искал конкретный документ с пропадающим доступом, но как назло не нахожу. Хотя наталкиваюсь периодически. Обязательно скину линку, как попадётся. А пропадает, как буд-то документа нету физически по ссылке. Т.е. интерфейс репозитория отображается, а внутри выдаёт "Page cannot be found". Пишу по памяти, возможно текст сообщения немножко отличается

Ссылку, так полагаю, на репозиторий. Вот: [elib.gsmu.by]
По второй части вопроса - не очень понял

BarsTK написал(а):
-------------------------------------------------------

> Ссылку, так полагаю, на репозиторий. Вот:
> [elib.gsmu.by]
Здравствуйте.Хороший у вас репозиторий.
У вас же Dspace v5.6 (xmlui). Не могли бы мне помочь:
1) Как вы сделали свою шапку, есть ли ссылка на материал(везде jspui только)?
2) Как добавляли русские символы в новую версию?
3) Трудно ли сделать, английский интерфейс?

Заранее спасибо!

Neoart написал(а):
-------------------------------------------------------

> Здравствуйте.Хороший у вас репозиторий.
> У вас же Dspace v5.6 (xmlui). Не могли бы мне
> помочь:
> 1) Как вы сделали свою шапку, есть ли ссылка на
> материал(везде jspui только)?
> 2) Как добавляли русские символы в новую версию?
> 3) Трудно ли сделать, английский интерфейс?
>
> Заранее спасибо!

1) А что именно вас интересует в шапке? Ну а вообще по сути внешний вид в данном случае - это чистый css. Я сделал кастомизацию имеющейся схемы, естественно не меняя её исходников, т.е. продублировав сначала. Руководствовался официальной документацией и знаниями вёрстки.
2) Куда добавлять-то? Конкретизируйте. Судя по третьему вопросу у вас и так интерфейс не английский.
3) А чего его делать, если он по умолчанию есть? Так полагаю, у вас вопрос скорее как вообще с локализацией работать. В офф. документации всё описано. Скажите что именно вас интересует, и я постараюсь ответить на любые конкретные вопросы.

Только не забудьте посмотреть документацию и поискать здесь заранее ответы, т.к. уже много типичного обсуждалось на этом форуме

BarsTK
Про jspui и xmlui как раз понятно. Попытаюсь тезисно:
1. Внутренняя статистика - дура. Вот пример: [elib.uraic.ru] загрузок файла 430485. Четыреста тридцать тысяч, четыреста восемьдесят пять раз. И таких примеров и по загрузкам и по просмотрам отдельных документов я могу показать по полдюжины практически в любом из своих архивов.
2. Обновление спайдеров через dspace stats-util -[i|u|r|m] - прикладывание подорожника к разбитому айфону. Это не очень красивая идея с плохой реализацией.
3. Анализ логов - не панацея. Списки ботов по результатам анализа логов я составляю вручную. Часть отсеивается по доменным именам (ага, еще и dns кэш свой держать, чтобы не забанили), часть по другим косвенным признакам. Список постоянно уточняется, не говорю что он у меня точнее, чем получаемый по каналам dspace, но он гораздо полнее. Кстати, дополнять "черные списки" dspace можно самостоятельно, только вот данные для дополнения видимо только после анализа логов могут появляться.

Для анализа логов можно попросить у админов еще одну виртуальную машинку (нужно много места, много памяти и немного тредов, хотя зависит от инструмента) и подобрать инструмент для анализа логов. Я использую sawmill, но я его покупал для других задач. Наверняка есть что-то бесплатное.

nginx у Вас вроде нет перед котом, так что проблем с кеб кэшем и пр. быть не должно.



Редактировано 2 раз. Последний раз 28.11.2017 19:35 пользователем IdeaFix.

IdeaFix, спасибо за ответы. В общем из всего написанного понимаю, что нужно разбираться как вручную анализировать логи. А можете подсказать какие именно нужно? Там просто файлы разного вида лежат.
А, кстати, логи не удаляю специально, т.к. они каждый день анализируются системой (настраивал уже давно автоматом). Никакой стандартной архивации без ущерба для возможности анализа не предусмотрено. Их вообще никак нельзя трогать? Аппетит по размерам не детский. У нас уже 55Гб насобиралось, а сервер-то удалённый и арендуемый. И это проблема

С проблемами многопользовательской работы, так понимаю, никто не сталкивался? В этом случае скорее всего либо настройки dspace, либо наша сеть виновата, третьего не дано. 2-й вопрос от "Дата: 28, November, 2017 10:34"

BarsTK
Есть два "типа" логов, /dspace/log - это то, по чему работает врутренняя статистика, ну и /tomcat/log/localhost_access*.log - это то, с чем бы я предложил работать для анализа.

Если у Вас Windows, то чтом ешает использовать стандартное архивирование NTFS? Я использую... к тому же, logrotation с пересозданием логов каждый день уже работает и в dspace и в tomcat, что мешает зиповать их по планировщику?

[pp.userapi.com]

Стандартное нтфс сжатие жмёт логи минимум втрое.

IdeaFix написал(а):

> Если у Вас Windows, то чтом ешает использовать
> стандартное архивирование NTFS? Я использую... к
> тому же, logrotation с пересозданием логов каждый
> день уже работает и в dspace и в tomcat, что
> мешает зиповать их по планировщику?

Я понимаю, но те, что в dspace/log не трогаю по другой причине. Насколько знаю, они при формировании статистики каждый раз анализируются и если их физически убрать, даже просто заархивировав, то данных для анализа просто не будет. Т.е. они нужны каждый день. Логи томката архивирую ежемесячно стандартными средствами без опаски, т.к. они не анализируются dspace/

Про виды логов имел в виду файлы с разными именами в папке dspace/log

BarsTK
Если найдёте удобный инструмент анализа логов dspace - сообщите, будет интересно. Только вот я не думаю что такой инструмент (который бы не лазил при этом в базу) будет....

А вот как раз логи томкэта можно анализировать. Вычитать из них всё что солр (127.0.0.1||localhost), вычитать всё что роботы и генерить репорты.

Добрый день, IdeaFix!
Import oai не помог. В планировщике пока ничего нет, оно вручную даже результатов нормальных не даёт... Просто периодически делали так: dspace checker && dspace cleanup && dspace index-db-browse -f && dspace index-discovery -f && dspace oai clean-cache && dspace oai import -c && dspace generate-sitemaps.

dspace oai clean-cache && dspace oai import -c

Это слишком круто.

А какая ОС? линукс же? Права на /dspace/var и /dspace/solr есть у того юзера от которого это выполняется?

edhel написал(а):
-------------------------------------------------------

> Это ведь выводит XSL-ка, накрученная на XML. Может
> в 4-ке XSL-ка не выводит общее кол-во, или в XML
> просто нет общего кол-ва в 4-ке. Этот параметр
> опционален в OAI PMH. В 5-ке у нас XML-тег с
> идентификатором токена для загрузки следующей
> порции записей выглядит так:
>
> oai_dc////10000
>
> А кнопка Show More есть у вас?

Добрый день, edhel.
Кнопка Show More есть. На второй странице просмотра показывает Results fetched:100 - 200 (глупость несусветная!). А после тысячной записи вообще выдает ошибку: 500 Internal server error! There is a problem with the resource you are looking for, and it cannot be displayed. Пойду копать XML... Спасибо за внимание.

IdeaFix написал(а):
-------------------------------------------------------
> dspace oai clean-cache && dspace oai import -c
>
> Это слишком круто.
>
> А какая ОС? линукс же? Права на /dspace/var и
> /dspace/solr есть у того юзера от которого это
> выполняется?

Система Windows Server 2008 R2 Enterprise SP1.Права админа исключительные, на все действия!

Evabel19
Делайте всё не в powershell, а в cmd, запускайте "от имени администратора", это принципиально даже если юзер - локальный админ. Добавляйте ключ -v, он сделает verbose output и в случае чего покажет глюки.

Понадобилось тут массово править миниатюры обложек на новом сервере.
По-умолчанию imagemagick вытаскивает первую страницу из PDF, а у нас там защитная вставка с копирайтами осталась со старых времен.

Пришлось вытаскивать коллекции макросом dspace export и потом править пакетно самописным скриптом, который делает миниатюру по второй странице.

Но вот засада - при обратном импорте обнаружилось, что похерились все привязки items (( Много документов у нас было слинковано в несколько коллекций сразу.

Что теперь можно с этим сделать? Как по-быстрому восстановить их?
Есть старый сервер, оттуда могу эту информацию как-то вытянуть и импортировать сюда.

А в целом миграция с 1.8.2 на 6.3 теперь уже, удалась на славу.
Приглашаю в гости, принимаются любые замечания
[elibrary.unatlib.ru]



Редактировано 1 раз. Последний раз 30.11.2017 20:52 пользователем Grievous.

Grievous
На OR2014 я и Тима и Брама пинал на предмет того что битстрим ордер летит к херам при импорте и экспорте, они сказали "Ok, we will do something to make it more persisitent", но в итоге ограничилось всё тем, что теперь при удалении первого битстрима новый загружается не на 2-ую 9а технически не на 4-ую) позицию а на первую.

Что касается маппирований - попробуйте metadata-import со старого сервера, но только таблицу collection (ну и id), на сколько я понимаю, добавление во вторую коллекцию на уровне метаданных реализовано именно так.

Спасибо, попробую.

Маппирование по идее должно было сохраниться в файлах collection внутри папок SAF. Но почему макрос export их не создаёт?

Сейчас читаю про другой способ резервного копирования - AIP Backup and Restore
[wiki.duraspace.org]
Может надо было им работать?

Если я не ошибаюсь, woodyfon чуть выше писал о своём положительном опыте, да и я писал (об опыте бэкапа/переноса, но не редактирования!), но тут нужно понимать что эта штука экспортирует зипы с кривым названием (много маленьких зипов!), что дополнительно усложняет пакетные правки.



Редактировано 1 раз. Последний раз 01.12.2017 05:00 пользователем IdeaFix.

IdeaFix написал(а):
-------------------------------------------------------
> BarsTK
> Если найдёте удобный инструмент анализа логов
> dspace - сообщите, будет интересно. Только вот я
> не думаю что такой инструмент (который бы не лазил
> при этом в базу) будет....
>
> А вот как раз логи томкэта можно анализировать.
> Вычитать из них всё что солр
> (127.0.0.1||localhost), вычитать всё что роботы и
> генерить репорты.

Спасибо за внимание. От идеи с ручным анализом логов скорее всего откажусь. Попробовал сам, зная ЯП, но не нашёл расшифровки данных. Да и в Google Analytics (алелуя!!!) наконец дали возможность видеть обращения именно к загруженым файлам. Правда, эти данные в статистике есть только начиная с того момента, когда я до пятой версии dspace обновился, но тут уже ничего не поделаешь.

Теперь меня больше интересует проблема многопользовательской работы. Очень мешает. Да и общая проблема недопила кода бесит. Т.е. когда ты нажал например, на кнопку Выход, а на экране остаётся картинка, как буд-то ты и не выходил из учётки, или когда добавил коллекцию, но она в списке разделов и коллекций не появится так же пока F5 не нажмёшь сам

BarsTK написал(а):
-------------------------------------------------------
> нажал например, на кнопку Выход, а на экране
> остаётся картинка, как буд-то ты и не выходил из
> учётки, или когда добавил коллекцию, но она в
> списке разделов и коллекций не появится так же
> пока F5 не нажмёшь сам


Так это проблема не в коде а настройках tomcat наверное.
У других же нет подобной проблемы?

Цитата:

В настройках контекста вот такие параметры попробуй
<?xml version='1.0'?>
<Context
docBase="C:/bin/dspace/webapps/xmlui"
reloadable="true"
cachingAllowed="false"/>

Grievous написал(а):
-------------------------------------------------------

> Так это проблема не в коде а настройках tomcat
> наверное.
> У других же нет подобной проблемы?
>
> <?xml version='1.0'?>
> <Context
> docBase="C:/bin/dspace/webapps/xmlui"
> reloadable="true"
> cachingAllowed="false"/>

Благодарю за совет, но дело либо не в этом, либо я неправильно понял. Не помогло в общем. Не очень силён в настройках кота.
Что сделал. Предлагаемые свойства добавил к тегу Context вот так:
В файле <tomcat_dir>/conf/context.xml

<Context docBase="C:/dspace/webapps/xmlui" reloadable="true" cachingAllowed="false">

<!-- Default set of monitored resources. If one of these changes, the -->
<!-- web application will be reloaded. -->
<WatchedResource>WEB-INF/web.xml</WatchedResource>
<WatchedResource>${catalina.base}/conf/web.xml</WatchedResource>

<!-- Uncomment this to disable session persistence across Tomcat restarts -->
<!--
<Manager pathname="" />
-->
</Context>

В C:/dspace у нас установлен dspace.
Теги WatchedResource там уже были.
Всё правильно?
Или может в docBase указать "../webapps/xmlui", т.к. я не настраивал загрузку интерфейса из директории с репозиторием, а просто копировал нужные папки из dspace/webapps в tomcat/webapps как рекомендуется в доках?

И да, на этот вопрос никто не откликнулся



Редактировано 2 раз. Последний раз 01.12.2017 09:44 пользователем BarsTK.