Пользователи "сидят" в базе. При миграции всё сохраняется.

Мне 12-ый и 16-ый сервер не нравятся форсированием режима "запуск от имени администратора". Т.е. консольную оснастку локальный админ всё равно должен от имени администратора зарускать... ну и iis (мне он нужен для smtp) в 12-ом и тем паче 16-ом сервере очень уж тяжелый, но это опять вкусовщина.

Решил на тестовый сервер установить всё с нуля и подключить базы с работающего сервера в данный момент.За основу взял статью (http://ideafix.name/?p=359).
и так на железо установил:
1.MS Win SRV 2008R2
2.apache-ant-1.9.7-bin.zip
3.apache-maven-3.3.9-bin.zip
4.apache-tomcat-8.5.8.exe
5.jdk-8u111-windows-x64.exe
6.postgresql-9.6.1-1-windows-x64.exe
7.dspace-6.0-src-release.zip
....................................
тык №1 каким образом сформировать содержание каталога c:\Dspace, используя c:\ELib\Maven.
mvn package пишет какие то error
тык №2 в Tomcat требо перебросить содержание каталога jspui - не нашел
тык №3 Postgree (или я не правильно произвожу восстановление/подключение действующих баз)



Редактировано 1 раз. Последний раз 22.11.2016 15:25 пользователем nik314.

mvn package отрабатывает:

[INFO] Scanning for projects...
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 0.250 s
[INFO] Finished at: 2016-11-22T16:53:25+02:00
[INFO] Final Memory: 6M/77M
[INFO] ------------------------------------------------------------------------
[ERROR] The goal you specified requires a project to execute but there is no POM
in this directory (c:\ELib\MAVEN). Please verify you invoked Maven from the cor
rect directory. -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e swit
ch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please rea
d the following articles:
[ERROR] [Help 1] [cwiki.apache.org]
Exception

c:\ELib\MAVEN>

c:\ELib\MAVEN>mvn -v

Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-10T18:41:4
7+02:00)
Maven home: c:\ELib\MAVEN\bin\..
Java version: 1.8.0_111, vendor: Oracle Corporation
Java home: c:\Program Files\Java\jdk1.8.0_111\jre
Default locale: ru_RU, platform encoding: Cp1251
OS name: "windows server 2008 r2", version: "6.1", arch: "amd64", family: "dos"

c:\ELib\MAVEN>

nik314
Просто установите dspace6 чистый, c:\dspace "сформируется" посредством ant fresh_install.

А потом "затереть" безу, развернуть бэкап, обновить базу, перетащить асетстор, поправить конфиги, обновить индексы и в путь.

выполнять mvn package нужно не в домашней директории пользователя c:\ELib\MAVEN> а в ../dspace-6.0-src-release/ или где там у шестого... конечно в c:\ELib\MAVEN никакого pom файла нет.

:)
Microsoft Windows [Version 6.1.7601]
(c) Корпорация Майкрософт (Microsoft Corporation), 2009. Все права защищены.

c:\Dspace>ant fresh_install
Buildfile: build.xml does not exist!
Build failed

c:\Dspace>

nik314

А Вы читаете мануалы или просто выполняете команды в случайной последовательности?:)

После того как мавен отработал без ошибок, нужно еще раз сделать cd

..\dspace-6.0-src-release\dspace\target\dspace-installer && ant fresh_install

[ideafix.name] тут процедура обновления описана, но в целом суть должна быть понятна.

1.mvn выдает ошибки
2. ...dspace\target\.. -такого каталога не наблюдается на всём просторе HDD
3.Содержимое папки c:\ELib\Dspace

22.11.2016 14:40 <DIR> .
22.11.2016 14:40 <DIR> ..
22.11.2016 14:41 <DIR> dspace
22.11.2016 14:40 <DIR> dspace-api
22.11.2016 14:40 <DIR> dspace-jspui
22.11.2016 14:40 <DIR> dspace-oai
22.11.2016 14:40 <DIR> dspace-rdf
22.11.2016 14:40 <DIR> dspace-rest
22.11.2016 14:40 <DIR> dspace-services
22.11.2016 14:40 <DIR> dspace-solr
22.11.2016 14:40 <DIR> dspace-sword
22.11.2016 14:40 <DIR> dspace-swordv2
22.11.2016 14:40 <DIR> dspace-xmlui
22.11.2016 14:40 <DIR> dspace-xmlui-mirage2
24.10.2016 14:46 1 886 LICENSE
24.10.2016 14:46 43 464 LICENSES_THIRD_PARTY
24.10.2016 14:46 194 LICENSE_HEADER
24.10.2016 14:46 819 NOTICE
24.10.2016 14:46 66 801 pom.xml
24.10.2016 14:46 4 273 README.md
22.11.2016 14:40 <DIR> src

nik314 Это не попытка обидеть и пр, это только имхо. Кажется, Вы не можете пока поставить/обновить dspace самостоятельно.

Вот официальный мануал:

[wiki.duraspace.org]

По шагам:

1. Подготавливаем рантайм - ант, мавен, ява, томкэт, постгрес, системные переменные.
2. Проверяем рантайм. Версии анта, мавена, явы, запускаемость томкэта, запускаемость постгри. Создаём базу.
3. Качаем и разархивируем dspace 6.0 src release чотатам zip в одноименную папку (НЕ c:\dspace!!!! лучше что-то типа c:\runtime\dspace-6.0-src-release\)
4. Конфигурируем build.properties (млм как его там?) и если нужно - dspace.cfg.
5. Переходим в папку с исходниками и делаем mvn -U clean package (папку .m2 из юзерпрофиля юзера из-под которого выполняется эта команда лучше удалить).
6. по результатам выполнения команды или чешем репу почему у нас упал мавен, или переходим в папку c:\runtime\dspace-6.0-src-release\dspace\target\dspace-installer и даём команду ant fresh_install

....и только после этого содержимое c:\runtime\dspace-6.0-src-release\dspace\target\dspace-installer копируется в c:\dspace есдли в конфигах не было указано иное.



Редактировано 1 раз. Последний раз 23.11.2016 08:14 пользователем IdeaFix.

"..Maven необходим на первом этапе процесса сборки, чтобы собрать пакет установки для экземпляра DSpace..." (https://wiki.duraspace.org/display/DSDOC6x/Installing+DSpace)

установка mvn, согласно инструкции (c:\ELib\MAVEN\README.txt ):
1. распаковка архива (apache-maven-3.3.9-bin.zip)
2. определение переменных и пути поиска в системе: Path, java_home
3. mvn -version:
Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-10T18:41:4
7+02:00)
Maven home: c:\ELib\MAVEN\bin\..
Java version: 1.8.0_111, vendor: Oracle Corporation
Java home: c:\Program Files\Java\jdk1.8.0_111\jre
Default locale: ru_RU, platform encoding: Cp1251
OS name: "windows server 2008 r2", version: "6.1", arch: "amd64", family: "dos"



Редактировано 3 раз. Последний раз 23.11.2016 09:46 пользователем nik314.

А теперь результат выполнения команды mvn package (ну или mvn -u clean package) в той директории, в которой эта команда должна быть запущена...

c:\ELib\Dspace\dspace>mvn package
[INFO] Scanning for projects...
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO]
[INFO] DSpace Addon Modules
[INFO] DSpace Kernel :: Additions and Local Customizations
[INFO] DSpace XML-UI (Manakin) :: Local Customizations
[INFO] DSpace JSP-UI :: Local Customizations
[INFO] DSpace RDF :: Local Customizations
[INFO] DSpace REST :: Local Customizations
[INFO] DSpace SWORD :: Local Customizations
[INFO] DSpace SWORD v2 :: Local Customizations
[INFO] DSpace SOLR :: Local Customizations
[INFO] DSpace OAI-PMH :: Local Customizations
[INFO] DSpace Assembly and Configuration
[INFO]
[INFO] ------------------------------------------------------------------------
[INFO] Building DSpace Addon Modules 6.0
[INFO] ------------------------------------------------------------------------
Downloading: [repo.maven.apache.org]
-enforcer-plugin/1.4.1/maven-enforcer-plugin-1.4.1.pom
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO]
[INFO] DSpace Addon Modules ............................... FAILURE [ 12.594 s]
[INFO] DSpace Kernel :: Additions and Local Customizations SKIPPED
[INFO] DSpace XML-UI (Manakin) :: Local Customizations .... SKIPPED
[INFO] DSpace JSP-UI :: Local Customizations .............. SKIPPED
[INFO] DSpace RDF :: Local Customizations ................. SKIPPED
[INFO] DSpace REST :: Local Customizations ................ SKIPPED
[INFO] DSpace SWORD :: Local Customizations ............... SKIPPED
[INFO] DSpace SWORD v2 :: Local Customizations ............ SKIPPED
[INFO] DSpace SOLR :: Local Customizations ................ SKIPPED
[INFO] DSpace OAI-PMH :: Local Customizations ............. SKIPPED
[INFO] DSpace Assembly and Configuration .................. SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 14.047 s
[INFO] Finished at: 2016-11-23T09:33:20+02:00
[INFO] Final Memory: 12M/115M
[INFO] ------------------------------------------------------------------------
[ERROR] Plugin org.apache.maven.plugins:maven-enforcer-plugin:1.4.1 or one of it
s dependencies could not be resolved: Failed to read artifact descriptor for org
.apache.maven.plugins:maven-enforcer-plugin:jar:1.4.1: Could not transfer artifa
ct org.apache.maven.plugins:maven-enforcer-plugin:pom:1.4.1 from/to central (htt
ps://repo.maven.apache.org/maven2): Secondary error while OS message extraction
(repo.maven.apache.org): Unknown host Secondary error while OS message extractio
n (repo.maven.apache.org) -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e swit
ch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please rea
d the following articles:
[ERROR] [Help 1] [cwiki.apache.org]
onException

c:\ELib\Dspace\dspace>

в инструкции (https://wiki.duraspace.org/display/DSDOC6x/Installing+DSpace) идет речь об настройке proxy mvn:"..Вы можете настроить прокси-сервер использовать для некоторых или всех ваших HTTP-запросов в Maven. .."
Нужны ли производить изменения в файле: c:\ELib\MAVEN\conf\settings.xml
В нашем proxy логины и пароли не используются, изменения значения port результата не даёт (80 --->3128)



Редактировано 2 раз. Последний раз 23.11.2016 10:10 пользователем nik314.

т.е. у сервера нет прямого доступа в интернет? С этого надо было начинать.

Покажите settings.xml, там строчка <active>true</active> есть?

данный тестовый сервер имеет выход в Internet через прокси
И данный файл большим изменениям не подвергался (c:\ELib\MAVEN\conf\settings.xml )
...
<proxies>
<!-- proxy
| Specification for one proxy, to be used in connecting to the network.
|
<proxy>
<id>optional</id>
<active>true</active>
<protocol>http</protocol>
<username>proxyuser</username>
<password>proxypass</password>
<host>proxy.host.net</host>
<port>80</port>
<nonProxyHosts>local.net|some.host.com</nonProxyHosts>
</proxy>
-->
</proxies>
.....



Редактировано 3 раз. Последний раз 24.11.2016 11:10 пользователем nik314.

Т.е. у Васroxy.host.net называется прокси сервер и весь этот кусок закоментирован?



<proxies>
<!-- proxy

ВСЁ ЧТО ТУТ - ЗАКОМЕНТИРОВАНО

-->
</proxies>

изменил на:
<proxy>
<id>optional</id>
<active>true</active>
<protocol>http</protocol>
<host>10.0.0.28</host>
<port>3128</port>
</proxy>

при этих настройках результата пока нет:

c:\ELib\Dspace\dspace>mvn -package
Unable to parse command line options: Unrecognized option: -package

usage: mvn [options] [<goal(s)>] [<phase(s)>]
......



Редактировано 1 раз. Последний раз 24.11.2016 12:00 пользователем nik314.

c:\ELib\Dspace\dspace>mvn -U clean package
пошла загрузка ...

При более детальном осмотре обнаружено, что каталог (c:\Dspace\webapps) пустой



Редактировано 5 раз. Последний раз 24.11.2016 13:32 пользователем nik314.

Добрый день. Резко начали сыпаться ошибки (логи томкета localhost.2016-11-29). Что это может быть?

29-Nov-2016 08:25:18.661 SEVERE [http-nio-8080-exec-19] org.apache.catalina.core.ApplicationDispatcher.invoke Servlet.service() for servlet simple-search threw exception
java.lang.NullPointerException
at org.dspace.discovery.SolrServiceImpl.transformDisplayedValue(SolrServiceImpl.java:2228)
at org.dspace.discovery.SolrServiceImpl.toFilterQuery(SolrServiceImpl.java:2103)
at org.dspace.app.webui.discovery.DiscoverUtility.setupBasicQuery(DiscoverUtility.java:248)
at org.dspace.app.webui.discovery.DiscoverUtility.getDiscoverQuery(DiscoverUtility.java:89)
at org.dspace.app.webui.discovery.DiscoverySearchRequestProcessor.doSimpleSearch(DiscoverySearchRequestProcessor.java:251)
at org.dspace.app.webui.servlet.SimpleSearchServlet.doDSGet(SimpleSearchServlet.java:63)
at org.dspace.app.webui.servlet.DSpaceServlet.processRequest(DSpaceServlet.java:119)
at org.dspace.app.webui.servlet.DSpaceServlet.doGet(DSpaceServlet.java:67)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:622)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:292)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:207)
at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:240)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:207)
at org.apache.catalina.core.ApplicationDispatcher.invoke(ApplicationDispatcher.java:720)
at org.apache.catalina.core.ApplicationDispatcher.processRequest(ApplicationDispatcher.java:466)
at org.apache.catalina.core.ApplicationDispatcher.doForward(ApplicationDispatcher.java:391)
at org.apache.catalina.core.ApplicationDispatcher.forward(ApplicationDispatcher.java:318)
at org.dspace.app.webui.servlet.HandleServlet.doDSGet(HandleServlet.java:189)
at org.dspace.app.webui.servlet.DSpaceServlet.processRequest(DSpaceServlet.java:119)
at org.dspace.app.webui.servlet.DSpaceServlet.doGet(DSpaceServlet.java:67)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:622)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:292)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:207)
at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:240)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:207)
at org.dspace.rdf.negotiation.NegotiationFilter.doFilter(NegotiationFilter.java:50)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:240)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:207)
at org.dspace.utils.servlet.DSpaceWebappServletFilter.doFilter(DSpaceWebappServletFilter.java:78)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:240)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:207)
at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:212)
at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:106)
at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:502)
at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:141)
at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:79)
at org.apache.catalina.valves.AbstractAccessLogValve.invoke(AbstractAccessLogValve.java:616)
at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:88)
at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:522)
at org.apache.coyote.http11.AbstractHttp11Processor.process(AbstractHttp11Processor.java:1095)
at org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol.java:672)
at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.doRun(NioEndpoint.java:1502)
at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.run(NioEndpoint.java:1458)
at java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
at java.lang.Thread.run(Unknown Source)

Приветствую.

У меня сейчас два архива находятся прод оченьс ерьезной нагрузкой со стороны [oadoi.org]

Харвестят жестко и тупо. Crawl delay игнорируют. Что странно, оба этих архива есть в BASE и DOI есть только в одном из них....

Кто-нибудь в курсе что это такое, их банить или еще и хостинг провайдеру abuse накатать?

А если сервер настроить на обрыв соединений со стороны oadoi.org и сделать что-то на подобии фаервола?

woodyfon
Валить всех по fail2ban не сложно, другое дело что к примеру православный ahrefs ведет себя точно так же и при этом считается годным и правильным ресурсом, т.к. его использует Исидро :)

В то же время, жругой ресурс, к примеру citefactor или scrapinghub, ведущий себя аналогично - официальное зло.

Коллеги из BASE от этих гавриков открестились, но оказалось что это alternative doi resolver - т.е. они продают ДОИ. А помимо этого сканируют весь интернет на предмет "чужих" ДОИ и добавляют их в свой резолвер.

Когда я стал давить на их хостинг провайдера, ответили тут же, дескать харвест прекращаем, а когда просто писал им в сапорт - молчали.

Мне же не метаданных жалко, мне нужно понять мотивацию. если ресурс хороший - качайте. мы потерпим, а если очередные воры метаданных - буду долбить хостинг пока им сервера не повыключают :)



Редактировано 1 раз. Последний раз 30.11.2016 21:30 пользователем IdeaFix.

Делаю пакетный импорт материалов в DSpace используя Simple Archive Format (SAFBilder) через UI JSPUI. Импорт завершается, поскольку очень настырный, но пока загружу получаю сообщения об ошибке, что нет файла или директории. Поэтому продолжная импорт, дохожу до самого конца. Но может быть ошибок не будет, если грузить через command line сервера. Как указать две и более коллекции, куда следует добавить импортируемые материалы?

а ключ -c умеет множественные значения? Просто через запятую.

ПОсле импорта через sys-admin перестал работать импорт через UI JSPUI.
Куда копать?

подскажите пожалуйста, как посмотреть статистику скачиваний докумментов?

woodyfon Стоит к телепатам обратиться, остальным мало данных :)

Кубик Формализуйте вопрос. Но в общем случае dspace stat-initial && dspace-stat-report-initial и в админке статистика.

Цитата:

ПОсле импорта через sys-admin перестал работать импорт через UI JSPUI.

Запускал команду импорта под sudo. Соответственно поменялись права доступа к папке /imports. Пользователь tomcat7 прав на запись в эту папку не имеет. Поэтому и не работал. После назначения прав доступа импорт через UI JSPUI заработал.

IdeaFix написал(а):

> Кубик Формализуйте вопрос.

в общем, хотелось бы посмотреть сколько файлов было скачано пользователями репозитария