Helen666,
Если в логах такое сообщение для всех битстримов, то смотрите на SOLR. Если на некоторых - права можно просмотреть через UI, также можете проверку.

Почему статистику коллекции (раздела, айтима) может просматривать только администратор? для остальных пользователей пишет недостаточно прав. В логах такие строки

2016-05-20 08:50:14,928 INFO org.dspace.app.webui.servlet.HandleServlet @ еее@mail.ru:session_id=91A8A0C7A9EF3CF79841A911AD281AE9:ip_addr=86.57.180.46:display_statistics:handle=123456789/1, path=/statistics
2016-05-20 08:50:14,944 INFO org.dspace.app.webui.servlet.DSpaceServlet @ eee@mail.ru:session_id=91A8A0C7A9EF3CF79841A911AD281AE9:ip_addr=86.57.180.46:authorize_error:org.dspace.authorize.AuthorizeException

По умолчанию просмотр статистики для анонимных пользователей отключен. За это отвечает параметр

report.public

Чтобы включить просмотр статистики для всех пользователей измените значение параметра на "true". Перезапустите DSpace. После запуска просмотр статистики будет доступен любому пользователю.

Helen666
Потому, что в файле /dspace/config/modules/usage-statistics.cfg

Написано authorization.admin.usage=true, а должно быть false

report.public - это другое, это [yourarchivedomain], но эту штуку я бы не рекомендовал открывать, ибо она во-первых не очевидна даже искушенному юзеру, а во-вторых скорее всего не достоверна.

Helen666
Упс, действительно именно так. Не до конца прочитал сообщение.

Добрый день, подскажите, пожалуйста, почему может не работать статистика. Единожды запустили команды на инициализацию статистики вручную, появились данные общей статистики, но они не обновляются (так и висит отчет за февраль, хотя в кроне прописали задания для каждодневного сбора статистики и по логам она как бы ведется)
По коллекциям же данных нет и не было с момента установки, не могу разобраться как ее запустить. Программу ставил университетский админ, сделал чтобы томкет смотрел напрямую в директорию Dspace, если это имеет значение.Буду очень благодарна, пытаюсь все таки побороть этого "зверя")

stat-general и stat-report-general а так же stat-monthly и stat-report-monthly необходимо запускать по планировщику в последний день месяца за несколько часов до полуночи.

Вас сейчас спасёт stat-initial и stat-report-initial эти команды сгенерируют статистику за прошедшие месяцы.

В общем вот мануал - [wiki.duraspace.org]

Если что не понятно - спрашивайте, поможем.

Коллеги, а никто не заметил резкого скачка посещаемости на днях? На столько резкого что логи загадили всё свободное место на диске и сервис встал?

IdeaFix написал(а):
-------------------------------------------------------
> Коллеги, а никто не заметил резкого скачка
> посещаемости на днях? На столько резкого что логи
> загадили всё свободное место на диске и сервис
> встал?

У меня все в пределах среднего. 21-го был небольшой всплеск, но это гугл пере/доиндексировал после перегенерации sitemap.

А у меня в трех архивах access.log 10-15GB в сутки. Мне в общем не жалко, но место кончается быстро...

Источник - песочница в Германии: 138.198.0.0 - 138.201.255.255

Их abuse в общем нафиг не шлёт, но пока тон общения такой: описывайте вашу проблему максимально эмоционально и красочно в течении двух суток, которые мы даём нашему клиенту для того чтобы оправдаться, а потом мы разделегируем всё может быть. Но пока, описывайте вашу проблему красочно...

Нормально так... 23-е мая, 1.6 миллиона просмотров с одного хоста. Архивчик в общем не большой, менее 3 тыщ заглавий. Ладно хоть сервер выдерживает такой поток :)

IdeaFix написал(а):
-------------------------------------------------------
> А у меня в трех архивах access.log 10-15GB в
> сутки. Мне в общем не жалко, но место кончается
> быстро...
>
> Источник - песочница в Германии: 138.198.0.0 -
> 138.201.255.255
>
> Их abuse в общем нафиг не шлёт, но пока тон
> общения такой: описывайте вашу проблему
> максимально эмоционально и красочно в течении двух
> суток, которые мы даём нашему клиенту для того
> чтобы оправдаться, а потом мы разделегируем всё
> может быть. Но пока, описывайте вашу проблему
> красочно...

я таких до "решения" проблемы баню

> я таких до "решения" проблемы баню

А если это исидро упражняется в свете прикрытия ahrefs'ом лавочки? Как раз июльский вебометрикс на носу. Да, я параноик :)

В связи с этим хочу спросить:
в каталоге - "....Apache Software Foundation\Tomcat 7.0\logs\...."
скопилось около тыс файлов.
Можно ли чистить этот каталог и как ?
Видимо через задание на удаление файлов через стандартный виндовый Schedule. А настройки самого Apache позволяют это делать ?



Редактировано 2 раз. Последний раз 25.05.2016 10:28 пользователем nik314.

Чистить логи без анализа - преступление :)

На самом деле нам поведение пользователей через localhost_access_log* можно понять, ошибки через аналогичный еррор_лог. Я сейчас шедулером копирую логи раз в неделю на машину с анализатором логов, а имеющиеся логи на машине с dspace жму быстрым зипом. Сжимается в 10-20 раз, даже в 20.

Логи настраиваются в /apache/conf/server.xml Их можно и вовсе отключить, допустим, если пред tomcat стоит httpd или nginx и тоже логгирует.

Ну и это.... /dspace/logs трогать нельзя ни под каким предлогом...

Всё это понятно. Анализ.Ошибки.Нагрузки.Активность удален хостов. Вопрос мой был в другом. Один раз неудачно перенес логи и лишился статистики в DSpace, поэтому в Apache не совался, наблюдая как разростается каталог с логами.

Как вариант, зиповать и удалять всё за вчерашнее число. Нормальный logrotation так и работает.

спасибо, понял. Я предполагал, что DSpace что то черпает для себя из логов Apache.

Всем привет. В логах томкета выпадают такие ошибки, кто-нибудь знает в чем дело, что он хочет?


30-May-2016 23:56:01.980 SEVERE [http-nio-8080-exec-13] org.apache.catalina.core.StandardWrapperValve.invoke Servlet.service() for servlet [bitstream] in context with path [] threw exception [org.apache.catalina.connector.ClientAbortException: java.io.IOException: An established connection was aborted by the software in your host machine] with root cause
java.io.IOException: An established connection was aborted by the software in your host machine
at sun.nio.ch.SocketDispatcher.write0(Native Method)
at sun.nio.ch.SocketDispatcher.write(Unknown Source)
at sun.nio.ch.IOUtil.writeFromNativeBuffer(Unknown Source)
at sun.nio.ch.IOUtil.write(Unknown Source)
at sun.nio.ch.SocketChannelImpl.write(Unknown Source)
at org.apache.tomcat.util.net.NioChannel.write(NioChannel.java:124)
at org.apache.tomcat.util.net.NioBlockingSelector.write(NioBlockingSelector.java:101)
at org.apache.tomcat.util.net.NioSelectorPool.write(NioSelectorPool.java:172)
at org.apache.coyote.http11.InternalNioOutputBuffer.writeToSocket(InternalNioOutputBuffer.java:139)
at org.apache.coyote.http11.InternalNioOutputBuffer.addToBB(InternalNioOutputBuffer.java:197)
at org.apache.coyote.http11.InternalNioOutputBuffer.access$000(InternalNioOutputBuffer.java:41)
at org.apache.coyote.http11.InternalNioOutputBuffer$SocketOutputBuffer.doWrite(InternalNioOutputBuffer.java:320)
at org.apache.coyote.http11.filters.IdentityOutputFilter.doWrite(IdentityOutputFilter.java:84)
at org.apache.coyote.http11.AbstractOutputBuffer.doWrite(AbstractOutputBuffer.java:256)
at org.apache.coyote.Response.doWrite(Response.java:501)
at org.apache.catalina.connector.OutputBuffer.realWriteBytes(OutputBuffer.java:388)
at org.apache.tomcat.util.buf.ByteChunk.append(ByteChunk.java:315)
at org.apache.catalina.connector.OutputBuffer.writeBytes(OutputBuffer.java:418)
at org.apache.catalina.connector.OutputBuffer.write(OutputBuffer.java:406)
at org.apache.catalina.connector.CoyoteOutputStream.write(CoyoteOutputStream.java:97)
at java.io.BufferedOutputStream.flushBuffer(Unknown Source)
at java.io.BufferedOutputStream.write(Unknown Source)
at org.dspace.core.Utils.copy(Utils.java:238)
at org.dspace.core.Utils.bufferedCopy(Utils.java:264)
at org.dspace.app.webui.servlet.BitstreamServlet.doDSGet(BitstreamServlet.java:224)
at org.dspace.app.webui.servlet.DSpaceServlet.processRequest(DSpaceServlet.java:119)
at org.dspace.app.webui.servlet.DSpaceServlet.doGet(DSpaceServlet.java:67)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:622)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:292)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:207)
at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:240)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:207)
at org.dspace.utils.servlet.DSpaceWebappServletFilter.doFilter(DSpaceWebappServletFilter.java:78)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:240)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:207)
at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:212)
at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:106)
at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:502)
at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:141)
at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:79)
at org.apache.catalina.valves.AbstractAccessLogValve.invoke(AbstractAccessLogValve.java:616)
at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:88)
at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:522)
at org.apache.coyote.http11.AbstractHttp11Processor.process(AbstractHttp11Processor.java:1095)
at org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol.java:672)
at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.doRun(NioEndpoint.java:1502)
at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.run(NioEndpoint.java:1458)
at java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
at java.lang.Thread.run(Unknown Source)

30-May-2016 23:57:17.403 SEVERE [http-nio-8080-exec-9] org.apache.catalina.core.StandardWrapperValve.invoke Servlet.service() for servlet [bitstream] in context with path [] threw exception [org.apache.catalina.connector.ClientAbortException: java.io.IOException: An existing connection was forcibly closed by the remote host] with root cause
java.io.IOException: An existing connection was forcibly closed by the remote host
at sun.nio.ch.SocketDispatcher.write0(Native Method)
at sun.nio.ch.SocketDispatcher.write(Unknown Source)
at sun.nio.ch.IOUtil.writeFromNativeBuffer(Unknown Source)
at sun.nio.ch.IOUtil.write(Unknown Source)
at sun.nio.ch.SocketChannelImpl.write(Unknown Source)
at org.apache.tomcat.util.net.NioChannel.write(NioChannel.java:124)
at org.apache.tomcat.util.net.NioBlockingSelector.write(NioBlockingSelector.java:101)
at org.apache.tomcat.util.net.NioSelectorPool.write(NioSelectorPool.java:172)
at org.apache.coyote.http11.InternalNioOutputBuffer.writeToSocket(InternalNioOutputBuffer.java:139)
at org.apache.coyote.http11.InternalNioOutputBuffer.addToBB(InternalNioOutputBuffer.java:197)
at org.apache.coyote.http11.InternalNioOutputBuffer.access$000(InternalNioOutputBuffer.java:41)
at org.apache.coyote.http11.InternalNioOutputBuffer$SocketOutputBuffer.doWrite(InternalNioOutputBuffer.java:320)
at org.apache.coyote.http11.filters.IdentityOutputFilter.doWrite(IdentityOutputFilter.java:84)
at org.apache.coyote.http11.AbstractOutputBuffer.doWrite(AbstractOutputBuffer.java:256)
at org.apache.coyote.Response.doWrite(Response.java:501)
at org.apache.catalina.connector.OutputBuffer.realWriteBytes(OutputBuffer.java:388)
at org.apache.tomcat.util.buf.ByteChunk.append(ByteChunk.java:315)
at org.apache.catalina.connector.OutputBuffer.writeBytes(OutputBuffer.java:418)
at org.apache.catalina.connector.OutputBuffer.write(OutputBuffer.java:406)
at org.apache.catalina.connector.CoyoteOutputStream.write(CoyoteOutputStream.java:97)
at java.io.BufferedOutputStream.flushBuffer(Unknown Source)
at java.io.BufferedOutputStream.write(Unknown Source)
at org.dspace.core.Utils.copy(Utils.java:238)
at org.dspace.core.Utils.bufferedCopy(Utils.java:264)
at org.dspace.app.webui.servlet.BitstreamServlet.doDSGet(BitstreamServlet.java:224)
at org.dspace.app.webui.servlet.DSpaceServlet.processRequest(DSpaceServlet.java:119)
at org.dspace.app.webui.servlet.DSpaceServlet.doGet(DSpaceServlet.java:67)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:622)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:292)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:207)
at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:240)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:207)
at org.dspace.utils.servlet.DSpaceWebappServletFilter.doFilter(DSpaceWebappServletFilter.java:78)
at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:240)
at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:207)
at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:212)
at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:106)
at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:502)
at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:141)
at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:79)
at org.apache.catalina.valves.AbstractAccessLogValve.invoke(AbstractAccessLogValve.java:616)
at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:88)
at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:522)
at org.apache.coyote.http11.AbstractHttp11Processor.process(AbstractHttp11Processor.java:1095)
at org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol.java:672)
at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.doRun(NioEndpoint.java:1502)
at org.apache.tomcat.util.net.NioEndpoint$SocketProcessor.run(NioEndpoint.java:1458)
at java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
at java.lang.Thread.run(Unknown Source)

[dspace.2283337.n4.nabble.com]

Вас часом не харвестили?

Скиньте на почту зипованый /tomcat/logs/localhost|_access_log***.txt за 30-ое мая.



Редактировано 1 раз. Последний раз 31.05.2016 19:13 пользователем IdeaFix.

Всем здравствуйте. А кто-нибудь может подсказать какие обязательные задания для cron вы делали для своего репозитария. Я чайник в юникс подобных систем, а админ требует точного изложения и перечня команд, сам вникать не хочет. Помогите, пожалуйста.Примерно ориентируюсь: статистика, сайтмеп, oai import, но там довольно таки много команд. Помогите разобраться, как лучше оптимизировать работу системы. Версия 5,4, установлена на freebsd. Прошу не судить строго за мое незнание, учусь)

Такому админу надо писать не команды, а тыкать на примеры. Он лучше знает как построена структура каталогов. Почитайте раздел 5.8 Scheduled Tasks via Cron Several мануала для DSpace 5.5. По ссылке cron можете посмотреть пример файла заданий.
Минимальный перечень заданий может быть таким
1. Каждодневная рассылка на почту сведений о новых поступлениях.
2. Создание карты сайта
3. Формирование статистики
4. Применение фильтра (например, для создания миниатюр изображений или извлечения текста из полнотекстовых файлов)
5. Проверка контрольной суммы файлов (целостности)
6. Если используете задания курирования, то также обязательно запуск таких заданий.
7. Переиндексация архива (discovery, solr).
8. Формирования OAI-PMH.
Заставьте админа следить за выполнением команд. Логи куда-нибудь надо однозначно писать.
+
Да, и забыл задания по эмбарго и очистка удаленных файлов.



Редактировано 1 раз. Последний раз 16.06.2016 15:19 пользователем woodyfon.

Для файлов материала можно менять политику доступа. Например, запретить просмотр/скачивание файла анонимным пользователям, путем изменения группы. Группа зачастую содержит пользователей. Т. е. доступ имеют определенное количество пользователей.
Но есть ли возможность выбирать не группы, а конкретного E-Person?

svinto4ek

[wiki.duraspace.org] - это типа официальная шпаргалка, но как сказал коллега выше, все делают по-своему.

У меня получился вот такой набор на каждый день:

dspace checker -c 100
dspace cleanup
dspace oai clean-cache
dspace oai import
dspace generate-sitemaps -a
dspace filter-media
dspace index-db-browse -i
dspace index-discovery
dspace stats-util -o
dspace oai import -o
dspace index-discovery -o
dspace sub-daily
dspace checker-emailer -a

И вот такой в последний день месяца:

dspace stats-util -u
dspace stats-util -i
dspace stats-util -o
dspace stat-general
dspace stat-report-general
dspace stat-monthly
dspace stat-report-monthly

Спасибо Вам огромное, ребята! Буду пробовать)

IdeaFix написал(а):
-------------------------------------------------------
> svinto4ek
>
> [wiki.duraspace.org]
> ed+Tasks+via+Cron - это типа официальная
> шпаргалка, но как сказал коллега выше, все делают
> по-своему.
>
> У меня получился вот такой набор на каждый день:
>
> dspace checker -c 100
> dspace cleanup
> dspace oai clean-cache
> dspace oai import
> dspace generate-sitemaps -a
> dspace filter-media
> dspace index-db-browse -i
> dspace index-discovery
> dspace stats-util -o
> dspace oai import -o
> dspace index-discovery -o
> dspace sub-daily
> dspace checker-emailer -a
>
> И вот такой в последний день месяца:
>
> dspace stats-util -u
> dspace stats-util -i
> dspace stats-util -o
> dspace stat-general
> dspace stat-report-general
> dspace stat-monthly
> dspace stat-report-monthly

жите, а какую функцию выполняет "dspace index-db-browse -i" не могу найти в мануале. И чем вы руководствовались при задании времени, например очистка OAI и import OAI, я так понимаю время задачи зависит от обьема архива и от аппаратных составляющих сервера, насколько быстро сработает команда.Пытаюсь настроить все оптимально)

svinto4ek

C:\Users\Administrator>dspace index-db-browse help
Using DSpace installation in: C:\dspace
usage: IndexBrowse
 -d,--delete        delete all the indices, but don't create new ones.
                    For use with -f. This is mutually exclusive with -r
 -f,--full          make the tables, and do the indexing.  This forces -x.
                    Mutually exclusive with -t and -i
 -h,--help          show this help documentation.  Overrides all other
                    arguments
 -i,--index         actually do the indexing.  Mutually exclusive with -t
                    and -f
 -o,--out <arg>     [-o <filename>] write the remove and create SQL to the
                    given file. For use with -t and -f
 -p,--print         write the remove and create SQL to the stdout. For use
                    with -t and -f
 -r,--rebuild       should we rebuild all the indices, which removes old
                    index tables and creates new ones.  For use with -f.
                    Mutually exclusive with -d
 -s,--start <arg>   [-s <int>] start from this index number and work
                    upward (mostly only useful for debugging). For use
                    with -t and -f
 -t,--tables        create the tables only, do not attempt to index.
                    Mutually exclusive with -f and -i
 -v,--verbose       print extra information to the stdout.  If used in
                    conjunction with -p, you cannot use the stdout to
                    generate your database structure
 -x,--execute       execute all the remove and create SQL against the
                    database. For use with -t and -f

Насчёт OAI - кэш даёт временной штраф пр массовых правках и переимпорте в OPENAIRE или CORE/COAR, например. К тому же, ранее dspace oai import -c не делал опустошения кэша, теперь (кажется с версии 5.3) делает.

По поводу оптимальности:

> dspace stats-util -o
> dspace oai import -o
> dspace index-discovery -o

Вот эти вещи дают очень хороший отклик по используемой памяти. SOLR вообще такая штука, которая способна сожрать ВСЮ память, 120GB сжирает и норм :) А эти три команды (после всех операций обновления) способны оптимизировать кэш посредством съедания всего процессора на полчасика (говорю исходя из объёмов своего архива и мощности своего сервера)

Добрый день. Кто-нибудь подскажет в чем ошибка и как можно попробовать ее решить?

ERROR org.dspace.browse.ItemCountDAOSolr @ Caching is not supported by the ItemCountDAOSolr as it is not really needed, Solr is faster!