так про квалификатор author я и не говорил, говорил что dc.contributor.имярек и dc.creator.имярек эту задачу не решают из коробки. Приходится выдумывать своё что-то.

А стандартная схема WORLDCAT тоже не плоха, плюс, у них открытый xslt трансформер туда-сюда и схема настраиваемая. На этой картинке всё что желтое - можно двигать по значениям. Но они сами декларируют немного другое использование. Говорят, если у вас OAI отдаёт DC/QDC - используйте стандартную привязку, а вот если MARCXML - настраивайте поле в поле до полной однозначности.

Правда тогда валидность ложится на плечи "отдающей" стороны. Т.е. [elar.rsvpu.ru] вот такая вот штука конечно работает, но

[DSPACE\\config\crosswalks\oai\metadataFormats\marc.xsl нужно настраивать под свои реалии, либо корректировать работу контент-менеджера под реалии имеющегося файла.

В общем worldcat даёт выбор на каком этапе делать "под marc", на этапе публикации для всех или на этапе их харвеста. Удобно. У worldcat вообще всё удобно и человеко-ориентировано.

Возвращаясь к структуре разделов коллекций, могу сказать, что большинство организаций пытаются скопировать со структуры строения (например, раздел - это факультеты, коллекции - кафедры) с целью визуального сравнения продуктивности научной работы.
Когда Вы говорили про тип - это скорее тип материала, а не самого ресурса. Такое пояснение даю скорее всего, себе.
Если требуется сделать просмотр по кафедрам, ограниченной тематике (например рубрика в журнала, к которой относятся снаучные статьи) то, возможно, лучше будет добавить новый фильтр просмотра документов в архиве
add new filter
Discovery
Например, чтобы создать фильтр поиска/просмотра по кафедрам в локальной схеме реестра мета-данных описываем элемент local.subject.department, затем создаем новый фасет по этому элементу, добавляем фильтр. Выводим созданный фильтр в интерфейс просмотра, изменяем браузинг (поскольку кафедры четко определены, то можно выводить не буквам, а по значениям путем выбора соответствующего значения из списка). Также можно поступить и другими элементами: код номенклатуры специльности, поиск по тематичскому рубрикатору и т. д.
Но когда советуют создавать структуру по структуре оганизации, а не по типу, ссылаются на такую возможность, как нахождение документа в разных коллекциях. Все обрыл в админке, но как это сделать, не нашел. Если кто-то знает как это сделать умолительно прошу поделиться информацией. Конечно, много пересмотрел архивов, но НИГДЕ этого не встречал, Именно в нескольких коллекциях. Здесь также может возникнуть проблема, что относить к кафедре. Если один из авторов сотрудник кафедры, а два других соавторов - нет, относится ли это кафедре?! Как Вы упомянули, аффилиация авторов, которая прописана не в элементах мета-описания, а в названии коллекции может неправильно истолкована для индексации.

Цитата:

А стандартная схема WORLDCAT тоже не плоха, плюс, у них открытый xslt трансформер туда-сюда и схема настраиваемая. На этой картинке всё что желтое - можно двигать по значениям. Но они сами декларируют немного другое использование. Говорят, если у вас OAI отдаёт DC/QDC - используйте стандартную привязку, а вот если MARCXML - настраивайте поле в поле до полной однозначности.

Не дорос до того уровня, чтобы что-то ляпнуть. Будем разбираться.
Также если детально присмотреться к структуре файлика описания плоскости ввода, то можно заметить, что можно сделать свой набор элементов для ввода, включая страницы, для каждой коллекции. Вот здесь тоже играет роль, как формировать структуру...

Почти все организации. которые сдеали структуру по подразделениям столкнулись с тем, что во-первых половина структурных подразделений исчезла, другая переименовалась а третья добавилась. Далее, они столкнулись с тем, что в каждой кафедре есть "публикации сотрудников" и пр. массовые коллекции и во-первых тяжело собрать все публикации вместе (discover появился недавно ведь) на одном экране во одном списке, во-вторых, в архиве получается 100+ разделов и коллекций и разобраться в них невозможно. Бонусом практически невозможно использовать маппирование и перенос (ага, в списке 33 коллекции "Публикации сотрудников") и пакетную загрузку.

Теперь ситуация поменялась - постепенно все хоходят до того что и тип документа (понятно что я имею в в виду) и структурное подразделение и индентификатор биб записи и индентификатор автора 9авторитетный файл из АБИС, его ИД) засовывают в метаданные и... оказывается что разделы и коллекции не очень то и нужны. Кстати, Тим явно сказал что в dspace 7 их не будет... разделов и коллекций.

Про возможность нахлждения документа в разных коллекциях. это маппирование, в jspui всё правда точтаточно просто. особенно, если нет двух коллекций с одинаковым именем.

Правда, есть коллизии при экспорте и при работе OAI, поэтому мы решили не использовать маппинг

[wiki.duraspace.org]

Кстати. вот тут подразделений нет - не случились :)

[elib.uraic.ru]

Но фильтр "по типу" как раз основной фильтр. Тип+дата+город. Правда "Город" здесь можно считать подразделением, он в структуре разделов/коллекций, ну и в dc.subject.

Выполнил экспорт мета-данных Item-а:

id,collection,dc.contributor.author,dc.date.issued,dc.identifier.uri,dc.subject[uk_UA],dc.title[en_US]
"2","123456789/2","Иванов, П. С.","2015","http://hdl.handle.net/123456789/3","легка промисловість","Економіка підприємства"

Нету явного указания язык метаданных. Язык указывается в квадратных скобках. В В перечне значений filed нету параметра, который бы определял язык метаданных.
Изменение название элемента в файле input-form.xml приводит к внутренней ошибке сервера. Как все-таки реализовать ввод языка мета-данных на этапе ввода сведений про документ?

В инпут-формс.xml попробуйте отказаться от кириллицы и крахов не будет.

Части полей введенных через веб мастер присваивается язык дефолт локали, части полей не присваивается ничего (например дате или ISBM'у, хотя у последнего вполне себе может быть буква икс), надо глянуть это hardcoded или configurable.

У меня по времени небольшой затык, оперативно сам проверить не смогу.

[wiki.duraspace.org]

С информацией по ссылке ознакомился уже не один раз.

Цитата:

В инпут-формс.xml попробуйте отказаться от кириллицы и крахов не будет.

Так и сделал, кириллицу ввожу только через Unicode Escape коды.
Как оказалось, получал сообщение об ошибке тогда, когда не закрыл тег.
На nabble нашел ваше сообщение, но теги:

<dc-language>uk_UA</dc-language>

или

<language>uk_UA</language>

требуемого результата не дает, хотя сообщения об ошибке не получаю. Также банально не ввел в свою схему добавляемый элемент.
К ошибке ведет, если попытаться ввести в название элемента значение языка. Например,

<field>
         <dc-schema>dc</dc-schema>
         <dc-element>description</dc-element>
         <dc-qualifier>abstract[uk_UA]</dc-qualifier>
         <repeatable>false</repeatable>
         <label>Abstract</label>
         <input-type>textarea</input-type>
         <hint>Enter the abstract of the item below. </hint>
         <required></required>
</field>

Про добавление языка мета-данных рассказывается здесь Integration of language attributes in Metadata and Customization for Domain Specific Repositories, но предложенный способ не работает, вернее, может и работает, но не могу его заставить работать.



Редактировано 1 раз. Последний раз 01.10.2015 08:30 пользователем woodyfon.

Спасибо за статью, поизучаем... просто может оказаться что это работает только в JSPUI и только в старом.

Попробовал "их" способ на 3.3 и 5.3 - не работает. И свои пары язык-значение создавал и готовые common_iso_languages пробовал - не работает.

Учитывая как по-разному отобрадается к примеру dc.identifier и dc.language при том, что в input-forms они почти одинаково забиты, у меня появляется ощущение что это hardcoded feature.

Просмотрел исходники вплоть до 1.4 версии - везде инпут-формс безъязыкий :( А тут вроде выше было что раньше была возможность выбора языка... где ж её искать? Пойду в 1.2 сейчас...

Цитата:

Просмотрел исходники вплоть до 1.4 версии - везде инпут-формс безъязыкий :( А тут вроде выше было что раньше была возможность выбора языка... где ж её искать? Пойду в 1.2 сейчас...

Кажется перепутал, кастомизировать язык можно в форме правки метаданных в итеме.
Прочитал полностью статью - ребята рассказывают о применении патча, который позволяет это сделать. При этом структура БД не меняется. Следовательно, надо изменять код.
Еще пару ссылок про эту проблему:
1. Metadata language in submission forms
2. Metadata internationalization
Первая показывает 403, вторая для DSpace 3.0, 1.8.2. Боюсь, что моих познаний в яве явно недостаточно для такой реализации. Тем более выполнено для xmlui-мордочки.
Жаль, что нельзя указать значение метаданных по умолчанию, т. е. значение которое уже будет забито в поле ввода. Или можно?

Цитата:

В инпут-формс.xml попробуйте отказаться от кириллицы и крахов не будет.

Перестало работать. Не могу заставить работаь. Сохраняю в UTF-8 без BOM. Escape-коды не читает.

> в поле ввода. Или можно?

Можно. По дефолту ставится то значение, которое забито в dspace.cfg в:

# Default language for metadata values
default.language = ИМЯРЕК

Более того, при пакетном импорте на 3-ей версии "ru" в нашем случае присваивалось и датам и пр... всему у чего не было явно указано иное значение. В 5-ой эта проблема ушла отчасти.



Редактировано 1 раз. Последний раз 02.10.2015 15:24 пользователем IdeaFix.

Цитата:

Можно. По дефолту ставится то значение, которое забито в dspace.cfg

Имею в виду не значение языка для всех метаданных, а значение элемента мета-данных. Например, тип итема "Article" для коллекции статей.

Цитата:

Перестало работать. Не могу заставить работаь. Сохраняю в UTF-8 без BOM. Escape-коды не читает.

Прописал кириллицей - заработало.

Цитата:

Например, тип итема "Article" для коллекции статей.

Видимо, это тоже hardcoded, но!

Если мы в input-forms.xml в Type дклаем репитабл=фолс, а в парах типов первым делаем Atricle, а не Animation, то в случае бездействия контент менеджера в отношении поля Type всегда будет вставать Article, или я опять не понял задачи?

Цитата:

Видимо, это тоже hardcoded, но!

Для формы очень не хватает возможности указывать язык мета-данных и значения по умолчанию для элемента. Куда можно написать, чтобы добавили эту фичу?!

Цитата:

Если мы в input-forms.xml в Type дклаем репитабл=фолс, а в парах типов первым делаем Atricle, а не Animation, то в случае бездействия контент менеджера в отношении поля Type всегда будет вставать Article, или я опять не понял задачи?

Хм... Не столь красивый вариант, но рабочий. Подойдет.
Какие необходимо выполнять команды в cron и с какой периодичностью?
Пока определялись со структурой коллекций успели две кафедры превратится в одну. Пришлось перекроить коллекции и, следовательно, удалить неиспользуемые коллекции. В БД остались записи с id итема. Как на их можно "забить" другие?

В вики есть ванильные рекомендации по крону на дейли, манфли и так далее, но я делаю проще. Это каждый день в 3 ночи:

dspace checker -c 100 && dspace cleanup && dspace itemcounter && dspace oai clean-cache && dspace oai import && dspace generate-sitemaps -a && dspace filter-media && dspace index-db-browse -i && dspace index-discovery && dspace stats-util -o && dspace oai import -o && dspace index-discovery -o && dspace sub-daily && dspace checker-emailer -a

Это каждый последний день месяца в 22 часа:
dspace stats-util -u && dspace stats-util -i && dspace stats-util -o && dspace stat-general && dspace stat-report-general && dspace stat-monthly && dspace stat-report-monthly

Обратите внимание на то, как SOLR отдаст память после "dspace index-discovery -o". Если с памятью траблы, можно хоть раз в 2 часа делать.

-------------------

Освобождённые ID айтемов штатно "перезанять" нельзя. Это политический вопрос, политическая позиция авторов. По данному хэндлу должно быть либо то. что было доступно первноначально, либо ни-че-го. Однозначность, отсутствие подмен и пр.... позиция в общем. Ну и я надеюсь удалили только коллекции? Айтемы ведь можноп еремешать из коллекции в коллекцию в т.ч. пакетно.

Но 301/302 редиректы никто не отменял ;)



Редактировано 1 раз. Последний раз 02.10.2015 22:13 пользователем IdeaFix.

Да, я понимаю что некоторые вещи типа "dspace itemcounter" в общем не нужны уже, но раз есть - пусть будет. И у чекера параметр можно побольше/поменьше сделать в зависимости от ситуации, но это вовсе плацебо.

Изучаю технологию пакетного импорта айтемов в архив.
Основное ПО - SAFBuilder.
Еле собрал: pom.xml имеет параметры для сборки под Java 1.6 и maven-plugin 3.2. После изменения на:

<build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.2</version>
                <configuration>
                    <source>1.7</source>
                    <target>1.7</target>
                </configuration>
            </plugin>
        </plugins>
    </build>

и команды

mvn clean install

скрипт safbuilder.sh стал запускаться не с ошибками, а выводом параметров выполнения команд.
Синтакис такой:
cd /SAFBuilder
./safbuilder.sh -c src/sample_data/AAA_batch-metadata.csv -z
После выполнения скрипта в каталоге получаем файл с раширением zip SimpleArchiveFormat.
Пытался проделать тоже самое с файлами pdf и csv-файлами. Не получилось. Делал по аналогии с экпортированным csv-файлом документов из коллекции. Заметил, что названия файла не указывается. Можно ли его указать явно?
+
И да, Excel не умеет толком работать с csv, лучше чем LibreOffice Calc не нашел. Корректно работает с кодировкой UTF-8, умеет определить данные (в двойных кавычках), определить символ-разделитель полей (запятая). Повторение поля указывается как "||".



Редактировано 1 раз. Последний раз 07.10.2015 09:01 пользователем woodyfon.

[yadi.sk]

Вот готовый сет который сработает по safbuilder -s /1-3-6-7/t.csv -z

Грузить или через веб интерфейс через пакетный импорт или dspace import -a -e your_user_name -m /path_to_the_map_file -c handle/collection -s /path_to_saf (папка с сафами, не зип архив!)

Только обратите внимание на кастомные поля метаданных (реестр local), их можно из csv удалить и получится ванильный даблинкор.

В интерьере выглядит так - [elar.usfeu.ru]

Кстати, у меня ночной сафбилдер собрался с явой 8 сам по себе без каких-то правок.

А про эксель я уже неоднократно писал :)



Редактировано 1 раз. Последний раз 07.10.2015 09:06 пользователем IdeaFix.

Да, в CSV-шке не должно быть полей даты кроме dc.date.issued и не должно быть поля dc.identifier.uri, если только это не ссылка на внешний ресурс. Dspace сам это сгенерит.

Цитата:

Вот готовый сет который сработает по safbuilder -s /1-3-6-7/t.csv -z

Под Windows не удается установить символические ссылки. Вообще не могу понять, что это такое. Мало инфы по -h.
Использую следующий синтаксис:
cd to/safbuilder

safbuilder -c path/to/csv -z

Цитата:

Кстати, у меня ночной сафбилдер собрался с явой 8 сам по себе без каких-то правок.

Дествительно собирается. Выполнял

mvn clean install

вместо

mvn clean package

Достаточно выполнить скрипт ./safbuilder.sh. Для Windows запустить safbuilder.bat.

Цитата:

Да, в CSV-шке не должно быть полей даты кроме dc.date.issued и не должно быть поля dc.identifier.uri, если только это не ссылка на внешний ресурс.

Выбор коллекции опционально при пакетном импорте, как указать явно коллекцию и id (если возможно)?

Выбор коллекции опционально при пакетном импорте, как указать явно коллекцию и id (если возможно)?
Никак. Незачем.

Ибо и импорт через dspace import и импорт через веб интерфейс явно подразумевают указание коллекции.

Ну а если у Вас 33 коллекции по 5 документов - это проблема структуры.

А насчёт виндовс и симлинков немного не понял... там же не в симлинках дело а в системных переменных. если есть JAVA_HOME переменная и путь до явы и мавена прописан в path - всё собирается. Т.е. настройка почти как для установки dspace на винду только без аннта.

Цитата:

А насчёт виндовс и симлинков немного не понял... там же не в симлинках дело а в системных переменных. если есть JAVA_HOME

Про симлинки рассказывал не на этапе сборки пакета SAFBuilder, а выполении команды safbuilder c аргументами.
В хелпе есть аргумент -s Set a Symbolic Link for bitstreams (instead of copying them), перевел как установка симлинков - не понимаю, что это такое.
Поэтому запускаю safbuilder c аргументом -с.
Делал экспорт - в My DSpace остались ссылки на эти архивы. Как от их можно избавится?

Как избавиться? Просто удалить столбец.

Оставляйте только те столбцы, котоыре забиваете руками и считаете нужным забивать + столбец filename.

Экспорт делали или импорт? Чтобы оно пропало из mydspace, почистите папку /dspace/exports и /dspace/imports

Кстати, экспорты штатно живут ни то 48 часов ни то 72. Задаётся в конфиге.

Цитата:

Кстати, экспорты штатно живут ни то 48 часов ни то 72. Задаётся в конфиге.

Машина, на котором стоит DSpace пока не можер работать с болшим апйтаймом. То включается, то выключается. Время "жизни" архивов подсчитывается как непрерывная время работы?

Не проверял, но имхо время абсолютное должно быть по логике. В любом случае устраивать чистку в /dspace/uploads, /dspace/imports и /dspace/exports будет не лишним.

Как изменить простой вид отображения сведения про айтем? Возможно, ли для кастомизированных полей сделать отображение в виде ссылки по аналогии с авторами на simple item record?