Доброго времени суток!
Я - представитель библиотеки Одесского Национального Медицинского Университета.
Мы не первый год пользуемся ИРБИС'ом, очень довольны!
Задумались о создании Институционального Репозитория, и появилась проблема - нужно перенести базу из ИРБИСа в DSpace.
Проконсультируйте пожалуйста, или предложите готовое решение.
Заранее благодарю.

Готового решения нет. Перенос будет очень увлекательным, особенно если учесть, что во время импорта в ДиСпейс ему нужно подсовывать данные в виде XML файлов нужной структуры и сами файлы документов.

А вообще спецы по Диспейсу сидят вот в этой ветке - [irbis.gpntb.ru]

У них уже много опытов, может что-то и придумают.

Спасибо. Перенесите пожалуйста мою тему в тот раздел.

Почитайте по поводу Simple Archive Format.

[wiki.duraspace.org]

В принципе, утилиты для генерации метаданных из csv файла есть, а в csv выгрузить из ирбиса я думаю можно, и подредактировать регекспами тоже.

Уточните что именно Вы хотите перегнать в DSpace? Некую структуру разделов/коллекций? Думаю, не стоит оно того.

А вот если именно метаданные - всё может быть проще чем кажется.

Да, вот софтинка, которая SAF наборы строит из набора метаданных:

[github.com]

Ну и еще ссылочка

[wiki.duraspace.org]

И это.... я бы крайне не советовал работать напрямую по схеме база ирбиса -> база диспейса... есть отрицательный опыт.



Редактировано 1 раз. Последний раз 28.03.2013 18:33 пользователем IdeaFix.

А в чем выражается отрицательный опыт? Какая-то из баз посыпалась? Или еще что-то возникло?

В общем, я с содержимым и структурой базы ирбиса не знаком, но база диспейса оченно не проста, и после злых манипуляций с базой обычно получаешь "внутренняя системмная ошибка" в веб интерфейсе и "совпадающий хэндл" в логах при добавлении ресурса.

У диспейса есть макросы metadata-export и metadata-import. Импортирует система в общем случае строки типа:

"3408","123456789/347",,,"Цаплина, Е. А.",,,"2012",,,,,,"Цаплина, Е. А. Особенности озеленения городов Среднего Урала (на примере города Кушва) / Е. А. Цаплина // Научное творчество молодежи – лесному комплексу России : материалы VIII Всерос. науч.-техн. конф. студентов и аспирантов и конкурса по программе «Умник» / М-во образования и науки РФ, Урал. гос. лесотехн. ун-т, Урал. отд-ние секции наук о лесе Рос. Акад. естеств. наук, Урал. лесной технопарк ; ред. С. В. Залесов [и др.]. – Екатеринбург : УГЛТУ, 2012. – Ч. 1. – С. 150-152.",,,,,"http://elar.usfeu.ru/handle/123456789/369",,,,,,"ОЗЕЛЕНЕНИЕ ГОРОДОВ||БЛАГОУСТРОЙСТВО ГОРОДСКИХ ТЕРРИТОРИЙ",,,,,"Особенности озеленения городов Среднего Урала (на примере города Кушва)"

с шапкой типа:

id,collection,dc.contributor.advisor[ru],dc.contributor.author,dc.contributor.author[ru],dc.creator[ru],dc.date.issued,dc.date.issued[ru],dc.description.abstract[ru],dc.description.abstract[ru_RU],dc.description[ru],dc.description[ru_RU],dc.identifier.citation[ru],dc.identifier.citation[ru_RU],dc.identifier.issn[ru],dc.identifier.other[ru],dc.identifier.speciality[ru],dc.identifier.uri,dc.identifier.uri[ru],dc.publisher[ru],dc.publisher[ru_RU],dc.relation.ispartofseries[ru],dc.subject.ddc[ru],dc.subject[ru],dc.subject[ru_RU],dc.title.alternative[en],dc.title.alternative[ru],dc.title.alternative[ru_RU],dc.title[ru],dc.title[ru_RU]

и разделителями запятыми

[elar.usfeu.ru] вот сама запись.

О! Это очень интересно. Столкнулся с "внутренней системной ошибкой", никак не могу от нее избавится. Как лучше всего поступить? Правда я все делал через бекапы. Думаю, лучше всего сделать экспорт, опустошения, импорт в базах Диспейса. С дублетными хендлами научился бороться с помощтю скрипта, который проходит по всем таблицам и обновляет счетчик до максимального. А вот со внутренней системной ошибкой все никак справится не могу. Нашел странный и непонятный, но действующий метод (вычислил как-то из логов): если при внутренней системной ошибки внисти хоть какое-то изменение в лицензию, то для ошибка временно пропадает. Правда у меня и сама ошибка вылетает именно на стадии подтверждения лицензии.

еЯ использую такой скрипт:

cd c:\dspace\bin && net stop Tomcat7 && dspace index-init && dspace filter-media && dspace itemcounter && dspace cleanup && dspace checker && net start Tomcat7 && pause

для фиксов после масштабных изменений асетстора, а если в логах выстреливает совпадающий хэндл, то иду в пгадмин в базу диспейса в последовательности, в хэндл_сек и делаю текущее значение +1

Для бэкапов скрипт примерно такой:

set now=%TIME:~0,-3%
set now=%now::=%
set now=%now: =0%
set now=%DATE:~-4%.%DATE:~3,2%.%DATE:~0,2%_%now%

mkdir c:\BACKUP\%now% && c:\dspace\bin\dspace metadata-export -f c:\BACKUP\%now%\%now%_metadata.bak && mkdir c:\BACKUP\%now%\6 && c:\DSPACE\bin\dspace export -t COLLECTION -i 123456789/6 -n 1 -d c:\BACKUP\%now%\6 && mkdir c:\BACKUP\%now%\12 && c:\DSPACE\bin\dspace export -t COLLECTION -i 123456789/12 -n 1 -d c:\BACKUP\%now%\12 && mkdir c:\BACKUP\%now%\59 && c:\DSPACE\bin\dspace export -t COLLECTION -i 123456789/59 -n 1 -d c:\BACKUP\%now%\59 && mkdir c:\BACKUP\%now%\64 && c:\DSPACE\bin\dspace export -t COLLECTION -i 123456789/64 -n 1 -d c:\BACKUP\%now%\64 && mkdir c:\BACKUP\%now%\345 && c:\DSPACE\bin\dspace export -t COLLECTION -i 123456789/345 -n 1 -d c:\BACKUP\%now%\345 && mkdir c:\BACKUP\%now%\347 && c:\DSPACE\bin\dspace export -t COLLECTION -i 123456789/347 -n 1 -d c:\BACKUP\%now%\347 && mkdir c:\BACKUP\%now%\475 && c:\DSPACE\bin\dspace export -t COLLECTION -i 123456789/475 -n 1 -d c:\BACKUP\%now%\475 && mkdir c:\BACKUP\%now%\724 && c:\DSPACE\bin\dspace export -t COLLECTION -i 123456789/724 -n 1 -d c:\BACKUP\%now%\724 && pause

Думаю, понятно что он делает и как после него бэкап развернуть, да, многое в рукопашную, но мне лениво в базу азить за идами коллекций и файл метаданных анализировать лениво :)

Это всё примеры из [elar.usfeu.ru]

Да, везде венда естественно и скрипты cmd'шные, это в основном связано с более простой поддержкой на местах местными администраторами.

У меня как-то с +1 не сработало бы, так как в некоторых таблицах разница нового и реального хендлов разлеталась в тысячу. Откуда такие костыли я так и не выяснил.

Не путайте хэндлы и внутренние идентификаторы. При восстановлении бэкапа (и повторном восстановлении с заменой типа import -a и import -r) внутренний ид растет, а хэндл сохраняется.

я вапще такую идею хотел бы предложить:

Любой свежий диспейс начинать с хэндла 1000 а не 1. Для чего, да для того, что если при переносе (или импорте/экспорте) в новую инсталяцию ничто не помешает в диапазоне от 1 до 1000 сгененрировать новую структуру разделов и коллекций и затем перетащить контент макросами import и export.... просто сам буквально толькочто перетащил подобным макаром два архива, большой и очень большой... намучился, подставляя handle в последовательность равным -1 от старого хэндла раздела/коллекции перед созданием разделоа/коллекции.... а их всег-то штук 60 :)

Ну и еще момент, хэндл есть у документа, коллекции, раздела (корневого, подраздела). Ряд хэндлов сквозной. И если Вы создали коллекцию 2 в разделе номер 1 (т.е. сначала раздел 1, потом коллекцию 2 внутри) и загрузили в неё 10 документов, текущий номер хэндла будет 12.

Вы создаете еще коллекцию и она получает номер 13, в неё загружаете 5 документов, последний имеет хэндл 18, и потом еще 5 в коллекцию под хэндлом 2. И в итоге получается что во второй коллекции лежат хэндлы от 3 до 10 и от 19 до 23. И при этом всё работает так, как должно быть. Темы, авторы, заглавия и пр. хэндла не имеют, индексные таблицы по ним строятся статические и лежат на сколько я понял даже не в базе.

Ну и главное, если имея архив на 23 хэндла Вы удаляете целиком коллекцию 13 со всеми вложениями (от 13 до 18 получается), хэндлы не освобождаются! Если хэндл единожды был занят, это означает что на него может быть внешняя ссылка и лучше пусть не откроется ничего (недопустимый идентификатор), нежели откроется то, что не нужно.

Так что тот факт что хэндлы расположены на первый взгляд как попало - это нормально.

А последовательность внутренних идов - отдельная тема. Я прямо сейчас не готов об этом говорить, но в ближайшее время придется разобраться. Пока скажу лишь что при многократном импорте с заменой одного и того же документа, асетстор прирастает! Т.е. надо делать cleanup в случае перегрузки коллекции, и внутренний ид тоже прирастает. А связей таблиц в базе, которые устанавливают родственные связи уровня раздел-коллекция-документ и хэндл-ид столько, что править базу вручную просто страшно.

[github.com]

Наверное, так будет проще всего

Проконсультируйте пожалуйста, как перенести базу из ИРБИС64 в DSpace.

Последовательность действий такая
1. Определить перечень экспортируемых полей из БД ИРБИС
2. Сделать табличку соответствия полей MARC и DC.
3. (Опционально) Ввести в локальный реестр описания метаданных тех полей, которых нет в стандартном DC.
4. Написать шапку для метаданных (первая строка в csv-файле).
5. Написать формат вывода непосредственно строки данных (каждая строка = записи в БД ИРБИС).
Примечание:
Имейте в виду, что если используются двойные кавычки, их нужно зеркалировать.
6. Написать выходную форму (печать)
7. Сохранить в формат rtf и далее сохранить как текстовый файл с расширением csv в кодировке UTF-8.
8. (Обязательно) Меняете кодировку на UTF-8 без BOM
9. Запускаете утилиту safbuilder
Например,

c:\safbuilder\safbuilder -c NAME.csv -z

где NAME.csv - название csv-файла включая полный путь размещения, а ключ z создавать zip-архив.
9. Для импорта полученного файла zip в меню Content -> Batch Import выбираете Simple Archive Format (zip file via upload), далее коллекцию (можно и не выбирать, но тогда обязательно handle id в csv).
10. Ждать - не всегда видны результаты импорта. Если записей достаточно много, то это может долго.
P.S. Не забывайте снять ограничение на upload
Такая последовательность может потребоваться в том случае, если Вы хотите вместе с метаданными "заливать" полные тексты материалов.
Если только метаданные, то можно ограничиться только печатью в формат csv.



Редактировано 2 раз. Последний раз 11.02.2016 10:55 пользователем woodyfon.

Если файлы грузить не планируется, то вместо поля filename можно сделать поле id и в значение поставить "+" без кавычек... и просто через import metadata загрузить CSV'шку. Коллекция естественно должна быть указана.

Импортируется минуя шаг с saf.

Цитата:

Если файлы грузить не планируется

Вообще не вижу смысла грузить только метаданные.

Плюсик из поля id обязательно заключать в двойные кавыки?



Редактировано 1 раз. Последний раз 12.02.2016 11:48 пользователем woodyfon.

Говоря "без файлов" имел в виду "пока без файлов". Некоторые коллеги в небольших вузовских библиотеках не могут внедрить в свои процессы safbuilder - сложно. Не знаю почему, просто сложно. А вот загрузить 100 описаний в 1 клик и потом приделать 100 файлов - это для них проще. Плюсом обычно метаданные еще раз глазами проверяются, т.к. держать прмоежуточный dspace для проверок или проверять непосредственно а openoffice - тоже сложно. Это один вариант.

Второй вариант - это загрузка документов из scopus/wos у которых есть DOI, но нет прав на публикации полных текстов. Это уже специфика больших вузов, у которых много авторов пишет в журналах с DOI, но без прав перепостинга пдф-ок.

Плюс без кавычек в поле ID, поле коллекции необходимо, поле filename убрать, если есть.

Но вообще, имхо, свой собственный серый dspace для опытов - не роскошь, а необходимость. Главное - в роботс.тхт все поисковики забанить не забыть, если оно наружу смотрит :)

На втором варианте кстати можно и подробнее остановиться.... когда экспорт из scopus/wos проходит, допустим, раз в полгода и когда мерджатся два CSV файла, уникальным полем в которых является только DOI. Т.е. если что-то обновилось - сохраняется старый ID, если добавилось - плюсик. Думаю, идея понятна.

Здравствуйте.Можете показать пример экспорта метаданных из АБИС ИРБИС? сsv файл.

Нельзя прикрепить файлик, поэтому только первые две записи
*****
id,collection,dc.contributor.author[uk],dc.contributor.author[ru],dc.contributor.author[en],dc.date.issued,dc.description.abstract[uk],dc.description.abstract[ru],dc.description.abstract[en],dc.identifier.citation[uk],dc.language,dc.subject[uk],dc.subject[ru],dc.subject[en],dc.title[uk],dc.title[ru],dc.title[en],dc.type,local.contributor.altauthor[uk],local.contributor.altauthor[ru],local.contributor.altauthor[en],local.source[uk],local.source.number[uk],local.source.series[uk],local.subject.section[uk],dc.identifier.uri
"+","123456789/93||123456789/91",,,"Czarnecki, Pawel","2015",,,"In this article, the theory of social work will be discussed more specifically. By ""theory of social work"" I mean the field of science, the subject of which is the practice of social work. The primary aim of this chapter is to present it as the science and not only describe various theories developed in the context of this doctrine. Before moving on to discuss the theory of social work as a science, we turn attention to certain difficulties inherent in this type of projects. It is first and foremost about the problems associated with the ambiguity of the basic concepts, which of necessity must be used in this kind of characteristics. Let us, for example, note that the definition of social work as a set of steps leading to a particular purpose, in fact, is highly inaccurate, as this concept contains such terms as the ""action"" and ""purpose"", and many other equally ambiguous. These concepts can be found in many areas of knowledge (ethics, psychology, sociology, etc.), which give them different and sometimes incompatible meanings. Speaking therefore about social work theory, methods, object etc., one should be aware that all of these concepts can be defined in different ways, and each definition of social work theory is merely a general approximation of what is actually being done in research work by the theorists.","Czarnecki Pawel The theory of social work from polish perspective [Текст] / Pawel Czarnecki // Вісник Київського національного університету технологій та дизайну : матеріали V міжнар. наук.-практ. конф. ""Ефективність організаційно-економічного механізму інноваційного розвитку вищої освіти України"", 2 жовтня 2015 р. - 2015. - Спец. вип. : Серія ""Економічні науки"". - C. 124-138.","en",,,"social work||business||ethics",,,"The theory of social work from polish perspective","Article","","",,"Вісник Київського національного університету технологій та дизайну","Спец. вип.","Серія ""Економічні науки""",,
"+","123456789/93||123456789/91",,,"Dawidziuk, S.","2015",,,"In theory, the organization, the term institution defines ""group of people with common order to complement the resources used in their activities"" (Zieleniewski, 1975, p. 300). In other words - is ""an organization composed of personnel and tools"" (Pszczolowski, 1978, p. 86). ""The essential characteristic of the institution - writes T. Kotarbinski - linking bonds of the general staff of positive cooperation and connections thus formed the team with the apparatus belonging to scope this cooperation"" (1975, p. 100). It is expected that the results of the operation of each institution should be created defined quantity or value of the services provided. Given the nature of implementation of objectives is among the well-known institutions can distinguish: 1) political institutions set up to manage or taken over, for example, parliament, political parties, public authorities, trade unions etc.; 2) economic institutions, engaged in the creation or exchange physical values and services, eg. industrial and commercial businesses, services etc.; 3) family institution designed to ensure continuity of social life, for example. marriage, domestic economy etc .; 4) other institutions serving others and satisfying often less important Social needs. Among those last can be distinguished scientific institutions, cultural, religious, didactic and educational institutions and custody and under. (Kurnia, 1970, pp. 163-168). In practice, only rarely it becomes an institution to make only one goal and one satisfying social need. Business of social institutions in general, the implementation of many objectives at the same time, the so called. package targets. But in that package, some targets typically get in the first place as'. main objectives. This allows to perceive differences between the institutions, and also certain specificities of each of them.","Dawidziuk S. RIADENIE ĽUDSKÝCH ZDROJOV V SOCIÁLNEJ INŠTITÚCII [Текст] / S. Dawidziuk // Вісник Київського національного університету технологій та дизайну : матеріали V міжнар. наук.-практ. конф. ""Ефективність організаційно-економічного механізму інноваційного розвитку вищої освіти України"", 2 жовтня 2015 р. - 2015. - Спец. вип. : Серія ""Економічні науки"". - C. 299-313.","en",,,"social work||management||HR",,,"RIADENIE ĽUDSKÝCH ZDROJOV V SOCIÁLNEJ INŠTITÚCII","Article","","",,"Вісник Київського національного університету технологій та дизайну","Спец. вип.","Серія ""Економічні науки""",,
*****
Содержимое csv-файлика между строчками из звездочек.
Названия полей, отличающихся это квалифицированного dc из локальной схемы описания метаданных.
Была проведена печать в табличные формы, сохранение в текстовый формат с раширением csv в кодировке UTF-8, преобразовано в UTF-8 без BOM - это важно.



Редактировано 1 раз. Последний раз 04.03.2016 13:07 пользователем woodyfon.

woodyfon
Двойной хэндл?

угу, помещается одновременно в две коллекции. Чревато?
Как проще сделать добавление полных текстов после импорта метаданных?
+
Если делать импорт через SAF, то оказывается, что необходимо обязательно выбирать коллекцию, хотя в jspui-мордочке написано, что это опционально. Без указания коллекции, импорт не проходит. Глюк?
В качестве destination коллекции указываю handle.



Редактировано 2 раз. Последний раз 04.03.2016 12:52 пользователем woodyfon.

Это (добавление полных текстов, после добавления метаданных) сделать можно, но не тривиально. Это делается через dspace import в кончоли, НО! Должен быть валидный MAP файл, т.е. файл, в котором будет соответствие хэндлов папочкам с SAF'ами.

Сам я такое делал только один раз, когда по недосмотру были пакетно загружены кривые pdf файлы большой группы журналов, и их пришлось перегружать.

Алгоритм был такой:

1. Выгружаем метаданные, сортируем по заглавию, в дальнейшем используем из этой таблицы только столбик с ID'ами
2. достраиваем в реальной таблице (которая готовилась для пакетной загрузки) значения столбика filename из "имя.pdf" до "папка/имя.pdf" и сортируем по заглавию.
3. Сверяем и совмещаем таблицы из пуктов 1 и 2, оставив в них только ID и имя папки, приводим форматирвоание в соответствие со структурой MAP файла
4. прикладываем map фпайл к кучке папок с PDF'ками, запускаем dspace import -r (или -R, не помню на вскидку) и радуемся результату..

> Без указания коллекции, импорт не проходит. Глюк?

А куда оно должно попасть если коллекцию не выбрать? Ну просто интересно...

Цитата:

прикладываем map фпайл к кучке папок с PDF'ками, запускаем dspace import -r (или -R, не помню на вскидку) и радуемся результату..

Пытаюсь отойти как можно дальше от использования консоли. Работать толком не у кого не получается, даже если ынструкцию написать... Если что-то можно сделать через UI - лучше его применять.

Цитата:

А куда оно должно попасть если коллекцию не выбрать? Ну просто интересно...

В любом случае коллекцию нужно определить: либо через выбор названия коллекции, либо через указания ее в матеданных.
В SAF в файлике collections указаны handle коллекции, но их упорно система не видит.

> Если что-то можно сделать через UI - лучше его применять.

Здесь и сейчас в JSPUI этого сделать нельзя на сколько я знаю.

> В SAF в файлике collections указаны handle коллекции

А это где-то документировано? То что в даблинкоровской XML'ке есть данные, не значит что они обязаны обрабатываться. При экспорте SAF'а со всеми ключами избыточности информации о коллекции нет, имхо, так и должно быть и при импорте если такая строчка в XML есть, она игнорируется.

Да, в 7-ом DSPACE нам обещают новый UI, длинный, толстый и крепкий... единый для всех. JSPUI пилит только синека, xmlui помрёт из-за несовместимости манакина с новой явой а солра со старой, mirage2 окончательно уйдёт в атмиру-федору, и что делает люраспейс? Правильно, забивает на портирование оного из стандартных интерфейсов и объявляет коркурс среди энтузиастов на создание нового интерфейса... эт я к чему, на крайнем релизе 6-ой версии мы будем видимо сидеть долго :)