Полнотекстовые базы данных в Ирбис : ИРБИС
Создание словаря длится несколько дней
Пользователь: pyrkov (IP-адрес скрыт)
Дата: 03, March, 2016 12:15
Версия арма была получена в феврале, то есть последняя.
В новую базу данных добавил около 1000 пдф. Получилось около 46000 MFN, из-за постраничного нововведения.
При создании словаря -> Полностью ,
процесс застопорился на стадии Выполняется отбор примерно на 15000-ом MFN'е. И в течение 4х часов отобралось не больше сотни MFN'ов.
Можно ли как-то ускорить процесс? В предыдущих версиях создание словаря занимало несколько часов, но не несколько дней все же. ИЛИ я что-то делаю не так?
Редактировано 1 раз. Последний раз 03.03.2016 13:25 пользователем pyrkov.
В новую базу данных добавил около 1000 пдф. Получилось около 46000 MFN, из-за постраничного нововведения.
При создании словаря -> Полностью ,
процесс застопорился на стадии Выполняется отбор примерно на 15000-ом MFN'е. И в течение 4х часов отобралось не больше сотни MFN'ов.
Можно ли как-то ускорить процесс? В предыдущих версиях создание словаря занимало несколько часов, но не несколько дней все же. ИЛИ я что-то делаю не так?
Редактировано 1 раз. Последний раз 03.03.2016 13:25 пользователем pyrkov.
Re: Создание словаря длится несколько дней
Пользователь: Куделя (IP-адрес скрыт)
Дата: 03, March, 2016 17:06
Не запускайте создание словаря. Запускайте после импорта "Актуализацию"
Иркутская ОГУНБ
ИРБИС64.21Турбо
WebИРБИС-PHP
Иркутская ОГУНБ
ИРБИС64.21Турбо
WebИРБИС-PHP
Re: Создание словаря длится несколько дней
Пользователь: pyrkov (IP-адрес скрыт)
Дата: 04, March, 2016 08:05
я не знал, в чем разница между этими 2мя функциями и запустил перед созданием актуализацию тоже. актуализация 3-е суток шла. в общем, печально
Re: Создание словаря длится несколько дней
Пользователь: pyrkov (IP-адрес скрыт)
Дата: 04, March, 2016 08:06
создание словаря завершилось за ночь.
Re: Создание словаря длится несколько дней
Пользователь: SokV (IP-адрес скрыт)
Дата: 08, March, 2016 13:39
Раньше была возможность добавлять тексты в полнотекстовую БД с разбиением на страницы или без. Это вело к недопониманию и ошибкам по недоразумению.
Мало смысла в таком поиске, результатом которого будет не что то обозримое (такое как одна страница), а многостраничный документ, в котором дополнительно нужно запускать поиск, чтобы найти, где же встретилось искомое слово.
Теперь каждая страница добавляется в БД отдельной записью.
Таким образом, в результате поиска будут найдены и показаны конкретные страницы.
Некоторые PDF обрабатываются очень медленно. Возможно, замедление на 15000 связано именно с этим. С чем это связано - отдельный вопрос. PDF бывает множества версий, изготовлен разными программами, может включать в себя текст, графику и много чего ещё. Так что, в общем случае это совсем не простой вопрос. Я рекомендую при сохранении файлов PDF придерживаться стандарта PDF/A.
При таком объёме, полагаю, что создание словаря за ночь - вполне приемлимый результат.
Актуализация идёт дольше, поэтому использовать актуализацию в данной ситуации - странный совет.
Мало смысла в таком поиске, результатом которого будет не что то обозримое (такое как одна страница), а многостраничный документ, в котором дополнительно нужно запускать поиск, чтобы найти, где же встретилось искомое слово.
Теперь каждая страница добавляется в БД отдельной записью.
Таким образом, в результате поиска будут найдены и показаны конкретные страницы.
Некоторые PDF обрабатываются очень медленно. Возможно, замедление на 15000 связано именно с этим. С чем это связано - отдельный вопрос. PDF бывает множества версий, изготовлен разными программами, может включать в себя текст, графику и много чего ещё. Так что, в общем случае это совсем не простой вопрос. Я рекомендую при сохранении файлов PDF придерживаться стандарта PDF/A.
При таком объёме, полагаю, что создание словаря за ночь - вполне приемлимый результат.
Актуализация идёт дольше, поэтому использовать актуализацию в данной ситуации - странный совет.
Re: Создание словаря длится несколько дней
Пользователь: Куделя (IP-адрес скрыт)
Дата: 09, March, 2016 03:10
SokV написал(а):
-------------------------------------------------------
> Актуализация идёт дольше, поэтому использовать
> актуализацию в данной ситуации - странный совет.
Совет странный - не спорю. Но исходящий из личного эмпирического опыта. Тоже не мог дождаться окончания "Создания словаря" - актуализацией - дождался.
Иркутская ОГУНБ
ИРБИС64.21Турбо
WebИРБИС-PHP
-------------------------------------------------------
> Актуализация идёт дольше, поэтому использовать
> актуализацию в данной ситуации - странный совет.
Совет странный - не спорю. Но исходящий из личного эмпирического опыта. Тоже не мог дождаться окончания "Создания словаря" - актуализацией - дождался.
Иркутская ОГУНБ
ИРБИС64.21Турбо
WebИРБИС-PHP
Извините, только зарегистрированные пользователи могут писать в этом форуме.