Кирилл Евгеньевич, добрый день! При настройке J-ИРБИС в системе линукс столкнулись со следующей проблемой. Не удается записать и сохранить данные для подключения к серверу ИРБИС через админ панель. Формируется некорректный запрос в базу данных mysql

Ошибка SQL при формировании таблицы libraries: Incorrect integer value: \'\' for column `jirbis2`.`jos_libraries`.`is_persistent` at row 1 SQL=INSERT INTO jos_libraries (lib_id,connection_type,url,port,login,password,full_name,shot_name,lib_raeting,timeout,charset,is_persistent,is_piggy_back,avalable_attributes,remote_format,remote_encoding,email,ordering_lib,sigla,edd_enable,edd_pages_limit,edd_pages_scaned_by,edd_pages_scaned_for,edd_email,edd_execution_time) VALUES (\'1\',\'iserver64\',\'127.0.0.1\',\'6666\',\'jirbis2\',\'jirbis2\',\'Тестовая Библиотека\',\'Тест\',\'1\',\'2000\',\'utf\',\'\',\'\',\'\',\'\',\'utf\',\'raushenlib@rambler.ru\',\'\',\'\',\'\',\'\',\'\',\'\',\'\',\'\')(1366)

В ходе изучения вопроса был сформирован корректный sql запрос, который вписывался в ручную через консоль


INSERT INTO jos_libraries (lib_id,connection_type,url,port,login,password,full_name,shot_name,lib_raeting,timeout,charset,is_persistent,is_piggy_back,avalable_attributes,remote_format,remote_encoding,email,ordering_lib,sigla,edd_enable,edd_pages_limit,edd_pages_scaned_by,edd_pages_scaned_for,edd_email,edd_execution_time) VALUES ('1','iserver64','127.0.0.1','6666','jirbis2','jirbis2','Тестовая Библиотека','Тест','1','2000','utf','0','0','','','utf','raushenlib@rambler.ru','0','','0','0','0','0','','0');

Подскажите, возможно ли исправить автоматическое формирование запроса или необходимо ждать обновления?

С уважением, Куриляк Иван
ведущий специалист ИТ
ООО "ИРБИС-Консультант"



Редактировано 1 раз. Последний раз 14.10.2023 22:56 пользователем Кирилл Соколинский (СЗТУ).

Благодарю Вас за детальный анализ вопроса. Уточните, пожалуйста, версию MySQL, с которой J-ИРБИС 2.0 работает под LINUX.

Server version: 10.3.39-MariaDB-0+deb10u1
Поставить версию 10.1.18 крайне трудно, необходимо откапывать старые репозитории и решать проблемы с зависимостью.
В системе Astra Linux добавление сторонних репозиториев является нарушением лицензии

Kuriliark написал(а):
-------------------------------------------------------
> Server version: 10.3.39-MariaDB-0+deb10u1

В настоящее время эта версия MySQL сервера не поддерживается. Если Вы можете подготовить код, который позволит избежать проблем с этой версией, готов включить его в базовую поставку.

Данная проблема наблюдалась еще и в прошлые попытки запустить систему J-ИРБИС на Linux, при использовании версии 10.1.18. Ошибка не связана с версией сервера Mysql. Суть проблемы заключается в том, что вероятнее всего mysql в системе Linux строже относится к данным. В таблице jos_libraries у каждого столбца указан тип данных, который он может принимать. Это можно увидеть на исправленном запросе. При попытке вставить '\' в столбец с числовым значением запрос завершается с ошибкой, так как вводятся данные другого формата. У данного вопроса есть два решения. Либо изменить дефолтные данные, которые вводятся в таблицу, либо изменить структуру самой таблицы.
Вполне вероятно, что система сможет работать и с более высокими уровнями Mysql, но для этого необходимо разрешить ошибку с вводом данных.

Kuriliark написал(а):
-------------------------------------------------------
> Данная проблема наблюдалась еще и в прошлые
> попытки запустить систему J-ИРБИС на Linux, при
> использовании версии 10.1.18. Ошибка не связана с
> версией сервера Mysql.

Сейчас я поднимаю виртуальную машину с версией 10.1.18. Если на ней действительно будет возникать эта ошибка, я обязательно её устраню.

Вопрос поддержки альтернативных сервисных платформ находится на повестке дня.



Редактировано 1 раз. Последний раз 28.07.2023 16:25 пользователем Кирилл Соколинский (СЗТУ).

Кирилл, есть ли подвижки по этому вопросу?
Если нужна помощь в поднятии виртуальной машины на Astra Linux - можем посодействовать. Для специалистов ИРБИС-Консультант это вопрос одного дня.
За время ожидания ответа на вопрос о работе J-ИРБИС в системе Linux два специалиста уже в отпуске успели побывать. Пользователи тоже ожидают ответа на вопрос о возможности штатной работы поставляемого дистрибутива J-ИРБИС в Astra Linux (т.к. любые нежелательные изменения это повод снять с гарантии J-ИРБИС согласно положений руководства пользователя J-ИРБИС).

Цитирую:

4.3.1.3. Нежелательные изменения
Нежелательными считаются все изменения, которые не относятся к категории рекомендуемых и предусмотренных.

...Выполнение нежелательных изменений препятствует осуществлению автоматического обновления и установке новых версий. Нежелательные изменения могут привести к фатальным или трудно диагностируемым ошибкам. Поэтому в случае некорректной работы системы они лишают библиотеку-пользователя права на получение какой-либо технической поддержки (как на форуме, так и от дилера). Обнаружение одного нежелательного изменения является достаточным основанием для прекращения действия гарантийных обязательств.

А. Роман написал(а):
-------------------------------------------------------
> Кирилл, есть ли подвижки по этому вопросу?
> Если нужна помощь в поднятии виртуальной машины на
> Astra Linux - можем посодействовать. Для
> специалистов ИРБИС-Консультант это вопрос одного
> дня.

Виртуальная машина настроена. Я выявил некоторые ошибки, которые возникают исключительно в среде LINUX, со стандартным серверным обеспечением. Это не те ошибки, которые Вы описали. И сейчас они устраняются.

> отпуске успели побывать.

Да, сейчас август и это период отпусков. Кроме того, сейчас есть целый ряд вопросов, связанных с J-ИРБИС 2.0, которые приходится решать одновременно. В первую очередь решаются проблемы, которые касаются большого числа пользователей и имеют критическое значение.

> За время ожидания ответа на вопрос о работе
> J-ИРБИС в системе Linux два специалиста уже в
> отпуске успели побывать. Пользователи тоже ожидают
> ответа на вопрос о возможности штатной работы
> поставляемого дистрибутива J-ИРБИС в Astra Linux
> (т.к. любые нежелательные изменения это повод
> снять с гарантии J-ИРБИС согласно положений
> руководства пользователя J-ИРБИС).

Ещё раз повторяю, что пока я могу гарантировать работу только в той конфигурации, которая описана в документации.

> 4.3.1.3. Нежелательные изменения

Если Вам необходимо сделать нежелательные изменения в коде, пришлите мне изменённые файлы. Если их целесообразно будет включить в дистрибутив, я это сделаю. Таким образом, Ваши изменения перестанут быть таковыми.

Проблемы, о которых я писал, устранены. Сожалею, что это заняло столь продолжительное время.


Что касается вопроса, который положил начало этой ветке, то он решается очень легко: нужно всего лишь добавить в my.cnf (файл конфигурации MySQL)

[mysqld] 
sql_mode=

Кирилл Евгеньевич, можете в общих словах описать какие изменения были внесены в последний update?

Что касается дополнительной строчки в my.ini - все заработало.

Также просьба добавить в апдейт изменения в файл components/com_irbis/includes/ji_joomla_authorisation.php там имеется не правильно открытый тег php (вместе <?php написано <?) из-за чего вместо админ панели на страницу выплывает код. После офлайн обновления каждый раз приходится вносить эти изменения. Подобные ошибки содержаться и в других файла, сейчас мы будем заново проводить тест на голом сервере AstraLinux CE 2.12 и по ходу тестирвоания я опишу еще подобные файлы.

Также просьба посмотреть технологию формирования картинок из полнотекстовых документов. У нас удалось запустить просмотрщик полнотекстового документа, он понимает количество страниц, но не может создать картинки для отображения

Kuriliark написал(а):
-------------------------------------------------------
> Также просьба добавить в апдейт изменения в файл
> components/com_irbis/includes/ji_joomla_authorisat
> ion.php там имеется не правильно открытый тег php
> (вместе <?php написано <?)

Пожалуйста, будьте аккуратны в выражениях. Если Вы не слишком хорошо знакомы с PHP, не стоит характеризовать что-либо как ошибку. Вы можете лишь говорить о том, что столкнулись с проблемой. Чтобы у Вас интерпретировались короткие теги, установите в PHP.INI

short_open_tag = On

> Также просьба посмотреть технологию формирования
> картинок из полнотекстовых документов. У нас
> удалось запустить просмотрщик полнотекстового
> документа, он понимает количество страниц, но не
> может создать картинки для отображения

Исправил.

> Кирилл Евгеньевич, можете в общих словах описать
> какие изменения были внесены в последний update?

Все изменения описываются в соответствующей теме: [irbis.elnit.org]

Кирилл Евгеньевич, прошу прощения за неточности в выражениях. Я со своей стороны действую исключительно по достпуной документации. В связи с этим необходимые изменения в конфигурационных файлах необходимо отразить в документации

Кирилл Евгеньевич, добрый день! Развернули сервер AstraLinux, запустили на нем J-ИРБИС. Но постраничный просмотр PDF все еще не работает, прилагаю скриншот. В папке tmp создается директория php- с подпапками, но нет файла jpg. В логах php есть следующее сообщение:
[04-Oct-2023 11:12:13] WARNING: [pool www] child 39530 said into stderr: "sh: varwwwhtml\jirbis2componentscom_irbispdf_viewexemutool: команда не найдена"
Оффлайн обновление проводили сегодня. С чем может быть связано неправильное формирование пути?

Kuriliark написал(а):
-------------------------------------------------------

> [04-Oct-2023 11:12:13] WARNING: child 39530 said
> into stderr: "sh:
> varwwwhtml\jirbis2componentscom_irbispdf_viewexemu
> tool: команда не найдена"

Может быть у Вас в путях используются Windows слэши? Убедитесь, что выполнены п. 5а и 6а раздела документации 5.1.12. Использование J-ИРБИС 2.0 под *NIX**

Убедитесь, что набор настроек PHP.INI базовой поставки соответствует аналогичному файлу в LINUX.



> Я со своей стороны действую исключительно по достпуной документации.

Раздел, связанный с использованием LINUX помечен двумя звездочками. Это означает, что он требует компетенций системного администратора.

Кирилл Евгеньевич, в файлах configuration.php и jirbis_configuration.php указаны корректные пути, я для этого дополнительно привел скриншот с указанием пути в таблице настроек. Файл полного текста подгружается, отображается его размер, количество страниц, закладки, а также он доступен для скачивания. Не работает именно преобразование pdf в картинки и связано это с некорректным формированием внутренних путей. В сообщении выше я не просто так привел сообщение об ошибке, формируется внутренний путь без слешей.
Прошу не ставить под вопрос мою компетенцию.

Kuriliark написал(а):
-------------------------------------------------------

Вы проверили настройки PHP под LINUX на соответствие настройкам базовой поставки?

> Не работает именно преобразование
> pdf в картинки и связано это с некорректным
> формированием внутренних путей. В сообщении выше я
> не просто так привел сообщение об ошибке,
> формируется внутренний путь без слешей.

Направил Вам деобсфуциорованную версию файла, в котором проводится формирование путей. Обратите внимание на строки 99 - 104 Попробуйте проанализировать ситуацию.

У меня ошибка не воспроизводится, в моей версии LINUX страницы выделяются корректно.



Редактировано 1 раз. Последний раз 09.10.2023 12:52 пользователем Кирилл Соколинский (СЗТУ).

Нашим программистам (Ивану Куриляку и Игорю Беляеву) модуль J-ИРБИС удалось успешно установить и запустить под двумя версиями операционных систем - Ubuntu и Astra Linux, попутно решили вопрос с устранением уязвимости CVE-2022-30556 которая была обнаружена недавно в использующейся в составе J-ИРБИС версии Apache.

Насколько понял со слов Кирилла Евгеньевича (если не прав, то прошу меня поправить), в Windows данная уязвимость пока не может быть устранена.
Со своей стороны наши программисты пытались заменить версию Apache до ближайшей, в которой уязвимость отсутствует, но ввиду отсутствия необходимых компонентов, которые используются модулем J-ИРБИС в среде Microsoft Windows решить проблему не получилось.
Поэтому пока единственным решением гарантированно устраняющим проблему уязвимости CVE-2022-30556 является перенос J-ИРБИС на Linux платформу, что только на пользу, т.к. в данной среде безопасность и производительность работы модуля будет выше, чем в среде Windows.

P.S. По части ОС Astra Linux наша компания получила статус авторизованного партнера, поэтому взаимодействие с разработчиками по вопросам работы данной линейки ОС (драйверов, критических патчей и т.п.) теперь решаются значительно быстрее.



Редактировано 2 раз. Последний раз 10.10.2023 13:34 пользователем А. Роман.

Кирилл Евгеньевич, добрый день. В ходе исследования работы просмотрщика pdf файлов пришли к следующему:
1) Кнопка "Кэшировать страницы PDF" не работает в системе Linux, так как функция не может посчитать свободное дисковое пространство и каждый раз выдает ошибку: На диске меньше 2 Гб свободного пространства. Кэширование прерывается (4334)
Заменили фв файле /ji_service.php подсчет свободного места на:
$free_space = disk_free_space("/"));
После этого изменения все отработало корректно
2) Просмотрщик пдф не видит больше 26 страниц, хотя кэшируются все страницы документа (в тестовом издании их около 200 и в панели навигации слева просмотрщик видит, что страниц больше чем 26 и отображает их, но их нельзя открыть на полный экран или перейти на них)
С чем может быть связана вторая проблема?

Kuriliark написал(а):
-------------------------------------------------------
> свободного места на:
> $free_space = disk_free_space("/"));
> После этого изменения все отработало корректно

Спасибо за информацию, в следующем обновлении сделаю ветвление для LINUX.

> 2) Просмотрщик пдф не видит больше 26 страниц,

Иван, Вы не обновили J-ИРБИС 2.0! Специально проверил: в обновлении от 01.10.2023 код, который приводил к выводу первых 26 страниц документа, закомментирован.

(Вот этот код: ///{"number":1,"pages":26,"height":892,"width":609,"fonts":[],"text":[]},{"number":2,"pages":26,"height":892,"width":609,"fonts":[],"text":[]},{"number":3,"pages":26,"height":892,"width":609,"fonts":[],"text":.........)

Вместо него в \pdf_view\services\view.php совсем другой!

Убедитесь, что у Вас:
1. Обновлены все файлы J-ИРБИС 2.0!
2. Назначен атрибут исполняемого приложения для pdf2json и этот файл имеется на диске.
3. Правильно установлена папка кэша страниц PDF.



Редактировано 3 раз. Последний раз 10.10.2023 23:33 пользователем Кирилл Соколинский (СЗТУ).

Кирилл Евгеньевич, что касается обновлений. В ветке ранее я писал, что обновление ставилось от 4 октября. Также, когда я тестировал работу J-ИРБИС в системе UBUNTU я устанавливал офлайн обновление от 7 октября. У вас на форуме последнее уведомление об обновление датировано 1 октября. Какое, в таком случае, обновление я должен поставить?

Kuriliark написал(а):
-------------------------------------------------------
> Кирилл Евгеньевич, что касается обновлений. В
> ветке ранее я писал, что обновление ставилось от 4
> октября. Также, когда я тестировал работу J-ИРБИС
> в системе UBUNTU я устанавливал офлайн обновление
> от 7 октября. У вас на форуме последнее
> уведомление об обновление датировано 1 октября.
> Какое, в таком случае, обновление я должен
> поставить?

Иван, файл обновления может быть только один: от 01.10.2023. Вы можете использовать его хоть 04, хоть 10, хоть 20. От этого он всё-равно будет файлом обновления 01.10.2023.

Вероятно, обновление не было выполнено, или было выполнено неправильно. Повторите обновление. Ваши проблемы с постраничным просмотром должны быть решены.

У меня есть опасение, что наш диалог -- результат ручного избирательного копирования файлов UPDATE вместо применения автоматического алгоритма инсталляции...



Редактировано 2 раз. Последний раз 11.10.2023 20:18 пользователем Кирилл Соколинский (СЗТУ).

Кирилл Евгеньевич, кнопка офлайн обновления была восстановлена в первую очередь, о чем я писал ранее. Скачал и установил оффлайн обновление 10 минут назад, просмотрщик пдф страниц заработал корректно. Появляется вопрос касательно содержимого офлайн обновлений, так как в случае тестирования работы данной функции вы не могли пропустить момент с некорректно работой кнопки "кэширование пдф страниц".
Также хочется отметить, что усилием ИРБИС-Консультант с помощью Ивана Батрака был сформирован модуль php-5.6.40-fpm. Работа модуля была протестирована в система AstraLinux CE 2.12 AstraLinux SE 1.7 и Ubuntu 23.04, в связи с чем возможен запуск системе J-ИРБИС в системах Linux.
Также хочется отметить, что в ходе тестирования различных версий mysql и apache мы пришли к следующим выводам
1) Поддерживается любая из текущих версий Apache (тестировали на версиях 2.4.46,2.4.52 и 2.4.55)
2) Работа возможна с mariadb любой версии. В случае же с mysql в последних версиях поменялся способ подключения к Бд из-за чего система не может получить данные из БД
3) Использование модуля php-5.6.40-fpm не нарушает лицензию AstraLinux, так как для ее работы не используется подключение сторонних репозиториев. Без использование собранного модуля практически невозможно запустить систему J-ИРБИС на AstraLinux, так как для этого необходимо подключение сторонних репозиториев, что является нарушением лицензионного соглашения.
Что касается вопроса уязвимостей, то в AstraLinux SE 1.7. разработчики гарантируют их исправление. Данный вопрос мы дополнительно узнавали, так как версия Apache, досутпная в системе 2.4.52.

Kuriliark написал(а):
-------------------------------------------------------

> Скачал и установил оффлайн обновление 10
> минут назад, просмотрщик пдф страниц заработал
> корректно.

Почему раньше обновление оказалось не установлено (не полностью установлено)?

> Появляется вопрос касательно
> содержимого офлайн обновлений, так как в случае
> тестирования работы данной функции вы не могли
> пропустить момент с некорректно работой кнопки
> "кэширование пдф страниц".


Последняя информация об обновлениях была 01.10.2023 (https://irbis.elnit.org/read.php?43,90737,page=4). Вы сообщили мне о проблемах определением свободного дискового пространства 10.10.2023. Каким образом изменения могли появиться в версии обновления от 01.10.2023?

> Также хочется отметить, что усилием
> ИРБИС-Консультант с помощью Ивана Батрака был
> сформирован модуль php-5.6.40-fpm.

Думаю, полученный результат настолько важен, что его обсуждение заслуживает выделения в отдельную тему.