Почти все тексты сегодня пишутся в Ворде. Уже было остроумно замечено, что бесконечное редактирование позволяет ученым доводить свои опусы до полной бессмысленности.
Обязанности редактора, корректора, оформителя, верстальщика, иногда даже художника часто выполняет автор. Или ему самому так хочется, или издательство экономит или мошенничает (т. е. платит «нужным людям»). В результате или один абзац повторяется дважды подряд, или в разных главах написано одно и то же, или под разными названиями выходят на 90% одинаковые книги.
Если бы проверка грамматики и стилистики постоянно совершенствовалась, хотя бы как другие функции Ворда... а она как раз абсолютно не развивается.
Значит, нужны внешние средства смыслового анализа, включая «поиск похожих», чтобы избежать появления почти одинаковых текстов под видом разных, в т. ч. диссертаций. То, что было в ИРБИС64 ПБД, явно не довели до ума, и, видимо, тогда и не могли довести. А сейчас?
Возможно, будет реализовано в рамках «облачной» концепции, то есть на мощных серверах. Это касается и много другого, в том числе автореферирования.
Здесь ведь подробно обсуждалась автоклассификация с присвоением индексов, предлагалось и подробно описывалось решение, анализировались отдельные поля [irbis.gpntb.ru]
И снова заглохло? Почему?



Редактировано 2 раз. Последний раз 28.05.2012 05:31 пользователем Lavrinovich.

О вреде и опасности Гугла [www.rusdoc.ru]

Не вижу в этом совершенно никакой опасности. Что плохого в том, что мне будут выдаваться результаты поиска, максимально оптимизированные под мои нужды? Лично я не от кого не скрываюсь и у меня нет вразумительных причин хранить свои персональные данные (ФИО) в секрете. Очень даже наоборот, чем проще меня найти, тем я открытее для людей и тем больше у меня знакомств и полезных связей. Это разве плохо?

Да, и конечно же ссылку нужно уточнить, иначе она станет бесполезна через неделю. Ссылка на статью "Эрик Шмидт считает Google+ не только социальной сетью, но и службой идентификации".



Редактировано 1 раз. Последний раз 30.09.2011 08:04 пользователем Панев Максим.

Спасибо за поправку.
И все-таки рано или поздно роботы нас съедят. Или вот был прогноз какого-то западного ученого или писателя в 60-70-е годы - машинам полезна более высокая температура (?), поэтому они разогреют атмосферу Земли и все живое исчезнет. Помнится, с ним спорил Александр Казанцев (по некоторым данным, не только автор глуповатых фантастических книжек, но и инженер-генерал-майор).

irbis_arbat@mail.ru



Редактировано 1 раз. Последний раз 28.05.2012 05:28 пользователем Lavrinovich.

Возвращаясь к теме смыслового анализа: есть ли сейчас какие-нибудь программы для смыслового анализа? В старой библиотечной печати можно найти тьму отчетов и описаний технологий, методов и даже использования ЭВМ для индексирования документов на основе рефератов и тезаурусных систем. Но как-то это все в прошлом так и осталось. А что сейчас? Суть лингвистического анализа в ПБД сводится к выбору терминов, отличающихся от общеупотребительных и групировании их в определенные массивы: к какому массиву терминов ближе словарь в полном тексте, такой индекс массива и присваивается тексту. Но это все равно примитивно, так как отдельные слова многозначны и могут приводить к неточностям. Читал очень интересные описания систем автоиндексирования середины 80-х на основе тезауруса. Именно задав отношения отдельных терминов друг с другом и указав некую родо-видовую связь, тогда смогли добиться очень высоких результатов. Но о продолжении этих исследований я так ничего и не нашел.

Хотелось бы обратить внимание на такие проблемы:
1. В Ирбисе система лингвистического анализа работает на массивах до 1000 документов, а ведь в библиотеках, которые стали на пусть создания "Электронных библиотек" их гораздо больше, а если это еще и труды сотрудников, статьи работы, то там массивы могут быть вообще колосальными.
2. Система лингвистического анализа в Ирбисе работает по принципу сравнения "друг с другом" (или я ошибаюсь?), соответственно, чем больше массив, тем сложнее самой системе его обрабатывать. И затраты ресурсов растут не линейно...
3. При поиске по ПБД невозможно использовать тезарус, а это было бы полезно, так как он помог бы нивилировать некоторую неподготовленность читателей.

Высскажу несвежую мысль - пора опять всерьез браться за эту систему. Думаю правильно будет начать на форуме формирование Технического задания на дальнейшую разработку этой системы. Предложений и пожеланий уже выссказанно немерянно, но пора их систематизировать, отделить зерно от плевел и определить желаемую очередность.

Ну... На счет того, что сейчас мало разработок в области смыслового анализа, я немного погорячился. Вот некоторые интересные примеры:

[www.rco.ru]

[www.galaktika-zoom.ru]

[rvb.ru]


А вот интересное описание DSpace, которое уже можно взять за некую основу необходимого функционала



Редактировано 1 раз. Последний раз 06.10.2011 11:10 пользователем Gena.

И не только в библиотечной печати. Еще в 60-70-е издавалось довольно много книг об искусственном интеллекте, несколько лет назад я их перечитал и понял, что до сих пор ничего нет.



Редактировано 1 раз. Последний раз 06.10.2011 11:44 пользователем Lavrinovich.

[rvb.ru]

Google Перевод - это просто ужас. Ставит какие попало падежи. Лучше бы был только именительный. Легче понять английский оригинал.

а как именно машины нас победят - известно давно [az.lib.ru]

А вот целый портал об ИИ [www.aiportal.ru]
Он же в фантастике конца 50-х - начала 60-х [lib.ru]
Очень познавательно и наводит на размышления.



Редактировано 1 раз. Последний раз 05.12.2011 09:53 пользователем Lavrinovich.

Электронный каталог социальных сетей [gpella.com] Пока не библиотечный.
А это хоть и не смысловой анализ, но тоже ничего [useroff.com]



Редактировано 1 раз. Последний раз 06.12.2011 15:57 пользователем Lavrinovich.

"Категорически рекомендую!"
[mirknig.com]
Крайне познавательно. Тут и Аристотель. и средневековые раввины, и много чего еще...
А также
[mirknig.com]
[mirknig.com]

irbis_arbat@mail.ru

К первому посту. О борьбе с плагиатом в научной среде [pro362.ru]

irbis_arbat@mail.ru

Фантазия. Искусственный интеллект ищет о какой-то книге или писателе только хвалебные или только ругательные отзывы. То же о научных, политических, художественных течениях, направлениях...

irbis_arbat@mail.ru



Редактировано 3 раз. Последний раз 20.12.2012 08:43 пользователем Lavrinovich.

Нет больше в ИРБИС64 ПБД эвристического анализа Макогонова, но, может быть, можно приделать детерминационный анализ Чеснокова (много раз читал о нем, ничего не понял).
Или можно приделать пять-таки искусственный интеллект от Google?

irbis_arbat@mail.ru



Редактировано 3 раз. Последний раз 02.04.2012 05:02 пользователем Lavrinovich.

Почитал на википедии и тоже не понял. Особенно связи с эвристическим анализом.

На поддержку эвристического анализа сейчас нет человеческих ресурсов. Это работа энтузиаста.

Связь в том, что и тот, и другой смысловые и полнотекстовые. И что оба, видимо, недоработаны, недопродуманы.
***
DSpace надо, конечно, изучать...
***
Ну пусть хотя бы было для полнотекстовых АБИС автоопределение тематики текста в помощь его классификации. индексированию (индексированию в библиографическом. а не в программистском смысле, конечно).
***
Программы искусственного интеллекта
[web-release.ru]

irbis_arbat@mail.ru



Редактировано 2 раз. Последний раз 11.04.2012 15:37 пользователем Lavrinovich.

1. Из Release 10.1:
1. В АРМах Читатель и Книговыдача (ИРБИС64) введены новые режимы – ПОИСК/ВЫДАЧА РЕКОМЕНДОВАННОЙ ЛИТЕРАТУРЫ. [...]
формально режимы ПОИСК/ВЫДАЧА РЕКОМЕНДОВАННОЙ ЛИТЕРАТУРЫ носят абсолютно общий (универсальный) характер и могут применяться в ЛЮБЫХ библиотеках для автоматического отбора изданий, имеющих определенное отношение к конкретному читателю.[...]
Пример применения данных режимов в публичной библиотеке: на основании возраста читателя (по году рождения) в БД ЭК отбираются книги по коду целевого назначения (для дошкольников, школьников и т.п.)
Эта цитата так пугает, что никак не успокоюсь. Псевдоискуственный интеллект!? И очень уж нетворческий подход. Лучше был бы аналог cookies - что данный читатель спрашивает обычно...
Или уж тогда настоящий ИИ [polygamist.narod.ru]
2. Близкая тема, видимо - семантическое индексирование
[www.rae.ru]

irbis_arbat@mail.ru



Редактировано 2 раз. Последний раз 28.04.2012 06:51 пользователем Lavrinovich.