Реализация сценария поиска на примере справочников МТР и контрагентов.

1. Поиск аналогов для новых позиций МТР.

Поиск аналогов в справочнике МТР может быть осуществлен двумя способами:

- ручной поиск;

- автоматическая обработка.

Ручная обработка.

Сценарий ручной обработки осуществляется последовательно в два этапа:

- like-поиск (поиск позиций, удовлетворяющих заданным условиям);

- НОМ-поиск по одной записи.

Для запуска ручного поиска нажмите кнопку «Поисковая система», затем запустите (двойной щелчок правой кнопкой «мыши») «Like-поиск: Справочник ЕСМТР». После запуска загрузится форма редактирования условий поиска. В этой форме пользователю предлагается использовать автоматически подставленные условия поиска (из входной записи), либо добавить свои. В качестве условий поиска используется искомое наименование МТР, автоматически разбитое на слова.

После нажатия на кнопку «Искать» результат поиска отображается в таблице результата.

Если аналог найден, добавьте запись в таблицу с закладкой «Ввод аналога» при помощи кнопки «Выбрать строку» и обработайте запись.

Если в режиме like-поиска аналог не был найден, то переход к НОМ-поиску осуществляется при помощи кнопки «Вперед» (т.е. выход из формы обработки не требуется).

Механизм НОМ-поиска в данном случае аналогичен автоматическому поиску, только осуществляется для одной записи.

После завершения обработки, закройте форму Справочника ЕС МТР для поиска и в форме «Экспертный поиск аналога» перейдите на следующую запись.

Автоматическая обработка.

Результат автоматического подбора аналогов записывается в результирующую таблицу НОМ-обработки заявок, в которой слева (столбец Наименование МТР) находится новое значение МТР, а справа (столбец Наименование ЕКМТР) — найденные в результате НОМ-обработки возможные аналоги. Коэффициент релевантности К2 показывает степень соответствия найденной позиции справочника МТР нераскодированному значению, чем он больше, тем более схожи наименования.

Основная задача пользователя — в массиве возможных аналогов выявить прямые аналоги, отмечая их галочкой в поле «Аналог». Для каждой позиции может быть отмечен только один прямой аналог.

После выполнения работы по поиску аналогов и двойников в форме «Результирующая таблица НОМ-обработки» выполните операцию «Добавление найденных в результате НОМ-обработки аналогов в справочник ЕСМТР».

Если обработка была совершена некорректно (проставлен более чем один аналог либо отмечено меньше двух двойников), то при попытке загрузки появится сообщение об этом в виде диалога с данными, отображающего группы позиций МТР, в которых была допущена ошибка.

В последние месяцы 2020 года было найдено техническое решение, обеспечивающее стабильную работу WEB-сервиса ЦНСИ для поиска дублей и аналогов по алгоритмам нечеткой логики с расчетом коэффициентов релевантности по методам N-gramm, Levenshtein и другим.

Базовая платформа Поисковой системы ЦНСИ успешно работает с 2004 года как в составе Программного комплекса «Брэдфорд», так и в качестве встраиваемого DLL-модуля для поиска дублей и аналогов в справочниках контрагентов, адресов, активов, продукции (ТМЦ, МТР). Но в качестве отдельного WEB-сервиса, вызываемого из функционала современных интернет-платформ, она требовала периодической перезагрузки. Теперь эта проблема решена.

Пример отработки WEB-сервиса поиска аналогов в одной из форм Oracle E-Business Suite:

2. Выполнение стандартного сценария поиска двойников в справочнике контрагентов.

Сценарий автоматического поиска двойников.

Особенностью автоматического поиска является то, что одновременно обрабатываются все записи, отображенные в форме диалога, поэтому последующий поиск по сформированному массиву возможных двойников происходит быстрее, и обработка большого количества данных занимает меньше времени.

Непосредственно запуск задачи автоматического подбора аналогов осуществляется в окне обработки данных (рис.9а). Автоматический поиск аналогов может быть запущен с ограничением по количеству (на НОМ-обработку будет отправлено столько записей, сколько указано в закладке Ограничение позиций НОМ-обработки), а также для позиций, отфильтрованных по дате (если таблица неотфильтрована, то на НОМ-обработку будут отправлены ВСЕ записи, отображенные в окне диалога, и выполнение задачи займет значительное время).

Рис. 9а

Позиции, запущенные на НОМ-обработку ранее, будут отмечены галочкой в поле НОМ-обработка, такие позиции при запуске поиска игнорируются, поэтому если необходим повторный поиск по записи – снимите признак НОМ-обработки.

Результат автоматического подбора аналогов экспортируется в документ «Результирующая таблица НОМ-обработки» (рис.11а), который условно разделен на две части: в левой расположена информация о позиции, для которой искали двойники, в правой – то, что было найдено.

Первый шаг обработки – просмотр таблицы по горизонтали (сравнение левой и правой части), найденные двойники отмечаются галочкой в поле Аналог.

Второй шаг – просмотр по вертикали (сравнение найденных возможных двойников). В данном случае, для обозначения группы двойников в поле Двойник проставляется уникальный код (например, для первой группы двойников – цифра 1, для второй – 2 и т.д.). Поиск двойников по вертикали может осуществляться только внутри массива, имеющего одинаковую левую часть. Для каждого такого массива нумерация двойников начинается заново.

Рис. 11а

Задача Экспорт результатов обработки окна Обработки данных (рис. 12а) переносит найденные двойники в таблицу «Просмотр результатов обработки новых поступлений» и очищает результирующую таблицу НОМ-обработки.

Рис. 12а

Обработка найденных двойников осуществляется в документе Необработанные двойники в разделе Просмотр результатов в КУДС, где в древовидном фильтре настроено перемещение по группам. Позициям каждой группы необходимо в поле GCODE_NEW проставить GCODE позиции, выбранной в качестве эталона (для Наименования, выбранного в качестве эталона, это поле можно оставить пустым).

Примечание: для таблицы настроена закладка Ракурс, в которой отображается ракурс текущей позиции.

Ручной поиск двойников.

Вызов формы «Экспертный поиск аналога» с преднастроенным стандартным сценарием поиска (см. Рис. 10) осуществляется путем нажатия кнопки «Поисковая система» или кнопки «Ввод новой записи» (Рис. 9):

Рис. 9.2

Форма «Экспертный поиск аналога» открывается в отдельном окне - поверх основной формы АРМа:

Рис. 10

В верхней панели формы поиска отражаются основные реквизиты текущей (входной) записи в таблице новых поступлений. По правой клавише мыши в этом окне вызывается Поисковая система YANDEX, куда автоматически передаются параметры контрагента для поиска в Интернете.

Над реквизитами помещены навигационные кнопки для перехода на предыдущую или следующую записи, а также кнопка «Подтвердить», нажатие на которую не только приводит к переходу на последующую запись, но и проставляет текущему контрагенту в поле «Флаг 1_0) занчение «1», что автоматически удаляет его из видимой части таблицы новых поступлений (при последующей сессии импорта из КУДСа данный контрагент с флагом = 1 и вовсе будет физически удален из таблицы новых поступлений).

В нижней панели формы поиска настроен стандартный Сценарий осуществления процедур поиска по справочнику контрагентов КУДС (таблица T_ORG в ORACLE) и по справочнику платежных реквизитов контрагентов КУДС (таблица T_ORGPROPERTY в ORACLE).

Каждое действие Сценария может быть перенастроено пользователем и вызываться либо в окне редактирования, либо сразу в окне результата.

Окно редактирования действия «Точный поиск: По Наименованию и ИНН» показано на Рис. 11:

Рис. 11

Данная форма позволяет пользователю самостоятельно поднастроить параметры поиска. Если каких-то параметров у этой записи контрагента не хватает, или они недостаточны, то пользователь может вызвать процедуры вспомогательного поиска реквизитов в резервных базах данных (верхняя правая панель данной формы) и найденные там уточняющие реквизиты могут быть им скопированы и подставлены в шаблон поиска дополнительно или взамен к существующим.

Окно результатов поиска показано на Рис. 12.

Внизу находятся две панели: «Ввод аналогов» и «Прочие двойники». Клик правой клавиши мыши на закладках этих панелей позволяет подсветить в таблице результатов поиска те записи, которые уже отобраны в эти панели. Изначально в панель «Ввод аналогов» помещается искомая запись контрагента.

Если в таблице результатов пользователь находит возможного аналога искомой записи, то он должен этого аналога сбросить вниз в панель «Ввод аналогов». Если он находит других возможных двойников – необходимо их сбросить в панель «Прочие двойники».

Рис. 12

Независимо от того, нашлись или не нашлись на этом этапе поиска основные или сопутствующие двойники, необходимо запустить второй обязательный этап поискового Сценария: «Ном-поиск: По Наименованию и ИНН». Окно редактирования этого вида поиска показано на Рис.13.

Помимо того, что сам пользователь может откорректировать условия поиска (например, добавить найденную в результате вспомогательного поиска по резервным БД аббревиатуру «УФАСМС» - см. Рис. 13), программа автоматически подставит найденные расшифровки встреченных аббревиатур, или сгенерит возможные аббревиатуры исходя из информации предварительно внесенной в справочник аббревиатур.

При этом число сгенерированных и подставленных аббревиатур зависит от количества слов в исходном наименовании контрагента (N/2), что позволяет адекватно учесть влияние короткой аббревиатуры при расчете коэффициента релевантности по всему предложению.

Внимание! Активизация условия «Отсечка» не приводит к уменьшению времени выполнения поисковой процедуры, но позволяет существенно уменьшить визуализацию «спама» в таблице результата.

Продолжительность выполнения поисковой процедуры зависит от выставленного числа и структуры предварительно искомых записей (300), уменьшение которого может повлиять на ухудшение итоговых результатов поиска.

Рис. 13

Форма результатов НОМ-поиска (Рис 14) полностью идентична форме результатов Точного поиска (Рис. 12) по этому же источнику – Справочнику контрагентов T_ORG. Более того, если в форме Точного поиска будут выявлены аналоги и сброшены в соответствующие панели, то эти аналоги отразятся в форме результатов НОМ-поиска (наследование).

Как видно из примера, данный поиск не привел к нахождению аналога.

Рекомендуется использовать и следующие шаги для поиска, заложенные в Сценарии:

- НОМ-поиск по юридическому адресу;

- НОМ-поиск по фактическому адресу;

- Прямой поиск по банковским реквизитам.

Переход к этим формам поиска может осуществляться как путем периодического закрытия текущих форм и возврата к форме «Экспертный поиск аналога» (Рис. 10), так и путем нажатия на навигационную клавишу «Вперед» в левой нижней части каждой формы поиска.

Ручной поиск по вспомогательным базам данных.

Рис. 14

Указанными выше вариантами Сценарий поиска не исчерпывается. Весьма вероятно, что пользователь не может найти аналога из-за отсутствия или неправильного значения какого-либо реквизита (ИНН, Расчетного счета, расшифровки наименования…)

Поэтому рекомендуется на каждом этапе поиска использовать настроенные процедуры вспомогательного поиска по резервным базам данным для нахождения уточняющих реквизитов.

Например, вспомогательный поиск в БД платежных реквизитов 2,7 млн. предприятий позволил найти особый вариант написания аббревиатуры искомого контрагента (Рис. 15), который нашелся в Справочнике контрагентов в качестве прямого аналога (Рис. 16-17).

Рис. 15

Рис. 16

Рис. 17

3. Примеры выявленных двойников

Примеры выявленных двойников в справочнике контрагентов:

Примеры выявленных двойников в справочнике МТР: