Новости города БезФормата.Ru
Долгопрудный
Главные новости
 
Задать вопрос?

Скорость построения моделей для поисковых систем можно увеличить в 50 раз

Скорость построения моделей для поисковых систем можно увеличить в 50 раз - МФТИ
Фото: mipt.ru

Разработчиками МФТИ и  ВЦ РАН Андреем Кулунчаковым и Вадимом Стрижовым предложен новый метод автоматического построения ранжирующих моделей. Эти модели используются для того, чтобы обработать запрос от пользователя на поиск информации в коллекциях документов или в интернете. Предлагаемый метод значительно повышает скорость построения моделей. Результаты исследования опубликованы в журнале  Expert Systems with Applications , который стоит на первой позиции в рейтинге журналов по искусственному интеллекту по версии Google Scholar.

При поиске среди миллионов документов в сети пользователь ожидает в результате получить небольшой полезный список. Документы списка должны быть проранжированы согласно поисковому запросу. Остальные документы для пользователя являются информационным мусором. Цель поисковой системы — найти нужный документ по запросу небольшой длины. Предложенный метод строит ранжирующие модели, позволяющие быстро достигнуть этой цели. Подобные модели являются ядром современных поисковых систем.   

Андрей Кулунчаков, соавтор работы, студент кафедры интеллектуальных систем МФТИ, комментирует: «Постановка задачи предполагала использование  только коллекций документов и поисковых запросов. Не допускалось использование никакой внешней информации о контексте, в котором выполнялся поиск. Такая задача имеет наиболее общий характер. Ранжирующие модели, предназначенные для быстрого и точного поиска информации, используются во многих областях от спам-фильтров до колл-центров».


Ранжирующая модель строится на основе простейших математических функций. Подобная модель предполагает создание из них сложной функции, которая бы решала поставленную задачу. Работа учёных была направлена на оптимизацию способа построения такой модели. Качество построенной модели смотрели в том числе, с помощью живой экспертной оценки адекватности получаемого списка документов.


Одним из способов построения моделей является генетическое программирование. Название оно получило из-за схожести с механизмом естественного отбора в природе. В ходе решения задачи строится множество промежуточных решений — «поколений» моделей, в большей или меньшей степени похожих на искомую модель высокого качества, максимально соответствующую запросу. Алгоритм отсеивает модели низкого качества путём «естественного отбора» и на основе оставшихся создает более подходящие. Лучшие «особи» имеют большую вероятность быть включёнными в следующие поколения. Сменяя множество поколений, алгоритм приближается к оптимальному решению.


К сожалению, так происходит лишь в теории. На практике число моделей растёт чрезвычайно быстро с ростом сложности. Для перебора моделей, состоящих всего лишь из восьми функций, требуется не менее суток вычислений. При этом следует перебрать все варианты, из которых в будущем может эволюционировать наилучшее решение. В предшествующих работах это достигалось медленным и не оптимальным полным перебором.


Андрей Кулунчаков и Вадим Стрижов в рамках своего исследования создали новый подход к порождению  ранжирующих моделей для поиска документов в больших коллекциях, не имеющих этих недостатков. Также исследователи решили проблему «стагнации».  Когда в сменяющих друг друга «поколениях» модели  структурно похожи и их «скрещивание» не даёт существенно новых результатов, происходит «стагнация», или «застой». В таком случае вероятность появления качественной модели существенно снижается. Для того, чтобы избежать стагнации, в поколение добавляются новые модели с целью повышения разнообразия.


Чтобы показать, что созданный метод получает модели, превосходящие по качеству  современные альтернативы, авторы поставили численный эксперимент. Были использованы базы данных Национального института стандартов и технологий США, предназначенные для анализа и сравнения подобных систем. Они состояли из двух миллионов документов и двухсот тысяч запросов. Эксперимент показал, что полученные модели имеют более высокое качество ранжирования, согласно принятому критерию МАР - Mean Average Precision (популярная мера эффективности поиска информации). Сам же метод позволяет получить модель высокого качества за существенно меньшее время.

Исполнилось 80 лет со дня основания средней школы № 30 - Коломенская правдаСвою летопись она начала с 1937 года, с момента строительства основного здания.
18.10.2017 Коломенская правда
Проект нового бюджета Подмосковья и внедрение ЕИРЦ обсудили в правительстве - Лотошинский районГубернатор Подмосковья Андрей Воробьев провел расширенное заседание областного кабинета министров, где обсудили проект бюджета Московской области на 2018 год и плановый период 2019–2020 годов,
18.10.2017 Лотошинский район
На протяжении последних лет многие читатели – и с негодованием, и с заинтересованностью, и с ожиданием – спрашивали: когда же в нашем городе будет наведен порядок, чистота и красота.
18.10.2017 Lyubertsy.Ru
Этот праздник появился в календаре уже в XXI веке, а инициатором выступила Всемирная ассоциация кулинарных сообществ.
17.10.2017 Площадь Мира
Original - Газета Новые ИзвестияКомиссия Совета Федерации по защите госсуверенитета и предотвращению вмешательства во внутренние российские дела не не составляла списков СМИ, деятельность которых может быть ограничена на территории России,
17.10.2017 Газета Новые Известия
    Сегодня, наряду с чудовищной неоколониальной эксплуатацией российского народа и недр страны в интересах мирового финансового капитала и созданных им «российских» олигархов, запущена система,
17.10.2017 КПРФ
Дети стали жертвами 50-летнего подольского педофила - ТК КварцПодольские правоохранители расследуют уголовное дело в отношении 50-летнего местного жителя по п. «б» ч. 4 ст.
17.10.2017 ТК Кварц
Автоинспекторы округа Луховицы в первой половине октября выявили более 370 нарушений ПДД - Луховицкие вестиИнспекторы отдела ГИБДД по округу Луховицы с 1 по 15 октября зарегистрировали свыше 370 нарушений правил дорожного движения, сообщил Луховицкому информагентству начальник подразделения Алексей Канаев.
17.10.2017 Луховицкие вести
О результатах расследования уголовного дела по факту незаконного лишения свободы несовершеннолетней в Раменском районе - Следственный комитетРанее сообщалось, что следственным отделом по городу Раменское ГСУ СК России по Московской области возбуждено уголовное дело в отношении двух местных жителей по признакам преступления, предусмотренного п. «д» ч. 2 ст.
17.10.2017 Следственный комитет
Отравившего почти 100 человек таксиста задержали в Москве - Орехово-Зуевская правда
Отравившего почти 100 человек таксиста задержали в Москве
Московского таксиста подозревают в убийстве почти 100 человек за последние несколько лет, мужчина угощал жертв водой, либо предлагал уже отравленную еду, сообщает Telegram-канал Mash «В Москве задержали таксиста-клофелинщика,
Орехово-Зуевская правда
%d1%81%d1%82%d0%b0%d0%b2%d1%80%d0%be%d0%bf%d0%be%d0%bb%d1%8c1 - Газета Новые Известия
Сосед захватил соседа в рабство
В Ставропольском крае будут судить жителя Новоселицкого района за использование рабского труда, мужеложство с применением насилия и незаконное проникновение в жилище.
Газета Новые Известия
Сбил пешехода и скрылся с места ДТП - Копейка
Сбил пешехода и скрылся с места ДТП
Около автовокзала в Хотьково джип серого цвета (предположительно Митсубиси Аутлендер) сбил пешехода и скрылся.
Копейка
Активисты ОНФ открывают бесплатные детские кружки дополнительного образования в Подмосковье - Чехов сегодняВ рамках проекта Общероссийского народного фронта «Равные возможности – детям» активисты ОНФ открыли три новых детских кружка в Сергиево-Посадском районе Подмосковья.
17.10.2017 Чехов сегодня
Культурный центр им. Любови Орловой - Правительство Московской областиИсточник: Фотобанк Московской области, Ксения Сидорова Гости Культурного центра имени Любови Орловой в Звенигороде смогут увидеть виртуальный концерт классической музыки,
18.10.2017 Правительство Московской области
Творческий вечер в КДС «Русь» поселка Лотошино - Московская Епархия РЦП14 октября в культурно-досуговом центре «Русь» поселка Лотошино прошел юбилейный творческий вечер под названием «Оно нам надо!», посвященный театральному творчеству.
18.10.2017 Московская Епархия РЦП
Православные святыни Орехово-Зуевского района: храм Ахтырской Божией Матери - Орехово-Зуевская правда
Православные святыни Орехово-Зуевского района: храм Ахтырской Божией Матери
На стыке трех губерний — Владимирской, Рязанской и Московской — в деревне Яковлево Орехово-Зуевского района — стоит храм Ахтырской Божией Матери,
Орехово-Зуевская правда
Покровский фестиваль искусств в Красногорске - Красногорские вести
Покровский фестиваль искусств в Красногорске
В городском округе Красногорск Покровский фестиваль искусств  проводится ежегодно с 2007 года.
Красногорские вести
Кастинг в мир звёзд - Городской ритм
Кастинг в мир звёзд
Шоу-конкурс «Мириады звёзд – 2017» стартовал. Первый тур кастинга прошёл в Центре «МоСТ» 6 октября.
Городской ритм
Дорожные службы Подмосковья готовы к зиме - Долгие ПрудыДорожный комплекс Московской области, в оперативном управлении которого находится региональная сеть автодорог, полностью готов к эксплуатации трасс в зимний период.
17.10.2017 Долгие Пруды
Фестиваль футбола среди дошкольников – хорошая спортивная традиция в городском округе Красногорск - Управление образования Администрации Красногорского района24 сентября 2017 года на лыжном стадионе «Зоркий» в рамках празднования 85-летия городского округа Красногорск  состоялся Фестиваль футбола  дошкольников.
17.10.2017 Управление образования Администрации Красногорского района
По маршруту Дубна – Устиново - Площадь МираСостоялся XVII Традиционный легкоатлетический (комбинированный) пробег по маршруту г.Дубна – г. Кимры – с. Ильинское – д. Устиново, посвященный 66-летию образования "ГосМКБ "Радуга" им.
17.10.2017 Площадь Мира
Сборная Московской области завоевала 15 медалей на международном турнире по джиу-джитсу - Долгие Пруды
Сборная Московской области завоевала 15 медалей на международном турнире по джиу-джитсу
В Санкт-Петербурге прошел международный рейтинговый турнир по джиу-джитсу «St.Petersburg Open».
Долгие Пруды
Конкурсу «Мое родное Подмосковье» дан старт - Новые рубежи
Конкурсу «Мое родное Подмосковье» дан старт
Главное управление социальных коммуникаций Московской области планирует проведение конкурса литературных произведений, фотографий и рисунков, посвященных теме дружбы народов, проживающих на территории Московской области,
Новые рубежи
«Динамо-Электросталь» едва не сотворило сенсацию - Газета Новости недели
«Динамо-Электросталь» едва не сотворило сенсацию
В Барселоне на предварительном этапе Евролиги-2017/2018 команда «Динамо-Электросталь» провела лучший матч не только сезона, но и, возможно, всей своей истории.
Газета Новости недели
20170118 gaf rk39 067 - Газета Новые ИзвестияПремьер-министр России Дмитрий Медведев утвердил перенос выходных дней в 2018 году.
18.10.2017 Газета Новые Известия
IMG_2483 - Ramns.RuВ нем приняли участие юные шахматисты из клубов нашего города: «Эврика», «Тополек» и детского центра «Школа Роста Гений», а также гости из Подмосковья — ребята из Электрогорска и Павловского посада.
18.10.2017 Ramns.Ru
«Единая Россия» учтет все приоритетные направления в сфере культуры ко второму чтению проекта бюджета - Химские новости«Единая Россия» ко второму чтению проекта федерального бюджета учтет все приоритетные направления в сфере культуры, над которыми велась работа в 2017 году.
17.10.2017 Химские новости
народная собака1 - Ramns.RuНа утро 18.10 у нас 8 хвостатых участников. Первое место между собой делят породы: Чихуа-хуа и Скотч терьер.
18.10.2017 Ramns.Ru
Почти 160 млрд руб заложили на здравоохранение в бюджете Подмосковья на 2018–2020 гг - Подольский рабочийВласти Подмосковья предусмотрели в бюджете Московской области на 2018 год и плановый период 2019 и 2020 годов порядка 160 миллиардов рублей на здравоохранение.
17.10.2017 Подольский рабочий