Новости города БезФормата.Ru
Долгопрудный
Главные новости
 
Задать вопрос?

Скорость построения моделей для поисковых систем можно увеличить в 50 раз

Скорость построения моделей для поисковых систем можно увеличить в 50 раз - МФТИ
Фото: mipt.ru

Разработчиками МФТИ и  ВЦ РАН Андреем Кулунчаковым и Вадимом Стрижовым предложен новый метод автоматического построения ранжирующих моделей. Эти модели используются для того, чтобы обработать запрос от пользователя на поиск информации в коллекциях документов или в интернете. Предлагаемый метод значительно повышает скорость построения моделей. Результаты исследования опубликованы в журнале  Expert Systems with Applications , который стоит на первой позиции в рейтинге журналов по искусственному интеллекту по версии Google Scholar.

При поиске среди миллионов документов в сети пользователь ожидает в результате получить небольшой полезный список. Документы списка должны быть проранжированы согласно поисковому запросу. Остальные документы для пользователя являются информационным мусором. Цель поисковой системы — найти нужный документ по запросу небольшой длины. Предложенный метод строит ранжирующие модели, позволяющие быстро достигнуть этой цели. Подобные модели являются ядром современных поисковых систем.   

Андрей Кулунчаков, соавтор работы, студент кафедры интеллектуальных систем МФТИ, комментирует: «Постановка задачи предполагала использование  только коллекций документов и поисковых запросов. Не допускалось использование никакой внешней информации о контексте, в котором выполнялся поиск. Такая задача имеет наиболее общий характер. Ранжирующие модели, предназначенные для быстрого и точного поиска информации, используются во многих областях от спам-фильтров до колл-центров».


Ранжирующая модель строится на основе простейших математических функций. Подобная модель предполагает создание из них сложной функции, которая бы решала поставленную задачу. Работа учёных была направлена на оптимизацию способа построения такой модели. Качество построенной модели смотрели в том числе, с помощью живой экспертной оценки адекватности получаемого списка документов.


Одним из способов построения моделей является генетическое программирование. Название оно получило из-за схожести с механизмом естественного отбора в природе. В ходе решения задачи строится множество промежуточных решений — «поколений» моделей, в большей или меньшей степени похожих на искомую модель высокого качества, максимально соответствующую запросу. Алгоритм отсеивает модели низкого качества путём «естественного отбора» и на основе оставшихся создает более подходящие. Лучшие «особи» имеют большую вероятность быть включёнными в следующие поколения. Сменяя множество поколений, алгоритм приближается к оптимальному решению.


К сожалению, так происходит лишь в теории. На практике число моделей растёт чрезвычайно быстро с ростом сложности. Для перебора моделей, состоящих всего лишь из восьми функций, требуется не менее суток вычислений. При этом следует перебрать все варианты, из которых в будущем может эволюционировать наилучшее решение. В предшествующих работах это достигалось медленным и не оптимальным полным перебором.


Андрей Кулунчаков и Вадим Стрижов в рамках своего исследования создали новый подход к порождению  ранжирующих моделей для поиска документов в больших коллекциях, не имеющих этих недостатков. Также исследователи решили проблему «стагнации».  Когда в сменяющих друг друга «поколениях» модели  структурно похожи и их «скрещивание» не даёт существенно новых результатов, происходит «стагнация», или «застой». В таком случае вероятность появления качественной модели существенно снижается. Для того, чтобы избежать стагнации, в поколение добавляются новые модели с целью повышения разнообразия.


Чтобы показать, что созданный метод получает модели, превосходящие по качеству  современные альтернативы, авторы поставили численный эксперимент. Были использованы базы данных Национального института стандартов и технологий США, предназначенные для анализа и сравнения подобных систем. Они состояли из двух миллионов документов и двухсот тысяч запросов. Эксперимент показал, что полученные модели имеют более высокое качество ранжирования, согласно принятому критерию МАР - Mean Average Precision (популярная мера эффективности поиска информации). Сам же метод позволяет получить модель высокого качества за существенно меньшее время.

В этой инфографике собраны организации города, которые помогут вам подготовиться к Новогодним праздникам: купить подарки детям и близким людям,
11.12.2017 Vosinfo.Ru
Сотрудники отдела по вопросам миграции УМВД России по Дмитровскому району провели акцию «Госуслуги – проще, чем кажется!».
11.12.2017 Дмитровский район
Россиян могут обязать регистрировать свои гаджеты - E-vanteevka.RuЗаконотворцы предлагают разработать законодательную базу для "идентификации пользовательского интернета вещей" (Internet of Things,
11.12.2017 E-vanteevka.Ru
День открытых дверей для потребителей газа - OpenDubna.RuРекордное количество управляющих организаций за всю историю с 2014 года поучаствовали в субботнем Дне открытых дверей в УК: 657 управляющих компаний из 65 муниципалитетов.
11.12.2017 OpenDubna.Ru
Главгосстройнадзор Московской области получил извещение об окончании строительства таможенной инфраструктуры особой экономической зоны в Дубне и теперь проводит проверку объекта - сообщает пресс-служба ведомства.
11.12.2017 OpenDubna.Ru
С начала года в Главгосстройнадзор в электронном виде поступило 8947 документов - Серпуховский районВ 2017 году через региональный портал госуслуг (РПГУ) в Главное управление государственного строительного надзора Московской области поступило 8947 документов в электронном виде.
11.12.2017 Серпуховский район
Спасли рыбака - Красное знамяС началом зимы у спасателей прибавляется работы из-за рыбаков, которые стремятся на еще не окрепший лед.
11.12.2017 Красное знамя
13 пожаров произошло в Подмосковье 10 декабря - ТК КварцЗа прошедшие сутки, 10 декабря, в области произошло 13 пожаров: 13 техногенных, природных нет, сообщает пресс-служба ГУ МЧС РФ по Московской области.
11.12.2017 ТК Кварц
25 человек спасли на дорогах Подмосковья 10 декабря - ТК КварцЗа прошедшие сутки, 10 декабря, на дорогах Московской области произошло 21 дорожно-транспортное происшествие с пострадавшими, сообщает пресс-служба ГУ МЧС РФ по Московской области.
11.12.2017 ТК Кварц
Один человек погиб и пять человек получили травмы - Копейка
Один человек погиб и пять человек получили травмы
За период, с 1 по 8 декабря текущего года сотрудниками отдела ГИБДД УМВД России по Сергиево-Посадскому району зарегистрировано 111 ДТП с материальным ущербом,
Копейка
Электричку из Сергиева Посада в Москву полностью отменили из‑за отказа техники - Копейка
Электричку из Сергиева Посада в Москву полностью отменили из‑за отказа техники
Движение электропоезда № 6233 из Сергиева Посада в Москву полностью отменено по техническим причинам на Ярославском направлении Московской железной дороги, сообщает Twitter-аккаунт ЦППК.
Копейка
Какой праздник сегодня 9 сентября? - Котельники сегодня
Какой праздник сегодня 9 сентября?
9 декабря 2003 года была подписана Конвенция ООН против коррупции. Россия в числе первых стран подписала эту Конвенцию.
Котельники сегодня
Жители Орехово-Зуева и района смогут увидеть стеклянный театр и муми-троллей - Орехово-Зуевская правдаНа Тверской площади в Москве на фестивале «Путешествие в Рождество» гости смогут увидеть кулинарное шоу по приготовлению торта шакотис, выступления богемских стеклодувов и муми-троллей из Финляндии,
11.12.2017 Орехово-Зуевская правда
Правительство Московской области заключило договор с Минпромторгом РФ на поставку музыкальных инструментов для школ дополнительного образования сферы культуры.
11.12.2017 E-vanteevka.Ru
В клубе «Майдановский» завершили прием работ на конкурс рисунков «Новый год» и «Символика 2018 года» - Серп и МолотНа суд жюри поступило более ста работ, выполненных в различной технике. Все работы выставлены в главном фойе клуба и восхищают своей красотой, необычностью исполнения и талантом авторов.
11.12.2017 Серп и Молот
Жанна Бичевская выступила в Орехово-Зуеве - Орехово-Зуевская правда
Жанна Бичевская выступила в Орехово-Зуеве
Ореховозуевсцам очень повезло – субботним вечером 9 декабря в ДК на пл. Пушкина они слушали замечательный голос певицы, композитора и автора песен Жанну Бичевскую Народная артистка России,
Орехово-Зуевская правда
Дары свободы - Городской ритм
Дары свободы
  В Троицкий Дом учёных в последнее время хочется даже не приходить, а просто поставить где-нибудь в углу раскладушку и поселиться.
Городской ритм
Праздник музыки, мастерства, таланта и доброты - Газета Факт
Праздник музыки, мастерства, таланта и доброты
50-летие Детской школы искусств №8 отметили 8 декабря на сцене Дома культуры «Восход» Балашихи.
Газета Факт
9 декабря — Подведение итогов Управления по физической культуре и спорту - Комитет по физической культуре и спортуВ субботу 9 декабря в конференц-зале Конькобежного центра "Коломна" состоится отчёт о проделанной работе начальника Управления по физической культуре и спорту администрации городского округа Коломна Анатолия Александрови
11.12.2017 Комитет по физической культуре и спорту
Матч чемпионата страны по хоккею с мячом «Зоркий» проведет   в Красногорске 13 декабря - Красногорские вестиСоперником нашей команды будет «Уральский трубник» (Первоуральск) – один из лидеров чемпионата страны.
10.12.2017 Красногорские вести
Триумф подмосковных бадминтонистов в Башкирии. - Федерация бадминтона МО                   Триумф подмосковных бадминтонистов в Башкирии. С 4 по 8 декабря в г. Уфа проводился всероссийский турнир “Кубок республики Башкортостан” Всероссийской юношеской серии “Yonex Гран-При 2017/2018“.
11.12.2017 Федерация бадминтона МО
В Павловском Посаде завершились соревнования по фигурному катанию на коньках «Зимние встречи» - Павлово-Посадские известия
В Павловском Посаде завершились соревнования по фигурному катанию на коньках «Зимние встречи»
Сегодня, 10 декабря, на Ледовой арене им. Натальи Петрусёвой завершился второй, заключительный день соревнований по фигурному катанию на коньках «Зимние встречи», участие в которых приняли более 120 спортсменов.
Павлово-Посадские известия
Всемирный день футбола – 10 декабря - Красногорские вести
Всемирный день футбола – 10 декабря
В футбол играют 120 миллионов человек по всему миру, причем речь идет не о ребятах, гоняющих мяч в коробке во дворе или о пузатых дядечках развлекающихся на выходных, а о самых настоящих профессионалах.
Красногорские вести
Хоккей, как глоток свежего воздуха - Газета Новости недели
Хоккей, как глоток свежего воздуха
Народ в Электростали соскучился по зрелищу. А главным из зрелищ в городе был, есть и будет хоккей с шайбой.
Газета Новости недели
Общественная палата Реутова вошла в пятерку лидеров в областном рейтинге - Газета РеутОбщественная палата города Реутова вошла в пятерку лидеров в рейтинге Общественных палат муниципальных образований Московского региона за третий квартал 2017 год.
11.12.2017 Газета Реут
В Подольске нарушили порядок проведения аукциона на выполнение ряда работ по строительству пожарного депо - Серп и Молот5 декабря Московское областное УФАС России рассмотрело жалобу ООО «Меридиан» на действия МКУ«Градостроительное управление» и МКУ «Центр торгов» при проведении электронного аукциона на выполнение ряда работ по строительст
11.12.2017 Серп и Молот
Дождь со снегом и до плюс 2 градусов ожидается в Подольске в понедельник - Подольский рабочийВ понедельник в Подольске ожидаются небольшие осадки в виде дождя и снега, максимальная температура воздуха составит плюс 2 градуса.
11.12.2017 Подольский рабочий
В Городском округе Подольск определен перечень особо опасных участков дорог в условиях гололеда - Администрация г.ПодольскВ Городском округе Подольск согласован перечень особо опасных участков дорог в условиях гололеда, подлежащих первоочередной посыпке пескосоляной смесью и уборке.
11.12.2017 Администрация г.Подольск
В 2017 году в рамках губернаторской программы «Мой подъезд» в Городском округе Подольск отремонтировано 1169 подъездов - Администрация г.ПодольскВ рамках губернаторской программы «Мой подъезд» в 2017 году в Городском округе Подольск был запланирован ремонт 1293 подъездов в 403 многоквартирных домах (МКД), что составляет 25% от общего количества подъездов.
11.12.2017 Администрация г.Подольск