Новости города БезФормата.Ru
Долгопрудный
Главные новости
 
Задать вопрос?

Скорость построения моделей для поисковых систем можно увеличить в 50 раз

Скорость построения моделей для поисковых систем можно увеличить в 50 раз - МФТИ
Фото: mipt.ru

Разработчиками МФТИ и  ВЦ РАН Андреем Кулунчаковым и Вадимом Стрижовым предложен новый метод автоматического построения ранжирующих моделей. Эти модели используются для того, чтобы обработать запрос от пользователя на поиск информации в коллекциях документов или в интернете. Предлагаемый метод значительно повышает скорость построения моделей. Результаты исследования опубликованы в журнале  Expert Systems with Applications , который стоит на первой позиции в рейтинге журналов по искусственному интеллекту по версии Google Scholar.

При поиске среди миллионов документов в сети пользователь ожидает в результате получить небольшой полезный список. Документы списка должны быть проранжированы согласно поисковому запросу. Остальные документы для пользователя являются информационным мусором. Цель поисковой системы — найти нужный документ по запросу небольшой длины. Предложенный метод строит ранжирующие модели, позволяющие быстро достигнуть этой цели. Подобные модели являются ядром современных поисковых систем.   

Андрей Кулунчаков, соавтор работы, студент кафедры интеллектуальных систем МФТИ, комментирует: «Постановка задачи предполагала использование  только коллекций документов и поисковых запросов. Не допускалось использование никакой внешней информации о контексте, в котором выполнялся поиск. Такая задача имеет наиболее общий характер. Ранжирующие модели, предназначенные для быстрого и точного поиска информации, используются во многих областях от спам-фильтров до колл-центров».


Ранжирующая модель строится на основе простейших математических функций. Подобная модель предполагает создание из них сложной функции, которая бы решала поставленную задачу. Работа учёных была направлена на оптимизацию способа построения такой модели. Качество построенной модели смотрели в том числе, с помощью живой экспертной оценки адекватности получаемого списка документов.


Одним из способов построения моделей является генетическое программирование. Название оно получило из-за схожести с механизмом естественного отбора в природе. В ходе решения задачи строится множество промежуточных решений — «поколений» моделей, в большей или меньшей степени похожих на искомую модель высокого качества, максимально соответствующую запросу. Алгоритм отсеивает модели низкого качества путём «естественного отбора» и на основе оставшихся создает более подходящие. Лучшие «особи» имеют большую вероятность быть включёнными в следующие поколения. Сменяя множество поколений, алгоритм приближается к оптимальному решению.


К сожалению, так происходит лишь в теории. На практике число моделей растёт чрезвычайно быстро с ростом сложности. Для перебора моделей, состоящих всего лишь из восьми функций, требуется не менее суток вычислений. При этом следует перебрать все варианты, из которых в будущем может эволюционировать наилучшее решение. В предшествующих работах это достигалось медленным и не оптимальным полным перебором.


Андрей Кулунчаков и Вадим Стрижов в рамках своего исследования создали новый подход к порождению  ранжирующих моделей для поиска документов в больших коллекциях, не имеющих этих недостатков. Также исследователи решили проблему «стагнации».  Когда в сменяющих друг друга «поколениях» модели  структурно похожи и их «скрещивание» не даёт существенно новых результатов, происходит «стагнация», или «застой». В таком случае вероятность появления качественной модели существенно снижается. Для того, чтобы избежать стагнации, в поколение добавляются новые модели с целью повышения разнообразия.


Чтобы показать, что созданный метод получает модели, превосходящие по качеству  современные альтернативы, авторы поставили численный эксперимент. Были использованы базы данных Национального института стандартов и технологий США, предназначенные для анализа и сравнения подобных систем. Они состояли из двух миллионов документов и двухсот тысяч запросов. Эксперимент показал, что полученные модели имеют более высокое качество ранжирования, согласно принятому критерию МАР - Mean Average Precision (популярная мера эффективности поиска информации). Сам же метод позволяет получить модель высокого качества за существенно меньшее время.

18 августа сотрудники ОМВД России по Лотошинскому району проверили готовность образовательных учреждений района к новому учебному году.
21.08.2017 МВД Московской области
Новости: Катя Гордон задумалась о приобретении земельного участка в Рузе - Рузский район21 августа — РИА Свежие Ветер. Катя Гордон, являющаяся участницей талант-шоу «Голос», выступила на городском праздновании в Рузе.
21.08.2017 Рузский район
О внесении изменений и дополнений в реестр маршрутов регулярных перевозок Одинцовского муниципального района Московской области,
21.08.2017 Одинцовский района
Сбербанк продвинет малый бизнес в Интернет - Палата народных промыслов и ремёсел  Считается, что крупнейшая кредитная организация страны – Сбербанк – предпочитает работать в основном с крупным бизнесом.
21.08.2017 Палата народных промыслов и ремёсел
Московские инвалиды просят изменить льготные проездные. На временных транспортных карточках предлагают размещать фотографии владельцев.
21.08.2017 Вести-Москва
Заброшенный дом вспыхнул в Фетищево - ТК Кварц  Заброшенный дом, который давно подлежал сносу, вспыхнул как спичка. Возгорание произошло на улице Кирова, 96, в районе ресторана «Старый замок».
21.08.2017 ТК Кварц
Москвичку, отдыхавшую на берегу реки в Рузском округе, обокрали - Красное знамяУ москвички, отдыхавшей 10 августа в Старой Рузе на берегу реки Москвы, похитили сумку, в которой находились золотые часы с рубинами, золотое и серебряное кольца, золотые серьги, солнцезащитные очки, одежда.
21.08.2017 Красное знамя
Отец «пьяного» мальчика рассказал о похищении улик и давлении на свидетелей - РТВ-ПодмосковьеВ деле сбитого в Балашихе мальчика изначально использовался административный ресурс.
21.08.2017 РТВ-Подмосковье
Новую детскую площадку открыли в Рузе в День округа - Красное знамя
Новую детскую площадку открыли в Рузе в День округа
Фото: Балашихинское информагентство, Наталья Кондатьева В Рузе в День Рузского городского округа открыта новая детская игровая площадка, в церемонии открытия принял участие глава округа Максим Тарханов,
Красное знамя
Около поселка Скоропусковский обнаружили труп женщины - Копейка
Около поселка Скоропусковский обнаружили труп женщины
Проверку проводят в Сергиево-Посадском районе Подмосковья по факту обнаружения тела женщины в 1,5 километрах от поселка Скоропусковский, сообщил РИАМО в понедельник представитель пресс-службы ГУ МВД России по Московской области.
Копейка
В Дмитровском районе сотрудники полиции раскрыли кражу - Дмитровский вестник
В Дмитровском районе сотрудники полиции раскрыли кражу
18 августа в Дежурную часть УМВД России по Дмитровскому району поступило заявление от 34-летней местной жительницы о том, что неизвестный из ее квартиры, расположенной в одном из домов на ул.
Дмитровский вестник
Народный коллектив фольклорный ансамбль «Родник» стал участником престижного пятого Международного форума казачьего творчества «Станица», который прошёл в городе Руза.
21.08.2017 Администрация г.Одинцово
На мытищинской земле стартовал Всероссийский цикл проектов казачьей культуры - Мытищинский районВ городском округе Мытищи прошёл первый этап Всероссийского цикла проектов казачьей культуры.
21.08.2017 Мытищинский район
184 героя Великой Отечественной войны перезахоронили в Можайском районе - Шаховские вестиТоржественное перезахоронение 184 героев Великой Отечественной войны состоялось 19 августа в селе Семеновское Замошинского сельского поселения Можайского района Подмосковья,
21.08.2017 Шаховские вести
«Шаховской вернисаж» прошел в День города - Шаховские вести
«Шаховской вернисаж» прошел в День города
Стало уже доброй традицией в День города проводить «Шаховской вернисаж». Этот год не стал исключением.
Шаховские вести
Почта России организует прием подписки на Международном военно-техническом форуме «Армия-2017» - Долгие Пруды
Почта России организует прием подписки на Международном военно-техническом форуме «Армия-2017»
На площадке форума «Армия-2017» в конгрессно-выставочном центре парка «Патриот» в г.
Долгие Пруды
В Вознесенском соборе состоялось праздничное богослужение в честь Преображения Господня - Звенигородские ведомости
В Вознесенском соборе состоялось праздничное богослужение в честь Преображения Господня
19 августа Церковь празднует Преображение Господне. Данный праздник установлен в память Преображения Господа нашего Иисуса Христа перед учениками на горе Фавор.
Звенигородские ведомости
Итоги рейда «Автобус»  подвели в Подольске - Подольский рабочийБолее 450 автобусов было проверено автоинспекторами в ходе оперативно-профилактического мероприятия «Автобус» в Подольске, выявлено около 300 нарушений правил дорожного движения водителями автобусов.
21.08.2017 Подольский рабочий
И снова «Улыбка» - Серебряно-Прудский вестникС 13 по 19 августа на площадках села Мочилы прошла уже вторая спартакиада среди сельчан «Самый спортивный дом» В состязаниях приняли участие команды «Улыбка», «Радость» и «Надежда»,
21.08.2017 Серебряно-Прудский вестник
Весёлым, спортивным праздником  завершилась спортивная неделя в спорткомплексе «Салют» - Долгие ПрудыПраздник физкультуры, спорта и здорового образа жизни объединил Долгопрудненцев в едином спортивном порыве!
21.08.2017 Долгие Пруды
Сборная России завоевала семь медалей в первый день Универсиады - Серебряно-Прудский вестник
Сборная России завоевала семь медалей в первый день Универсиады
В неофициальном общекомандном зачете россияне занимают пятое место Сборная России завоевала одну золотую, одну серебряную и пять бронзовых медалей в первый соревновательный день летней Универсиады 2017 года в Тайбэе.
Серебряно-Прудский вестник
Более 40 транспортных средств  осмотрели автоинспекторы в ходе рейда «Опасный груз» в Подольске - Подольский рабочий
Более 40 транспортных средств осмотрели автоинспекторы в ходе рейда «Опасный груз» в Подольске
Итоги оперативно-профилактический рейда «Опасный груз» подвели в Подольске, было осмотрено более 40 транспортных средства, осуществляющих перевозку опасных грузов, осуществлен выпуск на линию двух автомашин,
Подольский рабочий
Воробьев высоко оценил инициативу проведения рейдов #свиньЯ? для борьбы с мусором - Подольский рабочийИнициированный подмосковными общественниками антимусорный рейд #свиньЯ?
21.08.2017 Подольский рабочий
Подведены промежуточные итоги экологических рейдов в Большом Подольске - Администрация г.ПодольскС 11 августа  в Городском округе Подольск в ежедневном режиме организованы рейды по выявлению несанкционированных сбросов мусора.
21.08.2017 Администрация г.Подольск
Город Одинцово отметит свое 60-летие 2 сентября, Август - Одинцовский районаВ первую субботу осени, 2 сентября, город Одинцово отметит свой юбилей — 60-й день рождения.
21.08.2017 Одинцовский района
Минэкологии: за незаконное захламление отходами работа истринского предприятия остановлена на 90 суток - Министерство экологии МОИстринский городской  суд по материалам Минэкологии Подмосковья приостановил работу индивидуального предпринимателя Марцинкевича В.Л., который занимался сбором,
21.08.2017 Министерство экологии МО
Родителей примут по вопросам подготовки к новому учебному году 24 августа - Ленинская ШатураСогласно утвержденному губернатором Московской области графику 24 августа в региональном Министерстве образования,
21.08.2017 Ленинская Шатура