Новости города БезФормата.Ru
Долгопрудный
Главные новости
 
Задать вопрос?

Скорость построения моделей для поисковых систем можно увеличить в 50 раз

Скорость построения моделей для поисковых систем можно увеличить в 50 раз - МФТИ
Фото: mipt.ru

Разработчиками МФТИ и  ВЦ РАН Андреем Кулунчаковым и Вадимом Стрижовым предложен новый метод автоматического построения ранжирующих моделей. Эти модели используются для того, чтобы обработать запрос от пользователя на поиск информации в коллекциях документов или в интернете. Предлагаемый метод значительно повышает скорость построения моделей. Результаты исследования опубликованы в журнале  Expert Systems with Applications , который стоит на первой позиции в рейтинге журналов по искусственному интеллекту по версии Google Scholar.

При поиске среди миллионов документов в сети пользователь ожидает в результате получить небольшой полезный список. Документы списка должны быть проранжированы согласно поисковому запросу. Остальные документы для пользователя являются информационным мусором. Цель поисковой системы — найти нужный документ по запросу небольшой длины. Предложенный метод строит ранжирующие модели, позволяющие быстро достигнуть этой цели. Подобные модели являются ядром современных поисковых систем.   

Андрей Кулунчаков, соавтор работы, студент кафедры интеллектуальных систем МФТИ, комментирует: «Постановка задачи предполагала использование  только коллекций документов и поисковых запросов. Не допускалось использование никакой внешней информации о контексте, в котором выполнялся поиск. Такая задача имеет наиболее общий характер. Ранжирующие модели, предназначенные для быстрого и точного поиска информации, используются во многих областях от спам-фильтров до колл-центров».


Ранжирующая модель строится на основе простейших математических функций. Подобная модель предполагает создание из них сложной функции, которая бы решала поставленную задачу. Работа учёных была направлена на оптимизацию способа построения такой модели. Качество построенной модели смотрели в том числе, с помощью живой экспертной оценки адекватности получаемого списка документов.


Одним из способов построения моделей является генетическое программирование. Название оно получило из-за схожести с механизмом естественного отбора в природе. В ходе решения задачи строится множество промежуточных решений — «поколений» моделей, в большей или меньшей степени похожих на искомую модель высокого качества, максимально соответствующую запросу. Алгоритм отсеивает модели низкого качества путём «естественного отбора» и на основе оставшихся создает более подходящие. Лучшие «особи» имеют большую вероятность быть включёнными в следующие поколения. Сменяя множество поколений, алгоритм приближается к оптимальному решению.


К сожалению, так происходит лишь в теории. На практике число моделей растёт чрезвычайно быстро с ростом сложности. Для перебора моделей, состоящих всего лишь из восьми функций, требуется не менее суток вычислений. При этом следует перебрать все варианты, из которых в будущем может эволюционировать наилучшее решение. В предшествующих работах это достигалось медленным и не оптимальным полным перебором.


Андрей Кулунчаков и Вадим Стрижов в рамках своего исследования создали новый подход к порождению  ранжирующих моделей для поиска документов в больших коллекциях, не имеющих этих недостатков. Также исследователи решили проблему «стагнации».  Когда в сменяющих друг друга «поколениях» модели  структурно похожи и их «скрещивание» не даёт существенно новых результатов, происходит «стагнация», или «застой». В таком случае вероятность появления качественной модели существенно снижается. Для того, чтобы избежать стагнации, в поколение добавляются новые модели с целью повышения разнообразия.


Чтобы показать, что созданный метод получает модели, превосходящие по качеству  современные альтернативы, авторы поставили численный эксперимент. Были использованы базы данных Национального института стандартов и технологий США, предназначенные для анализа и сравнения подобных систем. Они состояли из двух миллионов документов и двухсот тысяч запросов. Эксперимент показал, что полученные модели имеют более высокое качество ранжирования, согласно принятому критерию МАР - Mean Average Precision (популярная мера эффективности поиска информации). Сам же метод позволяет получить модель высокого качества за существенно меньшее время.

photo_2018-04-22_13-53-46 - Единая Россия КоролёвВ помещении школы № 26 города Химки состоялся обучающий семинар для сторонников Партии Московской области «Безопасность детей в интернете» в рамках реализации федерального проекта сторонников «Единой России» Открыл се
22.04.2018 Единая Россия Королёв
Время рубить капусту. Агроном рассказал об ультраранних сортах - РТВ-ПодмосковьеСпециальные гибриды для выращивания в теплице принесут наиболее ранние плоды C наступлением садоводческого сезона одними из первых организуют посадки капусты.
22.04.2018 РТВ-Подмосковье
003 - Газета Новые ИзвестияНа 80% всех сайтов Интернета стоят так называемые "трекеры" — специальные программные коды, которые отслеживают действия посетителей.
22.04.2018 Газета Новые Известия
Фотофакт: трудная дорога к погосту - Коломенская правдаНиколай Романов О дороге на Старое кладбище «КП» писала неоднократно и в основном по поводу обращений в редакцию читателей.
22.04.2018 Коломенская правда
Фотофакт: трудная дорога к погосту - KolomnaOnline.RuНиколай Романов О дороге на Старое кладбище «КП» писала неоднократно и в основном по поводу обращений в редакцию читателей.
22.04.2018 KolomnaOnline.Ru
Воскресное чтение: И снова про Норвегию... - Krasnogorsk.InfoЧто-то на текущей неделе совсем швах с новостями случился - все какие-то доброделы, общественные советы, раздельный мусор да отчетные концерты творческих студий.
22.04.2018 Krasnogorsk.Info
В Рузском округе ураганом снесло крышу с магазина - Красное знамяКак сообщают наши корреспонденты, ураганом снесло крышу с магазина "Пятерочка" на Беляной Горе, а в санатории Дорохово электрический столб упал на выездные ворота.
22.04.2018 Красное знамя
Последствия сильного урагана в Рузском округе - Красное знамяДорога Руза - Можайск Автор: Сергей Шапкин
21.04.2018 Красное знамя
Субботний ураган оставил без света Истру на четыре часа - Истринские ВСетиЕго последствия устраняют коммунальные службы округа Как сообщается на сайте администрации г. о. Истра, на территории городского округа Истра задействовано в устранении последствий погодных условий 121 человек,
22.04.2018 Истринские ВСети
34 ДТП с материальным ущербом и один пострадавший - Копейка
34 ДТП с материальным ущербом и один пострадавший
За период, с 13 по 20 апреля текущего года сотрудниками отдела ГИБДД УМВД России по Сергиево-Посадскому району зарегистрировано 34 ДТП с материальным ущербом,
Копейка
Одна ночь потребовалась энергетикам, чтобы восстановить электроснабжение в Подмосковье - Люберецкая панорама
Одна ночь потребовалась энергетикам, чтобы восстановить электроснабжение в Подмосковье
ЛЮБЕРЦЫ. 22 апр. INLUBERTSY.RU - Одна ночь потребовалась энергетикам, чтобы восстановить электроснабжение потребителей по линиям электропередач 6-10 кВ на востоке и западе Подмосковья, нарушенное мощнейшим грозовым фронтом,
Люберецкая панорама
Труп мужчины, зарубленного лопатой, обнаружили в Пушкинском районе - Газета Маяк
Труп мужчины, зарубленного лопатой, обнаружили в Пушкинском районе
© РИАМО, Николай Корешков Мертвого человека нашли в Пушкинском районе Подмосковья, материалы по данному инциденту переданы следователям, сообщил РИАМО в воскресенье дежурный офицер регионального главка МВД России.
Газета Маяк
Неюбилейная встреча  - Красное знамяЧитальный зал Тучковской библиотеки 14 апреля на несколько часов превратился в кафе-выставку, где собралось несколько поколений литклуба имени Н. Дмитриева.
22.04.2018 Красное знамя
Олег Табаков и Сергиев Посад - КопейкаНе проходит горечь утраты одного из любимых актеров нашего кино, художественного руководителя и директора МХАТа, основателя и руководителя Московского театра «Табакерка».
22.04.2018 Копейка
Пейзажи с луговыми цветами и храмами представил художник Федулов на выставке в Орехово-Зуеве - Орехово-Зуевская правдаЮбилейная персональная выставка «На красоту земля моя щедра» заслуженного художника России Владимира Федулова открылась в городском выставочном зале Орехово-Зуева 20 апреля, прекрасные русские пейзажи с луговыми цветами,
21.04.2018 Орехово-Зуевская правда
На самой высокой ноте - Красногорские вести
На самой высокой ноте
На счастливой, вдохновенной творческой ноте закончили учебный год воспитанники музыкального отделения Нахабинской школы искусств.
Красногорские вести
«Библионочь» прошла в Ступине - Ступинская панорама
«Библионочь» прошла в Ступине
Ступинское информагентство, Сергей Демянюк 21 апреля в Центральной библиотеке города Ступино состоялась ежегодная акция в поддержку чтения «Библионочь».
Ступинская панорама
Конфискованные произведения искусства из коллекции коррупционера переданы в МВК «Новый Иерусалим» - Красногорские вести
Конфискованные произведения искусства из коллекции коррупционера переданы в МВК «Новый Иерусалим»
Тринадцать полотен знаменитых художников и 71 раритетное издание, среди которых собрания сочинений Л.Н.
Красногорские вести
Дерево - Вокруг МосквыДорожные службы Московской области успешно ликвидируют последствия урагана, обрушившегося на регион в субботу, 21 апреля.
22.04.2018 Вокруг Москвы
Реконструкция первого российского матча на родине российского футбола состоится 19 мая - Орехово-Зуевская правдаВ этом году в Орехово-Зуево будет праздноваться День рождения первой футбольной команды, в рамках которого пройдет реконструкция матча 1887 года Все мы гордимся тем, что Орехово-Зуево - родина российского футбола.
22.04.2018 Орехово-Зуевская правда
Юные каратисты из Пушкинского района стали призерами первенства в Балашихе - Газета Маяк© предоставлено спортивным клубом «Хидза» Юные спортсмены из Пушкинского района стали призерами первенства по шинкиокушинкай карате в Балашихе 21 апреля,
22.04.2018 Газета Маяк
Зарайские инвалиды покажут ловкость и упорство - За новую жизнь
Зарайские инвалиды покажут ловкость и упорство
Как сообщила специалист по соцвопросам СЦО «Рябинушка» Марина Михеева, идут последние приготовления к спартакиаде «Сильные духом» для зарайских инвалидов и пенсионеров.
За новую жизнь
Анонс спортивных мероприятий на неделю - За новую жизнь
Анонс спортивных мероприятий на неделю
ВО ДВОРЦЕ СПОРТА «ЗАРАЙСК» СОСТОЯТСЯ: — 24 АПРЕЛЯ С 10 ЧАСОВ —  спартакиада «Сильные духом» среди граждан пожилого возраста и людей с ограниченными возможностями;
За новую жизнь
«Зоркий» в Калуге упустил ничью - Красногорские вести
«Зоркий» в Калуге упустил ничью
Футбольный клуб «Зоркий» матч 20-го тура первенства России по футболу 2017–2018 гг.
Красногорские вести
На субботник в Красногорске вышли более 14 тысяч человек - Красногорские вестиВ преддверии празднования Дня Весны и Труда вместе с жителями городского округа Красногорск независимо от организационно-правовой формы на уборку улиц, парков, скверов дворов вышли предприятия и организации округа.
21.04.2018 Красногорские вести
В Истре провели генеральную уборку - Истринские ВСетиОбластной субботник в Истре собрал неравнодушных жителей вместе, чтобы сделать генеральную уборку в своем городе Всем, кто трудился в городском парке Истры, на улице Ленина и на других площадках,
21.04.2018 Истринские ВСети
Губернатор Подмосковья осмотрел Архангельскую врачебную лабораторию - Правительство Московской областиИсточник: Пресс-служба Губернатора Московской области, Александр Щемляев Губернатор Московской области Андрей Воробьев в субботу осмотрел Архангельскую врачебную лабораторию,
21.04.2018 Правительство Московской области
Молодожены - Правительство Московской областиИсточник: Фотобанк Московской области, Виктор Анашкин Самой спортивной невесте фестиваля «Невесты Подмосковья», который пройдет на трех площадках в Подольске 19 мая, вручат корону,
22.04.2018 Правительство Московской области
Общеобластной субботник пройдет в Подмосковье 21 апреля - Газета Маяк© Пресс-служба администрации Котельников Активных жителей Подмосковья приглашают принять участие в общеобластном субботнике, который пройдет во всех муниципалитетах 21 апреля,
21.04.2018 Газета Маяк