Новости города БезФормата.Ru
Долгопрудный
Главные новости
 
Задать вопрос?

Скорость построения моделей для поисковых систем можно увеличить в 50 раз

Скорость построения моделей для поисковых систем можно увеличить в 50 раз - МФТИ
Фото: mipt.ru

Разработчиками МФТИ и  ВЦ РАН Андреем Кулунчаковым и Вадимом Стрижовым предложен новый метод автоматического построения ранжирующих моделей. Эти модели используются для того, чтобы обработать запрос от пользователя на поиск информации в коллекциях документов или в интернете. Предлагаемый метод значительно повышает скорость построения моделей. Результаты исследования опубликованы в журнале  Expert Systems with Applications , который стоит на первой позиции в рейтинге журналов по искусственному интеллекту по версии Google Scholar.

При поиске среди миллионов документов в сети пользователь ожидает в результате получить небольшой полезный список. Документы списка должны быть проранжированы согласно поисковому запросу. Остальные документы для пользователя являются информационным мусором. Цель поисковой системы — найти нужный документ по запросу небольшой длины. Предложенный метод строит ранжирующие модели, позволяющие быстро достигнуть этой цели. Подобные модели являются ядром современных поисковых систем.   

Андрей Кулунчаков, соавтор работы, студент кафедры интеллектуальных систем МФТИ, комментирует: «Постановка задачи предполагала использование  только коллекций документов и поисковых запросов. Не допускалось использование никакой внешней информации о контексте, в котором выполнялся поиск. Такая задача имеет наиболее общий характер. Ранжирующие модели, предназначенные для быстрого и точного поиска информации, используются во многих областях от спам-фильтров до колл-центров».


Ранжирующая модель строится на основе простейших математических функций. Подобная модель предполагает создание из них сложной функции, которая бы решала поставленную задачу. Работа учёных была направлена на оптимизацию способа построения такой модели. Качество построенной модели смотрели в том числе, с помощью живой экспертной оценки адекватности получаемого списка документов.


Одним из способов построения моделей является генетическое программирование. Название оно получило из-за схожести с механизмом естественного отбора в природе. В ходе решения задачи строится множество промежуточных решений — «поколений» моделей, в большей или меньшей степени похожих на искомую модель высокого качества, максимально соответствующую запросу. Алгоритм отсеивает модели низкого качества путём «естественного отбора» и на основе оставшихся создает более подходящие. Лучшие «особи» имеют большую вероятность быть включёнными в следующие поколения. Сменяя множество поколений, алгоритм приближается к оптимальному решению.


К сожалению, так происходит лишь в теории. На практике число моделей растёт чрезвычайно быстро с ростом сложности. Для перебора моделей, состоящих всего лишь из восьми функций, требуется не менее суток вычислений. При этом следует перебрать все варианты, из которых в будущем может эволюционировать наилучшее решение. В предшествующих работах это достигалось медленным и не оптимальным полным перебором.


Андрей Кулунчаков и Вадим Стрижов в рамках своего исследования создали новый подход к порождению  ранжирующих моделей для поиска документов в больших коллекциях, не имеющих этих недостатков. Также исследователи решили проблему «стагнации».  Когда в сменяющих друг друга «поколениях» модели  структурно похожи и их «скрещивание» не даёт существенно новых результатов, происходит «стагнация», или «застой». В таком случае вероятность появления качественной модели существенно снижается. Для того, чтобы избежать стагнации, в поколение добавляются новые модели с целью повышения разнообразия.


Чтобы показать, что созданный метод получает модели, превосходящие по качеству  современные альтернативы, авторы поставили численный эксперимент. Были использованы базы данных Национального института стандартов и технологий США, предназначенные для анализа и сравнения подобных систем. Они состояли из двух миллионов документов и двухсот тысяч запросов. Эксперимент показал, что полученные модели имеют более высокое качество ранжирования, согласно принятому критерию МАР - Mean Average Precision (популярная мера эффективности поиска информации). Сам же метод позволяет получить модель высокого качества за существенно меньшее время.

«На страже безопасности» - так называется  свежий номер спец.выпуска газеты «Волоколамский край» - Волоколамский район«На страже безопасности» - так называется свежий номер спец.выпуска газеты «Волоколамский край» С начала года местная газета выпустила 4 спец.выпуска.
22.02.2018 Волоколамский район
Муниципальный коворкинг – центр «Старт» в Химках стал площадкой для проведения семинара, главными участниками которого стали представители ресторанного бизнеса.
22.02.2018 Администрация г. Химки
В длину находка едва достигала 60 сантиметров и оказалась безвредной для человека кошачьей акулой – представительницей распространенного вида хрящевых рыб.
22.02.2018 Центр Города
«После завершения карьеры Виктор может остаться в России и впоследствии войти в тренерский штаб сборной.
22.02.2018 Центр Города
21 февраля 2018 года был проведен вебинар «Школа-Студент-Университет». - МГОУ21 февраля 2018 года был проведен вебинар «Школа-Студент-Университет».  Участниками вебинара стали более 70 представителей управлений по образования и руководителей образовательных организаций Московской области.
22.02.2018 МГОУ
Максим Тарханов: «Передвижной избирательный участок будет действовать в Рузском округе» - Рузский районВ Рузском городском округе в случае форс-мажорной ситуации будет действовать передвижной избирательный участок.
22.02.2018 Рузский район
В Рузе горела квартира - Красное знамяВечером 21 февраля в доме №16 на улице Почтовой загорелась одна из квартир на втором этаже.
22.02.2018 Красное знамя
Ресоциализацию заключенных обсудили на радио - Уполномоченный по правам человекаЕкатерина Семёнова приняла участие в «Открытом разговоре». Часовая запись программы для «Радио-1» прошла в новой студии в Доме правительства Московской области.
22.02.2018 Уполномоченный по правам человека
В Подольске водитель иномарки врезался в металлическое ограждение - SMINEWS в ПодольскеФото: ОГИБДД УМВД России по городскому округу Подольск В минувшее воскресенье, 18 февраля текущего года около 00 часов 20 минут на улице Матросская в городском округе Подольск, водитель,
21.02.2018 SMINEWS в Подольске
В Звенигороде задержали грабителей - Звенигородские ведомости
В Звенигороде задержали грабителей
Сотрудниками уголовного розыска МУ МВД России «Одинцовское» в ходе проведения оперативно-розыскных мероприятий задержаны двое мужчин в возрасте 22 и 28 лет, подозреваемых в совершении грабежа.
Звенигородские ведомости
Полицейские изъяли у люберчанина наркотики - Люберецкая панорама
Полицейские изъяли у люберчанина наркотики
ЛЮБЕРЦЫ. 21 фев. INLUBERTSY.RU – Полицейскими МУ МВД России «Люберецкое» у местного жителя изъяты наркотики, сообщает Люберецкое информагентство со ссылкой на пресс-службу отдела полиции.
Люберецкая панорама
Грузовик в Хотьково сбил пешехода, перебегающего на красный - Копейка
Грузовик в Хотьково сбил пешехода, перебегающего на красный
В Хотьково утром 22 февраля на ул. Горбуновская грузовой автомобиль сбил пешехода.
Копейка
Между нами тает лёд... - E-vanteevka.Ru      В отличие от официальных мероприятий никто никого не заставлял, люди сами сбросились и создали сценарий праздника.
22.02.2018 E-vanteevka.Ru
Коллекционер мечтает создать муниципальный военный музей в Пушкино - Газета Маяк© Николай Ильницкий, Пушкинское информагентство Коллекционер военной формы и амуниции из Пушкино Сергей Чибинеев мечтает создать в городе муниципальный военный музей, рассказал Пушкинскому информагентству он сам.
22.02.2018 Газета Маяк
В Солнечногорске прошел первый Открытый фестиваль казачьей культуры «Во славу родного края» - Газета СенежТрадиции казачьей культуры неразрывно связаны с великой миссией служения Отечеству.
22.02.2018 Газета Сенеж
Праздничные выходные обещают быть интересным и позитивными - Павлово-Посадские известия
Праздничные выходные обещают быть интересным и позитивными
Афиша учреждений культуры г.о. Павловский Посад на ближайшую неделю – с 23 февраля по 1 марта.
Павлово-Посадские известия
Макет винтовки Мосина покажут на выставке к 100-летию Красной Армии в музее Орехово-Зуева - Орехово-Зуевская правда
Макет винтовки Мосина покажут на выставке к 100-летию Красной Армии в музее Орехово-Зуева
Выставка, посвященная 100-летию образования Рабоче-крестьянской Красной Армии, откроется в историко-краеведческом музее Орехово-Зуева 22 февраля, в экспозиции представлены редкие экспонаты,
Орехово-Зуевская правда
Концерт оркестра ВМС России прошел в Жуковском накануне Дня Защитника Отечества - Авиаград Жуковский
Концерт оркестра ВМС России прошел в Жуковском накануне Дня Защитника Отечества
Торжественный вечер и концерт оркестра ВМС России, посвященный Дню защитника Отечества, прошел во Дворце культуры города 21 февраля Е.Романова Зрители посмотрели кадры фото- и кинохроники,
Авиаград Жуковский
Двери в «Светлячке» открыты для пап и не только - Котельники сегодняНакануне мужского праздника – Дня защитника Отечества - в детском саду «Светлячок» двери были широко открыты для всех родителей, а не только для пап.
21.02.2018 Котельники сегодня
Обгон по поводу и правилам - Красногорские вестиНовая социальная кампания по пропаганде безопасности дорожного движения «Повод для обгона» стартовала в феврале в Московской области.
22.02.2018 Красногорские вести
В канун Дня защитника Отечества свыше 40 павловопосадцев были награждены памятными медалями - Павлово-Посадские известия21 февраля в Колонном зале ДК «Павлово-Покровский» состоялся торжественный приём главы Павлово-Посадского округа, посвящённый Дню защитника Отечества.
22.02.2018 Павлово-Посадские известия
Ружанка на «Поле чудес» - Красное знамя
Ружанка на «Поле чудес»
В минувшую пятницу ружане с особым удовольствием смотрели популярнейшую телепередачу «Поле чудес», ведь там не просто играла наша землячка, жительница Покровского Оксана Потапова, – ей даже удалось выйти в финал.
Красное знамя
Дан старт кампании «Повод для обгона» - Газета Факт
Дан старт кампании «Повод для обгона»
Проблема безопасности на дорогах России по-прежнему остается актуальной. Данный вывод подтверждают и данные статистики, и повышенное внимание руководства страны, направленное на решение данной проблемы.
Газета Факт
ГИБДД информирует: ухудшение погодных условий - Чехов сегодня
ГИБДД информирует: ухудшение погодных условий
По прогнозу Гидрометеорологического бюро Москвы и Московской области с сегодняшнего дня до середины следующей недели ожидаются морозы свыше 20 градусов ниже нуля.
Чехов сегодня
С Днем защитника Отечества! - Газета СенежС праздником солнечногорцев поздравляют губернатор Московской области Андрей Воробьев, глава Солнечногорского района Андрей Чураков, депутат Государственной думы Мартин Шаккум, депутат Мособлдумы Сергей Юдаков,
22.02.2018 Газета Сенеж
Накануне 23 февраля в Электростали прошел пожарно-спасательный флэшмоб - Газета Новости неделиНакануне Дня защитника Отечества сотрудники МЧС провели акцию для школьников и жителей города.
22.02.2018 Газета Новости недели
Губернатор открыл мероприятие в честь Дня защитника Отечества - Шаховские вестиГубернатор Московской области Андрей Воробьев открыл мероприятие, посвященное Дню защитника Отечества.
22.02.2018 Шаховские вести
Подмосковная Госавтоинспекция предупреждает о сильном похолодании - Котельники сегодняС 22 по 28 февраля на территории Московской области ожидается сильное понижение температуры воздуха в ночные часы до -22….-28 градусов.
22.02.2018 Котельники сегодня
Татьяна Сердюкова поблагодарила Максима Тарханова за сотрудничество с депутатами - Рузский районДепутат Московской областной Думы Татьяна Сердюкова поблагодарила Главу Рузского городского округа Максима Тарханова за конструктивное взаимодействие.
22.02.2018 Рузский район