Российский семинар по оценке методов информационного поиска (РОМИП) — это открытый семинар, проводимый ежегодно с 2003 года группой российских исследователей и разработчиков, занимающихся информационным поиском . Основная цель семинара — создание плацдарма для проведения независимой оценки методов информационного поиска, ориентированных на работу с русскоязычной информацией. РОМИП — некоммерческий семинар: затраты на подготовку и проведение оценки возмещаются за счет грантов РФФИ и взносов участников.

Важнейшим принципом РОМИП является совместное с участниками определение задач для оценки и формирование правил проведения оценки, оргкомитет лишь координирует проведение секций. Другим основополагающим принципом РОМИП является использование результатов оценки исключительно в исследовательских целях и запрещение их использования в маркетинговых/коммерческих целях без согласия участника.

Структурно семинар представляет собой набор дорожек — секций, посвящённых конкретным проектам с определенной задачей и правилами оценки. Оргкомитет формирует тестовые наборы данных, заданий и распространяет их участникам. Участник самостоятельно и на своём оборудовании выполняет поисковые задания интересующих его дорожек, и затем предоставляет результаты (ответы) оргкомитету в оговорённые сроки. Оргкомитет организует проведение оценки полученных ответов, в большинстве случаев — с использованием независимых экспертов (асессоров). Конкретная методология оценки зависит от рассматриваемой задачи и определяется на подготовительном этапе. Информация о всех оценках участников публикуется, но эта информация анонимна: для ссылок на участников используются псевдонимы, каждый из участников знает свой псевдоним, но не знает псевдонимы других участников.

В 2006 году в РОМИП были следующие дорожки:

• классическая задача поиска по запросу
  • по коллекции нормативно-правовых документов
  • по веб-коллекции
  • по смешанной коллекции
• • нормативно-правовых документов
  • веб-сайтов
  • веб-страниц
• фактографический поиск по новостной коллекции
• кластеризация новостного потока
• контекстно-зависимое аннотирование текстовых документов
• поиск похожих документов по документу образцу или фрагменту текста

Участвовать в РОМИП могут все заинтересованные лица — как создатели поисковых систем, так и исследователи, занимающиеся проблемами информационного поиска.

См. также

• Text Retrieval Conference (TREC)
• Информационный поиск
• Поисковые системы

Ссылки

• П. И. Браславский, М. В. Губин, Б. В. Добров, В. Ю. Добрынин, И. Е. Кураленок, И. С. Некрестьянов, Е. Ю. Павлова, И. В. Сегалович. . Труды Диалог’2003, Москва, июнь 2003
• Агеев М. С., Губин М. В., Добров Б. В., Кураленок И. Е., Некрестьянов И. С., Плешко В. В., Сегалович И. В., Шабанов В. И.
• Александр Сафронов.
• Огарок А. Л. . Труды четвёртого российского семинара РОМИП’2006. (Суздаль, 19 октября 2006 г.) Санкт-Петербург: НУ ЦСИ, 2006, 274 с.