Открыть список
Как стать автором
Обновить

Организуем релевантный поиск по разнородным данным с помощью Sphinx

Sphinx
В одном из текущих проектов возникла задача поиска по данным разного типа, которая была успешно решена с помощью зарекомендовавшей себя поисковой машины Sphinx, но обо всем по порядку.

Постановка задачи


В проекте есть на данный момент 2 зоны:
  1. географическая зона, реализованная на базе Google Maps, которая отображает нанесенные пользователями на карту географические объекты (маркеры, маршруты и области);
  2. информационная зона, которая представляет собой большой иерархически организованный каталог, содержащий информационные материалы.
Необходимо было решить задачу одновременного текстового поиска по 3-м типам объектов: географическим объектам, категориям информационной зоны и материалам информационной зоны — c возможностью фильтрации по дате публикации объектов и категориям, к которым они относятся.

Решение задачи


Все решение описано для связки PHP5 (Symfony), MySQL, Sphinx. Как ставить Sphinx, я описывать не буду, эту информацию можно прочитать на официальном сайте. Скажу лишь, что под Mac OS X он легко ставиться с помощью macports.
Имеем такую модель БД (я ее упростил, чтобы было поближе к сути) с каким-то набором записей:
Конфигурируем sphinx для индексации и выдачи результатов поиска:
  1. #articles
  2. source article
  3. {
  4. type = mysql
  5. sql_host = localhost
  6. sql_user = root
  7. sql_pass = root
  8. sql_db = ili_lv
  9. sql_sock = /tmp/mysql/mysql.sock
  10. sql_query_range = SELECT MIN(id), MAX(id) FROM article
  11. sql_range_step = 500
  12. sql_query_pre = SET NAMES utf8
  13. sql_query = \
  14. SELECT id * 10 + 1 as id, category_id, 1 as row_type,\
  15. UNIX_TIMESTAMP(created_at) as created_at, title, descr \
  16. FROM article WHERE id >= $start AND id <= $end
  17. sql_attr_uint = category_id
  18. sql_attr_uint = row_type
  19. sql_attr_timestamp = created_at
  20. sql_query_info = SELECT title, descr \
  21. FROM article WHERE id = ($id - 1) / 10
  22. }
  23. #categories
  24. source category
  25. {
  26. #аналогичный блок параметров подключения к БД
  27. #...
  28. sql_query_range = SELECT MIN(id), MAX(id) FROM category
  29. sql_range_step = 500
  30. sql_query_pre = SET NAMES utf8
  31. sql_query = \
  32. SELECT id * 10 + 2 as id, tree_parent as category_id, 2 as row_type,\
  33. UNIX_TIMESTAMP(created_at) as created_at, title, descr \
  34. FROM category WHERE id >= $start AND id <= $end
  35. sql_attr_uint = category_id
  36. sql_attr_uint = row_type
  37. sql_attr_timestamp = created_at
  38. sql_query_info = SELECT title, descr \
  39. FROM category WHERE id = ($id - 2) / 10
  40. }
  41. #geo_objects
  42. source geo_object
  43. {
  44. #аналогичный блок параметров подключения к БД
  45. #...
  46. sql_query_range = SELECT MIN(id), MAX(id) FROM geo_object
  47. sql_range_step = 500
  48. sql_query_pre = SET NAMES utf8
  49. sql_query = \
  50. SELECT id * 10 + 3 as id, 0 as category_id, 3 as row_type,\
  51. UNIX_TIMESTAMP(created_at) as created_at, title, descr \
  52. FROM geo_object WHERE id >= $start AND id <= $end
  53. sql_attr_uint = category_id
  54. sql_attr_uint = row_type
  55. sql_attr_timestamp = created_at
  56. sql_query_info = SELECT title, descr \
  57. FROM geo_object WHERE id = ($id - 3) / 10
  58. }
  59. index site_search
  60. {
  61. source = category
  62. source = geo_object
  63. source = article
  64. path = /var/data/sphinx/site_search
  65. docinfo = extern
  66. morphology = stem_en, stem_ru
  67. html_strip = 0
  68. charset_type = utf-8
  69. min_word_len = 2
  70. }
* This source code was highlighted with Source Code Highlighter.

Чуть по-подробнее о параметрах конфигурации. Разделы source, как понятно из названия, задают хранилища данных, откуда будет извлекаться индексируемая Sphinx информация. Такими хранилищами могут быть базы данных, текстовые файлы, html-файлы, xml и даже почтовые ящики. Этот раздел также описывает, какие поля хранилища будут индексироваться, в каком формате будет производиться индексация (выборка разовая или порционная) и ряд других параметров. В моем случае описано 3 source, все они ведут в одну и ту же базу данных MySQL, но в разные таблицы.
Форматы конфигураций похожи, я опишу source article.
  1. sql_query_range = SELECT MIN(id), MAX(id) FROM article
  2. sql_range_step = 500
* This source code was highlighted with Source Code Highlighter.
Этими строками мы «указываем» Sphinx делать выборку из таблицы не полным select-ом, а порциями по 500 записей, чтобы не создавать избыточную нагрузку при индексации.

  1. sql_query = \
  2. SELECT id * 10 + 1 as id, category_id, 1 as row_type,\
  3. UNIX_TIMESTAMP(created_at) as created_at, title, descr \
  4. FROM article WHERE id >= $start AND id <= $end
* This source code was highlighted with Source Code Highlighter.
Это маска запроса, отправляемого Sphinx при индексации данных. Здесь важно 3 момента:
  • Определяется набор полей для индексации, в нашем случае это id, текстовые поля и поля-фильтры;
  • Первое поле используется Sphinx-ом как id в формируемом индексе. Т.к. id из разных таблиц могут совпадать, то применен такой метод формирования уникального id;
  • Поле row_type дает возможность определить, какого типа каждая из сохраненных записей в индексе Sphinx.

Далее идет описание атрибутов, которые можно использовать в качестве фильтров
  1. sql_attr_uint = category_id
  2. sql_attr_uint = row_type
  3. sql_attr_timestamp = created_at
* This source code was highlighted with Source Code Highlighter.

Ну и последний параметр — это маска запроса, который будет извлекать нужную нам информацию по найденным id:
  1. sql_query_info = SELECT title, descr \
  2. FROM geo_object WHERE id = ($id - 1) / 10
* This source code was highlighted with Source Code Highlighter.

Далее в конфигурационном файле описывается самое важное — параметры индексации указанных нами source-ов с помощью секции index.
  1. source = category
  2. source = geo_object
  3. source = article
* This source code was highlighted with Source Code Highlighter.

Очень важный момент — индекс может формироваться из нескольких source. Как показано выше, в индекс сливаются данные из трех таблиц. Представьте, как пришлось бы попотеть, чтобы организовать такой поиск с помощью БД! Здесь же мы просто можем делать запрос к данному индексу, получая при этом его отранжированные результаты.

Строчками
  1. path = /var/data/sphinx/site_search
  2. docinfo = extern
* This source code was highlighted with Source Code Highlighter.
указываются параметры хранения индекса и полный путь к нему.

В чем еще одна прелесь Sphinx — он «из коробки» поддерживает английскую и русскую морфологию, позволяя приводить слова запроса к нормальной форме. При необходимости эту функциональность можно расширить.
  1. morphology = stem_en, stem_ru
* This source code was highlighted with Source Code Highlighter.

Оставшиеся три параметра отвечают за вырезание html-тегов, кодировку индекса и минимальную длину слова соответственно.

Далее осталось только запустить индексацию.
  1. muxx:~ muxx$ sudo searchd --stop
  2. Sphinx 0.9.8.1-release (r1533)
  3. Copyright (c) 2001-2008, Andrew Aksyonoff
  4. using config file '/usr/local/etc/sphinx.conf'...
  5. stop: succesfully sent SIGTERM to pid 5677
  6. muxx:~ muxx$ sudo indexer --all
  7. Sphinx 0.9.8.1-release (r1533)
  8. Copyright (c) 2001-2008, Andrew Aksyonoff
  9. using config file '/usr/local/etc/sphinx.conf'...
  10. indexing index 'site_search'...
  11. collected 759 docs, 0.0 MB
  12. sorted 0.0 Mhits, 100.0% done
  13. total 759 docs, 22171 bytes
  14. total 0.028 sec, 785871.25 bytes/sec, 26903.45 docs/sec
  15. muxx:~ muxx$ sudo searchd
  16. Sphinx 0.9.8.1-release (r1533)
  17. Copyright (c) 2001-2008, Andrew Aksyonoff
  18. using config file '/usr/local/etc/sphinx.conf'...
  19. creating server socket on 127.0.0.1:3312
  20. muxx:~ muxx$ search мой сложный запрос
  21. Sphinx 0.9.8.1-release (r1533)
  22. Copyright (c) 2001-2008, Andrew Aksyonoff
  23. using config file '/usr/local/etc/sphinx.conf'...
  24. index 'site_search': query 'мой сложный запрос ': returned 0 matches of 0 total in 0.000 sec
  25. words:
  26. 1. 'мо': 0 documents, 0 hits
  27. 2. 'сложн': 0 documents, 0 hits
  28. 3. 'запрос': 0 documents, 0 hits
  29. muxx:~ muxx$
* This source code was highlighted with Source Code Highlighter.

В листинге выше мы сначала останавливаем демон на случай, если он запущен. Затем выполняем индексацию. Можно увидеть, насколько высока скорость индексации у Sphinx.

// В комментариях подсказали, что можно производить индексирование, не останавливая демон командой sudo indexer --rotate --all.

Затем запускаем демон и выполняем пробный запрос. Sphinx показывает, как он разбивает запрос и нормализует слова в нем. В моем примере он отработал нормально, но ничего не нашел :)

После того, как удостоверились, что демон работает, можно работать со Sphinx из Symfony.
Устанавливаем плагин sfSphinxPlugin, подключаем его в конфигурациях:
  1. $this->enablePlugins(array('sfSphinxPlugin'));
* This source code was highlighted with Source Code Highlighter.

и пишем небольшой пример запроса к демону:
  1. $sphinx = new sfSphinxClient($options);
  2. //устанавливаем числовые фильтры, если они заданы
  3. if ($request->getParameter('category_id'))
  4. $sphinx->setFilter('category_id', array($request->getParameter('category_id')));
  5. if ($request->getParameter('row_type'))
  6. $sphinx->setFilter('row_type', array($request->getParameter('row_type')));
  7. $dateRange = $request->getParameter('date');
  8. if ($dateRange['from'] || $dateRange['to'])
  9. {
  10. $sphinx->setFilterRange('created_at',
  11. !empty($dateRange['from']) ? strtotime($dateRange['from']) : '',
  12. !empty($dateRange['to']) ? strtotime($dateRange['to']) : '');
  13. }
  14. $this->results = $sphinx->Query($request->getParameter('s'), 'site_search');
  15. if ($this->results === false)
  16. {
  17. $this->message = 'Запрос не выполнен: ' . $sphinx->GetLastError();
  18. }
  19. else
  20. //если все путём, то достаем информацию по id индекса
  21. //и выводим ее в template
  22. $this->items = $this->retrieveResultRows($this->results);
* This source code was highlighted with Source Code Highlighter.

Надеюсь, из моего описания можно оценить все прелести Sphinx, я рассказал далеко не обо всех его возможностях, остальное при желании вы уже сможете самостоятельно изучить.

PS: Просьба к тем у кого достаточно кармы — создайте блог Sphinx, я бы перенес туда статью.

PS2: Спасибо всем! Блог создан, топик перенесен туда.
Теги:sphinxпоискsymfonyphp
Хабы: Sphinx
Всего голосов 44: ↑44 и ↓0 +44
Просмотры19.7K

Похожие публикации

Лучшие публикации за сутки