Инфопульс Украина corporate blog
System Programming
Network technologies
C
Development for Linux
Comments 65
+1

Для poll() точно нужно руками обнулять revents?


Ссылка https://linux.die.net/man/2/poll об этом явно не говорит, но намекает, что в случае отрицательного fd и прочего, системный вызов туда сам напишет 0

+1
Не плохо бы всё-таки рассказать про упомянутый kqueue. По-моему, технология стоящая, хоть и только для *BSD.
0

А учитывая, что "только *BSD" не где-то там у гуру, а, внезапно, под капотом мака — то и весьма актуально.

+2

Много чего. Там вообще смесь bsd и порой проприетарщины.
Весь мэйнстрим направлен на то, чтобы кодить под гуй на новомодных языках под новомодные фреймворки (причём эта самая мода имеет свойство очень быстро меняться).
Слой "тихой гавани" posix есть, но иногда внезапно натыкаешься на что-то нереализованное или реализованное криво.


По поводу kqueue есть годный пост от Игоря Сысоева; он старый, но до сих пор весьма актуален. http://www.opennet.ru/base/dev/kqueue_vs_epoll.txt.html

+4

Сперва кажется, что это перевод. Например, фраза "с помощью вызова calling epoll_create".


Ещё можно было упомянуть как ограничение select() — ограничение на максимальный номер сокета. Когда соединений немного, но при этом сокеты имеют номера >1000. И тут он, внезапно, совершенно бесполезен, покуда FD_SET — битовое поле статического размера.
А под windows внезапно можно любые номера. Но при этом самих сокетов так же немного (точно не помню; 64 кажется).
А ещё можно упомянуть хорошее практическое применение select() с пустыми сетами как кросс-платформенного и относительно точного таймера.


poll внезапно хорош, когда нужно подождать фиксированное время один какой-то сокет (независимо от номера). Да, можно и epoll (угу, создавать и инициализировать целую ядерную структуру ради того, чтоб подождать, не прилетело ли в мой сокет что-то за последующие пару мс — ага, можно. Но зачем?). Можно их все сложить в один epoll и опрашивать централизованно — но это тоже слишком всё усложняет. А вот вызвать для него poll с массивом из единственного элемента, внезапно и систему особо не нагружает пинг-понгом из юзерспейса в ядро (помним же, после фиксов meltdown это внезапно стало БОЛЕЕ дорогой операцией!), и работает прямо на месте без всяких вспомогательных механизмов.


epoll с одной стороны да, подразумевает больше системных вызовов. Но конкретные числа лучше для конкретных приложений определять бенчем на типовой нагрузке. Особенно, где на сокет нагрузка всего в один-два пакета (подконнектился, опросил, выплюнул ответ, отключился). Особенно учитывая, что для неблокирующих сокетов можно вообще просто попробовать написать/прочитать без всякого опроса.


Ну и libevent — да, круто. Но всё ж сперва бы таки остальные фундаментальные "кирпичики" рассмотреть? kqueue, вон, весьма рулит! В отличие от epoll события можно добавлять сразу целым пакетом. И добавлять, одновременно опрашивая их и уже имеющиеся в сете — единственным системным вызовом. И запись/чтение — это два разных события (значит, не нужно ничего менять по ходу протокола; нужно просто отключить ненужные направления).
Или iocp под виндой. Там же совсем другой концепт! Он не ждёт "чего-нибудь на сокете", а лишь завершения конкретных ранее вызванных асинхронных операций записи/чтения. И при этом ждать может сразу в несколько потоков (без всяких особых приготовлений к этому). И обработку конкретных сокетов "привязывает" к конкретным ядрам, чтоб данные между ними не дрейфовали туда-сюда.
А libevent — да, всего лишь прокси поверх всего этого. Можно было даже в заголовок не выносить; по ней можно либо отдельную статью (покуда существующие грешат тем, что упираются в её возможности по работе с http, как-то опуская базовые возможности поллера)

0
Сперва кажется, что это перевод.

Наверное, потому, что так и есть :) Исправлено.
0
А под windows внезапно можно любые номера. Но при этом самих сокетов так же немного (точно не помню; 64 кажется).

Там как раз работает переопределение FD_SETSIZE.
+2
// будем выбирать из очереди событий по 20 событий за раз
struct epoll_event pevents[ 20 ];

// Ждём 10 секунд
int ready = epoll_wait( pollingfd, pevents, 20, 10000 );


Вот и поди догадайся без комментария что это не 10 секунд, а 10000 миллисекунд. И что за 20 перед этим тоже не понятно — те же двадцать событий или какие-то другие 20.

// будем выбирать из очереди событий по 20 событий за раз
const unsigned EVENT_COUNT = 20; // количество обрабатываемых событий
const int TIME_WAIT_MS = 10000;  // время ожидания
struct epoll_event pevents[EVENT_COUNT];
int ready = epoll_wait( pollingfd, pevents, EVENT_COUNT, TIME_WAIT_MS );

Понятнее же
+1
В чём отличие этого поста, от любой книжки программирования под линукс?
+7

Тем что он хуже. Внезапно :


  1. В рамках linux select и poll, используют один и тот же syscall poll, точнее даже select это обертка для poll сделанная для совместимости. Почему-то этот факт не упомянут.
  2. Нет никакой информации о pselect и ppoll, наверное они таки для чего-то нужны.
  3. с epoll совсем плохо:
    • из статьи никак не следует, что epoll лучше, основное отличие не упомянуто (edge-triggered EPOLLET)
    • не упомянут EPOLLONESHOT
    • нет информации о thundering herd problem и флага EPOLLEXCLUSIVE

В общем лучше прочитать официальную страницу man'a http://man7.org/linux/man-pages/man7/epoll.7.html

+1
По-моему — это дивиз Хабра.
Как правило в коментариях найдешь больше информации чем статье :-)
0
правильнее сказать «внутри ядра используется общий механизм», что, в общем-то, неудивительно
0
glibc при чём в том плане, что 99% инсталляций linux на компьютере используют именно её — соответсвенно от реализации select в glibc зависит то, какой syscall будет дёргаться.
0
> Нет никакой информации о pselect и ppoll, наверное они таки для чего-то нужны.

В событийном цикле в современных системах — обычно нет, сигналы проще слушать — и это очень часто делают — через signalfd, подключенный к тому же epoll-директору.
Вот до появления signalfd надо было, да, крутиться вокруг атомарной установки маски сигналов.

> из статьи никак не следует, что epoll лучше

Основное отличие как раз упомянуто — что там, где select или poll на каждый вызов производят работу по подключению и отключению наблюдений за объектами, в epoll это постоянно установлено.

Edge triggered — вкусное свойство, но основным я бы его никак не назвал. Не все циклы событий работают так, что он им подходит. Даже EPOLLONESHOT как-то полезнее — он лучше укладывается, например, на логику Boost.ASIO — где после чтения/записи нужно явно «пнуть» канал, чтобы вызвало следующую операцию, но не предполагается при этом тут же пытаться догонять хвосты, пока не откажет по EAGAIN.

EPOLLEXCLUSIVE — сценарии, где он нужен, как-то сильно специфичен — на ум приходит только подход Apache, где у него пул процессов одновременно садится в accept(), и одному достаётся соединение. Но насколько это частое использование? С нитями вместо процессов внутренняя передача предельно дешёвая и эти странные методы просто не нужны…
0
Edge triggered — вкусное свойство, но основным я бы его никак не назвал.

Оно не «вкусное», EPOLLET + EPOLLONESHOT основное для ядра версии до 4.5. Иначе на многопоточном приложении будут проблемы со starvation и thundering herd.

EPOLLEXCLUSIVE — сценарии, где он нужен, как-то сильно специфичен


А вот это неправда, он как раз лечит выше перечисленное.

Так что не разобрать эти вещи если мы говорим о

проектировании высокопроизводительных сетевых приложения с неблокирующими сокетами

(заметьте не я это сказал)

непростительно.

0
> Иначе на многопоточном приложении будут проблемы со starvation и thundering herd.

«На многопоточном приложении», в котором несколько тредов постоянно дерутся за работу с одним и тем же сокетом? Или вы чего-то не договариваете, или это очень сомнительный дизайн.

> А вот это неправда, он как раз лечит выше перечисленное.

Как раз при такой драке за сокеты, и не нужен, если её нет.
0
«Вы либо крест снимите или трусы оденьте».

Мы говорим о «высоко производительном сетевом приложении» или так поиграться?

Если так просто поиграться то я конечно ерунду написал, это никому не надо. Проще просто взять poll/select и поделить дескрипторы между потоками. А accept в одном потоке.

В догонку lwn.net/Articles/542629
0
> Мы говорим о «высоко производительном сетевом приложении» или так поиграться?

Мы говорим о высокопроизводительном сетевом приложении. Именно поэтому я считаю, что варианты типа «сделаем, чтобы любой тред выхватывал готовность» как минимум требуют обоснования конкретной областью применения.
И, пожалуйста, поменьше неконструктивных дискуссионных приёмов.

> В догонку lwn.net/Articles/542629

То есть речь таки только о приёме нового соединения, как и сказал. Понятно, но это никак не все случаи «высокопроизводительных сетевых приложений».
0
Тогда позвольте вопрос, а в чем собственно преимущество epoll по вашему мнению тогда? Только в том что можно добавить больше fd?
0
«Больше fd» в каком смысле?
Если просто по их количеству для корректного вызова, то нет такого преимущества по сравнению как минимум с poll().
Если по выдерживаемой нагрузке для типового приложения — да, именно так. Источники экономии общеизвестны. Есть, конечно, и неоднозначности тут (где-то была статья, что если одновременно более ~40% дескрипторов готовы, то poll выгоднее), но в целом картина смотрит именно в эту сторону.
И это уже универсальные факторы, а не зависящие от специфической модели применённого event engine, характера нагрузки (короткие соединения или долгоживущие) и так далее.
Вполне возможно, будет следующая статья, раскрывающая уже эти особенности.
-1
Вы не ответили на вопрос о преимуществах epoll по вашему мнению.
-1
Прежде всего в том, что (амортизированные) накладные расходы не растут с ростом числа сокетов, в отличии от select или poll.
0
Про это я как раз написал,
Только в том что можно добавить больше fd?


В сопроводительном письме к патчу с epoll очень подробно все описано про это.
Я спрашивал про фундаментальные проблемы select/poll в multithreading, и как они решены в epoll.

И почему кстати обязательно сокетов это не только к сокетам относиться.
-1
Так для малого числа сокетов никакой многопоточности и не нужно. По крайней мере, в сетевой части.
0
И мы опять возвращаемся к вопросу «а зачем тогда epoll и чем он лучше?».

Никто epoll'ом пользоваться не заставляет. Но тогда из такой статьи следует — мало fd пользуемся poll/select — много fd пользуемся epoll и все. Добавим к этому, что epoll уникален для linux kernel, и весь смысл пользоваться epoll пропадает — разве не так?
-1
Я вас не понимаю. Как смысл его использования может пропасть когда он — единственное нормальное решение при большом количестве fd?
0
Вы просто читаете мои комментарии наполовину.
Ваши собственные комментарии:
Так для малого числа сокетов никакой многопоточности и не нужно. По крайней мере, в сетевой части.

Как смысл его использования может пропасть когда он — единственное нормальное решение при большом количестве fd?


А теперь вопрос — при большом количестве fd — может быть таки пригодилась бы многопоточность?
0
Вот! Наконец консенсус.

epoll именно этим и отличается, что позволяет реализовать многопоточный accept, чтение дескрипторов более простым способом и с более лучшей балансировкой.

И как раз в этом состоит роль его особенностей в виде EPOLLET, EPOLLONESHOT, EPOLLEXCLUSIVE (и не только кстати). Что я собственно и пытался донести.

И много усилий было сделано после написание данной статьи (2014 год если кто не заметил).

Данная статья epoll просто не раскрывает.

И более того на момент появления он обладал теми же недостатками, что и poll/select.
-1
Но почему многопоточная работа с сокетами — это всегда многопоточный accept?
0
Во-первых почему нет, почему если я пишу многопоточное приложение у меня accept должен происходить только в одном месте?

Во-вторых, а чтение/запись, а sigfd — я должен писать разный код для разных потоков?

И, честно говоря, теперь уже я вас не понимаю, если вам это не нужно и вы не сталкивались с необходимостью — это не ведь не значит, что не нужно никому?
0
Просто без многопоточного accept можно написать высоконагруженное приложение, а с ограничением на количество сокетов — нет.

А значит, какой бы замечательной ни была фича которая позволяет делать многопоточный accept — основной она точно не является.
0
А вы умеете полностью комментарии читать?

Фича не в многопоточном accept, для которого еще кстати нужно кое-что сделать.

Фича в простой баллансировке обработки событий между потоками.

Вы поняли из данной статьи, как это можно сделать с помощью epoll?
Хотя бы многопоточный accept сможете сделать на основе данной статьи?
0
> Фича в простой баллансировке обработки событий между потоками.

Вы можете хотя бы в общих словах описать задачи, где это идёт на пользу?

Я до сих пор сталкивался только с такими, где контекст слишком тяжёлый, чтобы его можно свободно гонять между нитями (подразумевается, на разных ядрах) на каждую мелкую порцию данных, и ваш подход там пошёл бы только во вред.
0
У maquefel@ не только accept. Он подразумевает существенную пользу от того, что будет, например, на поступление чего-то по TCP каналу реагировать из первой попавшейся нити, которой достался этот факт поступления, минимально тревожа остальные, и заложил это в основу всей позиции, которую доказывает тут.

И вот именно это показывает специфику его задач. Я ни разу ещё не сталкивался с задачей, где бы контекст работы был настолько маленьким, а оперативность реакции — настолько важной, чтобы оправдать затраты на перемещение данных между ядрами на каждый мельчайший чих. Минимальный контекст, который трогается задачей на один такой вызов, это несколько килобайт, обычно выше. Пока эти данные будут ползти между ядрами по шине синхронизации… позеленеть можно, но не дождаться.

(Интересно послушать, что же это за задачи у него.)

Поэтому я подобные подходы обычно рассматриваю в рамках какого-то диспетчера, который может перекидывать задачи между нитями, но пока хватает производительности — сохранять за той же нитью, ну и не допускать спора нескольких нитей за одну задачу.
0
Я предлагаю не разводить здесь простыню (уже очень неудобно читать стало). Я сейчас пишу статью (с вашей подачи кстати) — в чем я вижу отличия и особенности epoll.

Я вас туда приглашу и можем продолжить дисскусию там.
+1
Спасибо за статью. Я например программист PHP, но иногда приходится залезать в исходники apache, nginx (для понимания почему в логах какая-то ошибка). В целом, конечно, в будущем планирую выучить системное программирование c++ под Linux, но статья для меня отличная — простым и понятным языком разобраны основные (и практически используемые!) технологии работы с сокетами в Linux. Быстро просмотрел и сразу получил информацию (что значит select, почему технологий работы с сокетами несколько, какая самая последняя и т.д.) — все классно.
+2
Лучше прочитайте любую книжку по системному программированию — больше пользы.
+1
Вы не поняли суть комментария:
1. Я поблагодарил автора, сказал что мне понравилась статья.
2. Немного описал чем я занимаюсь (это для пункта 3).
3. С учетом пункта 2, я сказал что конкретно мне понравилось в статье и почему.
+2

Скорее это вы не поняли моего комментария. Всё что сказано в статье, более лаконично и точно изложено в любой книге. В том числе и ограничение на 1024 дескриптора

0
Давайте приложим в статью вашу бесплатную книгу по системному программированию Linux, где в 9,5 экранов будет более лаконично и точно рассказано про select, poll, epoll и libevent. Я думаю это будет полезно мне.

tango это кстати идея — брать бесплатные книги и переводить и из них тоже.
-1
И превратим хабр в мировую помойку. Вы, в силу своей не компетенции восхищаетесь статьёй, а я говорю, что эта статья скорее замусоривает ресурс, чем несёт реальную пользу.
+2
Статья несет не меньшую пользу чем статья «Программирование для Palm в 2017 году» и давайте не обсуждать вопрос что из этого является более или менее ненужным, а знаете почему мы с вами к этому пришли? Дали бы вы просто ссылку на книжку под моим комментарием — и вопросов бы не возникло.
+1
Из русского лучше чем: «Linux. Системное программирование» Роберт Лав, посоветовать не могу. Хотя книжек по теме очень много. Если тема будет актуально, скину список своей библиотеки, так сказать маст хев.

Там значительно короче и подробнее описано. Можно использовать, как справочник.

Вы бы ещё глубже капнули бы. Хабр в первую очередь развлекательный ресурс, а подобные статьи просто его замусоривают. Не неся конкретной пользы.
0
Бесплатно есть man. Его вполне достаточно.
А все таки лучше раскошелиться например на эту книгу, вложения окупятся.

man7.org/tlpi

Брать только на английском.
0

можно еще почитать/написать про IOCP и Registered I/O в Windows (последнее в Win8+/2012+)

0
А также про WSAAsyncSelect (своеобразная хрень, посылающая сообщения о завершении тех или иных асинхронных операций прямо в основную очередь сообщений). Доступна с Win2000.
0
Интересуемшися данной темой рекомендую pod.tst.eu/http://cvs.schmorp.de/libev/ev.pod, автор другой популярной обертки. Там он весьма нелестно проходится по всем реализациям во всех ОС, интересно, исправлено ли хоть что-то с тех пор.
0
В статье не упомянут еще один способ асинхронного io — сигналы и реалтайм сигналы. Кто-нибудь знает чем они хуже epoll?
0

Если речь про posix signal() — то, емнип, он не потокобезопасен. То есть предназначен максимум, чтобы просемафорить программе

0
Речь о realtime сигналах (sig >= SIGRTMIN) путем установки:
fcntl(fd, F_SETSIG, sig)
для дескриптора
и последующем получении информации об I/O событиях через sigwaitinfo()/sigtimedwait()
Здесь как раз отсутствуют проблемы poll()/select() выраженные в квадратичной сложности от количества сокетов. А realtime сигналы избавлены от проблем обычных сигналов.
В свое время (10 лет назад) реализовывал на этом сервер. Все работало без проблем.
0
Вполне безопасен, но требует достаточно ручной работы по расстановке масок сигналов по нитям — настолько, что проще блокировать всё везде, кроме специально отведённых для этого нитей.

Но вот сама ситуация, когда тебя прерывают в произвольном месте кода, чтобы в очень ограниченном по возможностям контексте что-то сделать — просто неудобна. Самое практичное, что может сделать обработчик сигнала в долговременно работающей программе — поставить пару флагов типа sig_atomic_t и выйти. Даже longjmp() уже сомнителен, ибо нет гарантии, что подружится с, например, RAII и исключениями С++. Тогда зачем, если через signalfd можно просто узнать приход сигнала в основном цикле?
И зачем это делать, если через epoll c компанией можно узнать о готовности объекта по дескриптору — напрямую, а не через промежуточный механизм посылки сигнала?
+2
Вторая причина более экзотична и имеет отношению к тому факту, что select может (теоретически) работать с таймаутами порядка одной наносекунды (если позволит аппаратная часть), в то время как и poll и epoll поддерживают лишь миллисекундную точность

неправда же, микросекунды (10^-6) и миллисекунды (10^-3) соотвественно.

Максимальное количество одновременно наблюдаемых дескрипторов ограниченно константой FD_SETSIZE, которая в линуксе жестко равна 1024

на самом деле ограничение более жёсткое: нельзя использовать select с файловыми дескрипторами, у которых номер больше FD_SETSIZE (благо, ядро повторно использует номера fd, так что обычно это не является проблемой)

Он спроектирован намного лучше и не страдает от большинства недостатков метода select.

по большому счёту он решает только проблему отслеживания кучи файловых дескрипторов, но решает её неудачно (объём передаваемых данных из/в userspace только вырос, линейный обход списка дескрипторов вынуждено присутствует и в ядре, и в userspace).

честно скажу — я использую select, и не стыжусь этого. мне он банально привычнее, при этом я не вижу существенных преимуществ poll.
0
Но всё же в мире есть системы реального времени, имеющие такие таймеры.


Вот была у меня проблема в QNX 6.3: «если в функции select указать в структуре времени ожидания нули (вообще не ждать), то минут через 50 загрузка процессора возрастёт до 100%. Но если задать, скажем, 1 мкс, то всё работает как часы. Конечно, время ожидания на select в худшем случае будет с пару-тройку системных тиков, но тик у меня 0.1 мс, так что приемлимо. „
+1

Эту бы статью да лет 20 назад. И конечно poll вместо select очень помог.

Only those users with full accounts are able to leave comments., please.