Комментарии 44

Помню как переизобрёл алгоритм Кахана :)
Тот случай когда лучше было бы это знать заранее, не не вышло.

Что я запомнил:
— складывать даблы можно, если точность в каком то там знаке после запятой не важна
— если важна, есть готовые алгоритмы

Спасибо, почитать было интересно, особенно то, что алгоритмы в целом простые и логичные, при этом дают довольно качественный результат =)
Много воды. Не знай я до прочтения этих двух статей алгоритм Кэхэна – даже первую бы не прочитал, пожав плечами – «чего автору надо?».
Навскидку, в двух статьях материала на половину от одной, если сильно не ужимать.

ЗЫ: За «Rump–Ogita–Oishi» спасибо, про него не знал.

ЗЫ2: В принципе, можно эти алгоритмы рассматривать как обобщение сложения в столбик для случая, когда каждая цифра – double (только из-за специфики floating point перенос идёт в противоположном направлении, ну и вычисляем его с помощью трюка с вычитанием). Тут перешли от «одноразрядного» калькулятора к «двухразрядному» (удвоив количество значащих бит). Я ожидал увидеть переход к произвольной «разрядности» – с гарантированной точностью результата.
Можно было бы точный результат посчитать, домножив все числа на 2^-e_min (e_min – порядок самого маленького по модулю числа) ив длинные целые, но на FPU интереснее построить цепочку «погрешностей» для алгоритма типа Кэхэна.
Я ожидал увидеть переход к произвольной «разрядности» – с гарантированной точностью результата

Не было такой цели, но если бы она была, то я бы начал с модификации алгоритма Rump–Ogita–Oishi. Там где 2 double, точно также делается и 3 и так далее. Но задача была всё-таки как можно быстрее победить обычную наивную сумму.


Много воды.

Каждому своё. Мне не так просто отыскать правильный баланс между сухой научной работой и обучающим материалом. Беру что-то среднее, что примерно в 10 раз короче, чем тот максимальный размах, с которого я вообще начинаю планирование статьи. Я работал в вузе 11 лет и хорошо представляю себе в чём нуждается большинство из тех людей, которых я представляю себе в качестве читателей. Для остальных чтение подобных статей может быть только таким: берём список источников, и не читая мою статью сразу погружаемся в их содержание, не теряя на меня больше ни минуты. Всё, никаких проблем не вижу :), и даже не нужно тратить время на объяснение того, что субъективно не понравилось, потому что ясно же, что всем не угодишь.

Если можете «завалить» алгоритм, прошу показать тест в комментариях

Симплекс метод «в лоб» на размере в несколько тысяч ограничений и переменных. Как только количество итераций переваливает за несколько сотен, накопленная ошибка округления приводит к «не сходимости» алгоритма.

Это не то. Нужен конкретный тест суммы чисел, а не более сложных операций. Именно конкретный тест, а не слова.

Ну тут либо в тест загнать именно симплекс метод, либо составить последовательность конкретных операций над конкретными значениями.
Но в жизни ведь использовать нужно не «синтетические» тесты, а прикладные задачи. Если алгоритм хорош в тестах, но бесполезен в прикладных задачах…

Я многое делал, но у меня не получилось добиться ошибки. Поэтому я сразу и говорю: либо покажите, пожалуйста, как вы это сделали, либо, если нет примера, ничего говорить не нужно. Зачем тратить своё и чужое время?

Ну, не скажу за симплекс-метод, но как добиться – довольно-таки понятно: нужно сделать так, чтобы точная сумма в процессе вычислений была непредставима в виде суммы двух double (минимум трёх). Необходимое (но не достаточное) условие – промежуточная сумма должна иметь более 53*2 значащих бит мантиссы. Причём чтобы выявить эту погрешность после вычисления – старшие значащие биты должны уйти.

Т.е. навскидку что-то вроде 1e34 + 1e17 + 1 — 1e34 — 1e17.
Сортировка по убыванию модуля, конечно, исправит ситуацию в данном случае, да и вообще пример искусственный.

Да, верно! Благодарю :) Ошибка алгоритма 3 составила 4503599627370496ulp (52 бита). Однако если числа отсортировать, то алгоритм 3 работает правильно (как по возрастанию, так и по убыванию). Теперь нужно найти именно бытовой тест, чтобы алгоритм перестал работать. Такого я найти не смог.

Ну, более сотни бит мантиссы, 33 значащих цифры – тут непросто упереться в недостаток знаков :-)

Навскидку в реальных задачах проблемы точности вычислений (не при суммировании, при более сложных операциях) возникают, когда работаешь с плохо обусловленными матрицами. Например, расчёт течения почти несжимаемой жидкости.
Да банальное решение СЛАУ или обращение матрицы методом Гаусса – уже лажает. Но есть другие методы обращения матриц.
Наверняка можно довести задачу до такого состояния, что не только точности double, но и удвоенной точности (как обеспечивают алгоритмы, про которые вы писали) не хватит.
Да, кстати, насчёт «не хватает длины двух double для представления результата»: если заглянуть в английскую вики про алгоритм Кэхэна – можно увидеть там его обобщение на три double. А где три – там и четыре, и пять…
en.wikipedia.org/wiki/Kahan_summation_algorithm#Further_enhancements

Да, благодарю. Вообще ведь очевидно, что в алгоритме Rump–Ogita–Oishi эти погрешности, которые складываются отдельно, можно также складывать этим же алгоритмом, сразу получая 3 double. Вообще нетрудно собрать целый каскад. Получаем аналог длинной арифметики, в которой метод two_sum как будто играет роль переноса, как это делается при сложении длинных целых чисел. Там мы тоже ведь разбиваем сумму на две части: сумма по модулю 2**64-1 и перенос.

Угу, только перенос в противоположную сторону идёт, забавно.
BTW, Rump-Ogita-Oishi, я так полагаю, разработан только для того, чтобы избежать ветвлений в «improved Kahan–Babuška algorithm», так-то они должны давать строго одинаковые результаты.

Конечно, эффективней вместо Кэхэна и т.п. было бы просто использовать длинную мантиссу, но FPU такого не умеет.
Конечно, эффективней вместо Кэхэна и т.п. было бы просто использовать длинную мантиссу, но FPU такого не умеет.

Именно так, поэтому я и намекнул в статье, что для ускорения можно попробовать смотреть на исходные числа глубже, то есть как на битовые последовательности. Это позволит взять, например, два целых числа int64 и по полной программе использовать 127-11=116 битов под мантиссу. Это будет даже точнее чем double-double. Но говорить об этом прямо в данной статье я не решился. Потому что у меня был опыт ручной обработки double, когда я решил вместо медленных операций с плавающей запятой перейти к арифметике с фиксированной запятой на целых числах, там как раз было очень удобно, что все экспоненты в моей задаче были равны и по сути можно было избавиться от сдвигов. И вот, возомнив себя самым умным, я получил замедление программы в 8 раз. Точно также однажды решил заменить умножение и сложение на fma, и получил замедление в 4 раза. Тогда я понял, что нельзя просто так предполагать, что хорошо понимаешь как что будет работать с этой плавающей арифметикой, нужны масштабные исследования. И по этой же причине я не стал сравнивать предложенные здесь алгоритмы по скорости.

Спасибо! Очень полезная статья. Хотел уточнить есть ли и может ли быть алгоритм, который сработал бы, не хуже описанных, но с опциями компилятора типа --ffast-math?

Можно поиграться с compiler barriers, чтобы результат каждого шага вычисления всегда выгружался в память.
Если речь идёт о реальном применении (библиотека для вычислений повышенной точности), а не просто поиграться – то глобально убирать --ffast-math нежелательно. Можно локально – через #pragma или __attribute__ (надо читать доки к своему компилятору)
Спасибо, автор. Тема злободневная.

Недавно делал, казалось бы, простую вещь. Брал 1000 результатов измерений на микроконтроллере (float) и пытался найти их среднее и дисперсию.

Со средним более-менее получилось, а вот дисперсия (на основе вычисления суммы квадратов) — с треском провалилась ввиду полной потери точности. Иногда получалась отрицательной! Выяснил, что проблема в алгоритме сложения. Тоже начал искать и нашёл алгоритм Кэхена, а вот за Rump-Ogita-Oishi отдельное спасибо.

Микроконтроллер с FPU одинарной точности, так что там материал статьи тем более актуален.
Забавно, получается при переносе данных из аналогового мира в цифровой, не стоит сразу думать, что проблемы с точностью автоматически решены:)

Ещё большой плюс этих алгоритмов — они подходят для потоковых данных, когда чтение числа необратимо удаляет его из буфера.


Для массивов есть ещё вариант "дёшево и сердито", как сделано в языке Julia для суммирования по умолчанию — рекуррентное деление пополам, если длина стала 32 или меньше — наивное суммирование. Точность при этом обычно выше, чем просто при наивном последовательном суммировании, но при этом вычисления хорошо векторизуются, и по сравнению с последовательным суммированием точность практически не страдает.

Спасибо за статью!

Не вполне понятна ситуация с сортировкой элементов перед суммированием, если такая возможность есть. Насколько это ухудшает/улучшает результат? Из вашей статьи кажется, что от этого больше вреда чем пользы, но это как-то противоречит моей интуиции, ведь если идти от меньших экспонет к большим, у нас есть шанс спастись от катастрофических округлений, например в случае с экспоненциальным распределением.

Как обстоят дела с сортировкой, если все значения одинакового знака? Можно ли считать что в таком случае сортировка точно не ухудшает результат? Если складывать отдельно положительные и отрицательные значения, но предварительно отсортировав их, ситуация лучше?

Ну и последний, практический вопрос: я правильно понимаю, что все приведенные алгоритмы не лучше простого перехода к арифметике с более высокой точностью? Скажем, если сравнивать приведенные алгориты на float против использования double в качестве аккамулятора.

Конечно, я не мог опубликовать все таблицы, которые получил у себя, и может быть что-то не видно, но отчасти поэтому я и предложил читателям самостоятельно провести необходимые исследования. Потому что верить мне — это оказать себе медвежью услугу. Но если вам так нужно моё субъективное мнение, то вот оно...


Насколько это ухудшает/улучшает результат?

Не знаю, всегда по-разному. Может в два раза, может в 3, а может и не получиться разницы. Проверьте сами и убедитесь, пожалуйста. На экспоненциальных тестах сортировка по возрастанию обычно именно спасает (в два раза), а по убыванию — портит (тоже в два раза). На равномерных — зависит от экспоненты. Поэтому я лично не могу подобрать однозначной рекомендации. Интуиция тут не работает. Например, когда речь идёт о равномерном распределении на интервале [1,2), то вы при использовании интуиции вряд ли учли тот факт, что уже после первого действия сумма S становится наверняка больше любого из слагаемых. После второго — совсем больше и дальше остальные тысячи элементов уже складываются с большой погрешностью. При этом в случае хаотичного порядка получается то же самое! Иными словами, при одинаковом знаке сортировка по возрастанию имеет смысл только когда числа очень разные, с разными экспонентами. Когда экспоненты одинаковые — сортировать может быть вредно. Это мой субъективный вывод.


Как обстоят дела с сортировкой, если все значения одинакового знака? Можно ли считать что в таком случае сортировка точно не ухудшает результат?

Скорее всего, да, но только если экспоненты очень разные.


Если складывать отдельно положительные и отрицательные значения, но предварительно отсортировав их, ситуация лучше?

Ответ на этот вопрос есть в одной из таблиц.


Ну и последний, практический вопрос: я правильно понимаю, что все приведенные алгоритмы не лучше простого перехода к арифметике с более высокой точностью?

С точки зрения точности да, но только при условии, что вы затем не возвращаетесь обратно к арифметике с более низкой точностью, так как в этом случае вы рискуете получить ошибку двойного округления. То есть результат применения алгоритма 3 и прямолинейного применения float128 может дать разбежку в 1 бит из-за того, что вы должны будете выполнить дополнительное действие float128 → double. Но это вряд ли будет происходить на бытовых задачах. Особенно если учесть, что float128 имеет 112 битов против 104 у double-double.


Теперь что касается ваших слов не лучше. Что значит не лучше? У вас есть аппаратный float128? Если нет, то может быть есть хороший программный, который будет быстрее double-double? Я сомневаюсь, хотя экспериментов не проводил. Поэтому не знаю, что действительно будет лучше. А если модифицировать алгоритм 3 немного и складывать хвостики этим же алгоритмом, мы получим double-double-double. И вообще можем создать любой каскад по принципу того, как создаётся длинная арифметика с целыми числами. Поэтому опять я не понимаю, что значит не лучше. Я давно убедился, что в профессиональной сфере нельзя сравнивать различные технологии по правилу лучше / не лучше. Каждая технология предназначена для сугубо своей задачи. Для конкретной задачи ДА, она может быть лучше или хуже. Сама по себе она лучше или хуже быть не может в принципе. Такой вот у меня ответ получился :)


Но повторюсь, лучше вы эти (или другие) ответы получите сами, проверив всё на своей практике. Это будет куда продуктивнее.

Когда экспоненты одинаковые — сортировать может быть вредно. Это мой субъективный вывод.

Вряд ли именно вредно, скорее просто бесполезно.


С точки зрения точности да, но только при условии, что вы затем не возвращаетесь обратно к арифметике с более низкой точностью, так как в этом случае вы рискуете получить ошибку двойного округления.

Вы так пишете как будто алгоритм Кэхена два раза не округляет!

Да, можно и так сказать, но я подразумевал ещё потерю времени на сортировку или на искусственное создание заведомо отсортированного порядка на входе в алгоритм.

Вы так пишете как будто алгоритм Кэхена два раза не округляет!

Нет, он округляет гораздо большее число раз, но в других позициях. По этой причине результат может не совпасть с тем, который будет получен иным способом. Автор вопроса, на который я отвечаю, предполагает:


все приведенные алгоритмы не лучше простого перехода к арифметике с более высокой точностью

Я отвечаю, что мы не знаем, что будет лучше, но, вероятно, ответы будут разными. Какой из них точнее — неизвестно.

Ну так точного совпадения результатов никто и не ждёт же (хотя у меня есть ощущение, что аккуратно подобрав разрядность и режимы округления в теории можно и его добиться), вопрос лишь в оценке полученной погрешности.


Какой из них точнее — неизвестно.

Иными словами, можно использовать любой способ, делая выбор исходя из быстродействия или простоты реализации. А ваш ответ выглядит так, как будто float128 хуже двух double, хотя вы сами же и пишете что у float128 разрядов мантиссы больше.

А ваш ответ выглядит так, как будто float128 хуже двух double, хотя вы сами же и пишете что у float128 разрядов мантиссы больше.

Может быть и хуже, потому если float128 не аппаратный, то будет работать медленно. Ведь важна не только точность, но приличная скорость. И второе, чем double лучше, так это тем, что из него можно сделать 3-double, а из float128 нельзя. То есть в зависимости от решаемой задачи мы можем сказать, что лучше. А автор вопроса, на который я отвечал, просит дать ответ безотносительно решаемой задачи. А это всегда будет приводить к неопределённым ответам, и, следовательно, к неопределённым замечаниям к этим неопределённым ответам. И так далее. В итоге получится, что правы все, но каждый — по-своему.

Извините, но вот этот фрагмент не выглядит как сравнение по скорости:


С точки зрения точности да, но только при условии, что вы затем не возвращаетесь обратно к арифметике с более низкой точностью, так как в этом случае вы рискуете получить ошибку двойного округления. То есть результат применения алгоритма 3 и прямолинейного применения float128 может дать разбежку в 1 бит из-за того, что вы должны будете выполнить дополнительное действие float128 → double.

Он выглядит так, как будто float128 менее точен, чем два double, хотя следующим же предложением вы пишете что это не так.


Кстати, исходный вопрос был не о сравнении float128 против двух double, а о сравнении double против двух float.

Здесь всё зависит от субъективного восприятия информации. Если я говорю о возможной погрешности в одном случае и умалчиваю о ней же в другом, то это не значит, что её там нет. Это значит что я о ней не сказал. Разумный читатель сможет подумать и сделать нужные ему выводы, в частности, вот вы же сделали — и хорошо.


Кстати, исходный вопрос был не о сравнении float128 против двух double, а о сравнении double против двух float.

Не совсем. Автор задаёт вопрос вот так:


я правильно понимаю, что все приведенные алгоритмы не лучше простого перехода к арифметике с более высокой точностью?

А уже потом приводит пример (орфография сохранена):


Скажем, если сравнивать приведенные алгориты на float против использования double в качестве аккамулятора.

На вопрос я ответил так, как посчитал нужным, предупредив об этом заранее. На пример я не посчитал нужным отвечать, автор вопроса в состоянии сделать это самостоятельно. Вся информация для этого у него имеется, а моё время в этом случае дороже.

Этот алгоритм проще было бы показать на числах float, а точный результат посчитать с помощью double. Еще суммирование таких чисел зависит от порядка их следования. Так что если не отсортировать, то точность не будет идеальной. После первой статьи я написал пару тестов на своем процессоре и случайно обнаружил, что «старое» суммирование, но с SIMD подходом, дало лучший результат чем алгоритм Кахана. Просто порядок следования чисел был для SIMD удачнее :)

Ни в коем случае точный результат с помощью double получить нельзя. Потому что разбежка у float по экспоненте может составлять более 250 битов, а double удержит только 52 из них. По поводу порядка я уже написал комментарий другому читателю.

Вы говорите про общий случай. Но для своего теста мне был удобнее именно такой подход. Спасибо за ссылку о сортировке, а то я еще не дочитал, но уже пишу :)
Планирует ли автор писать продолжение про умножение, деление, извлечение квадратного корня и прочих функций повышенной точности?

К сожалению, моя жизненная позиция запрещает обсуждать планы на будущее и отвечать на подобные вопросы. В конце статьи сказано, что от интереса читателей зависит, напишу ли я здесь про скалярное произведение и вычисление полиномов. Про остальное — не могу сказать.

В таком случае всем заинтересованным рекомендую статью Library for Double-Double and Quad-Double Arithmetic, которая намного более полно и в то же время кратко освещает данный вопрос. Реализацию этих алгоритмов можно найти здесь (qd-2.3.22.tar.gz) — не только сложения, но и умножения/деления с элементарными функциями. Для C# реализации этих алгоритмов есть в библиотеке metanumerics — правда, функции там пока ещё не все реализованы.

Благодарю, вот это действительно конструктивный подход, вместо ожиданий какого-то чуда от заурядного автора на Хабре :)

Хотелось бы продолжениие статьи, особенно про скаляроное произведение и умножение. Это ж вся цифровая фильтрация.

Вы возлагаете на меня слишком большие надежды. Я пишу научно-популярный текст, цель которого — положить начало знакомства читателей с обсуждаемой темой. Никоим образом я не хочу чтобы эти материалы именно в таком поверхностном виде ложились бы в основу чьей-то серьёзной работы. Я делаю здесь именно школу, а не науку, показываю верхушку айсберга того, что уже описано в научной литературе, но по какой-то причине плохо описано в литературе популярной. Поэтому если вас интересует судьба всей цифровой фильтрации, то лучше сразу покупать книгу [1], затем те статьи, на которые ссылаются её авторы при обсуждении интересующих вас алгоритмов. Другого пути, увы, нет. Напрасно думать, что моя статья на Хабре может дать хотя бы тысячную долю того знания, которое реально требуется для ответственных проектов. А вся цифровая фильтрация, согласитесь, — это сложная и ответственная область.

Ещё такая мысль возникла: а если всегда складывать два самых маленьких числа из имеющихся и заменять их на сумму (кажется, квадратичного времени работы можно избежать с помощью алгоритма heapsort), как это повлияет на точность?

Этот алгоритм описан в книге [1], можете сами прочитать. Погрешность в этом случае будет не больше чем значение ulp умножить на сумму всех тех частичных сумм, которые вы будете получать по ходу работы алгоритма. Это довольно плохая теоретическая оценка. А что будет на практике — попробуйте сами.

heapsort — довольно дорогой вариант, проще воспользоваться алгоритмом "двух очередей": первая очередь — это суммируемый массив, сортированный по возрастанию. Во второй очереди будут частичные суммы, тоже по возрастанию, но их сортировать не надо — они автоматически упорядоченными будут. Каждый раз как требуется очередное слагаемое — забираем его из той очереди где "голова" меньше.

Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.