Производительность C++ vs. Java vs. PHP vs. Python. Тест «в лоб»

А почему вы в одно сравнение вынесли тесты консольных приложений (c++ и java) и тесты под вэб, которые выполняются на вэб-сервере? По-моему их так сравнивать неуместно.

Спасибо, все просто и наглядно

Можно было бы и С# протестить.

Спасибо знал что C++ лучший :)

а почему оптимизация использовалась только для c++, а не для всех? я не говорю о том, что какой то язык при оптимизации может обогнать другой. просто было бы очень интересно на это глянуть.

Все-таки, неплохо было бы увидеть в тесте Perl и Ruby.

Это однопроходные тесты? Запустили-померяли и в таблицу?

почему в коде на Java делается операция вывода на экран, а после этого только замеряется время
System.out.println(«answer: » + r);
System.out.println(«run time (millis): » + (System.currentTimeMillis() — start));

Сравнил c++, mono, java на:

На моем C2D 1.86 тест на java выполняется за 8.1 сек, т.е. быстрее чем на P4-1.8.

По уму, код на питоне должне быть такой:

r = 0
i1 = range(0, 10000)

for i in i1:
  for j in i2:
    r = ...

print r

зачем 10000 раз генерить второй список (range)?

Время выполнения упало с 1.82 с при вашем варианте к 1.16 с при моём.

никаких привязок к качеству реализации тех или иных библиотек, никаких внешних сервисов, никаких системозависимых операций

А как насчет вывода на консоль? Все-таки операция я потоками (streams)…

Интересно посмотреть как в эту картину впишется код на пыхе с использованием range в цикле.

вы ещё к java добавте пару ключиков и прогоните этот тест раз 100 что бы java машина прогреласть

-server
-agressiveots
и тд

ОС: winxp sp3.
Язык: jscript.
Процессор: Intel Core 2 Quad CPU Q6600 2.40GHz.
Память: DDR3 4096 MBytes.
Проходов: 50.
Среднее время: 33634 мс.
Разброс: 33531 мс — 33703 мс.

Как сказал мой очень хороший друг — сравнивать так данные языки на равных несерьезно, т.к. одно написаны на другом.
Заодно он подкинул мне ссылку на более подробное сравнение языков, которой я бы, в свою очередь, хотел поделиться с Вами — http://shootout.alioth.debian.org/

model name: Intel® Core(TM)2 CPU 6300 @ 1.86GHz
gcc 4.3
real 0m1.586s
user 0m1.500s
sys 0m0.024s

gcj 4.3
real 0m7.114s
user 0m6.952s
sys 0m0.028s

java 1.6.0_14
real 0m7.500s
user 0m7.264s
sys 0m0.012s

java 1.6.0_14 server
real 0m0.116s
user 0m0.060s
sys 0m0.016s

python2.6
real 0m57.403s
user 0m55.363s
sys 0m0.272s

Я не удивлен тем что C++ сделал Java, на то он и сложней чтобы быстрей работал.

Но я совсем не ожидал, что PHP окажется быстрей Питона, на котором работает известный всем своей производительностью Джанго. Приятно удивлён.

Тем не менее, здесь результаты сравнения PHP и Python другие

shootout.alioth.debian.org/debian/benchmark.php?test=all&lang=php&lang2=python&box=1

В Питоне надо вставить весь код в функцию. В вашем варианте переменные записываются в массив globals(), что сильно влияет на результат. После таких изменений, код начал работать более, чем в полтора раза быстрее. Ну и range надо заменить на xrange, который и следует использовать в таких циклах. С Psyco, как описано выше в комментах, код будет работать еще быстрее.

def main():
    r = 0
    for i in xrange(0, 10000):
        for j in xrange(0, 10000):
            r = (r + (i * j) % 100) % 47

    print("answer: ", r)

main()

Кстати, код достаточно сильно не эквивалентен.
Например, время старта VM у java не учитывается, а у php/python — идёт в плюс.

Интереса ради — C#:

int r = 0;
DateTime before = DateTime.Now;
for (int i = 0; i < 10000; i++)
{
   for (int j = 0; j < 10000; j++)
   {
      r = (r + (i * j) % 100) % 47;
   }
}
DateTime after = DateTime.Now;
Console.WriteLine(after.Second * 1000 + after.Millisecond -
                              before.Second * 1000 - before.Millisecond);

выполняется в среднем 3620 мс (Pen D 3200)
Если для r int заменить на long, время возрастает примерно в 1,7 раз

Графики лучше бы обновить после корректировок — не все ведь пост до конца читают.

Эээ, а почему бы не считать разницу в тиках от начала анализируемого кода, до его конца во всех языках, а не только в java?

>>answer: 39</>
соппсно, тест изначально составлен неверно — нужно, чтобы получалось 42

-module(test).
-export([start/0]).
start() -> lists:foldl(fun(I, R) -> lists:foldl(fun(J, R2) -> (R2 + (I * J) rem 100) rem 47 end, R, lists:seq(0, 10000)) end, 0, lists:seq(0, 10000)).

Eshell V5.7.2 (abort with ^G)
1> c(test).
{ok,test}
2> timer:tc(test, start, []).
{31674407,39}

31сек

Советую также опробовать вот эту реализацию питона:
code.google.com/p/unladen-swallow/

ебтыть, shootout.alioth.debian.org/ же есть!

$r = 0;
for my $i (0..9999) {
  for my $j (0..9999) {
$r = ($r + ($i * $j) % 100) % 47;
  }
}
print "answer: $r\n";

На языке Perl скорость увеличивается на 30%, предлагаю поправить скрипт для чистоты экперимента.
Также непонятно почему выбрана не самая последняя версия Perl 5.10.0
У меня скрипт выполнялся 27 секунд

Ruby-пример на моей системе (С2D 2.66) отработал за 21 секунду.

$ sudo nice -n -9 time ruby 1.rb
answer: 39
20.99 real 20.81 user 0.05 sys

Версия руби:

$ ruby -v
ruby 1.9.1p129 (2009-05-12 revision 23412) [i386-darwin9]

Я вас от всей души поздравляю, вы протестировали производительность арифметических выражений. Да ещё и на достаточно некачественных примерах кода. Не думаю, что это что-нибудь отражает в реальности.
P.S. shootout.alioth.debian.org

PHP кстати прогрессирует.
У меня под Windows версия 5.2.6 выполняла код 32 секунды, версия 5.2.10 — 28 секунд, 5.3.0 — 24 секунды.
Правда 5.2.6 и 5.2.10 были скомпилированы VC6, а 5.3.0 — VC9, может еще и этим разница объясняется.

Чес слово, как будто письками меритесь…

Я смотрю тут перловики со стажем :)
C-style тут не при чем, сейчас докажу :) Он конечно медленнее range, но не трагически.
Этот кусок перлкода можно ускорить раза в полтора, тупо объявив все переменные локальными.
Не забывайте use strict; Он конечно жрет часть памяти и производительности, но это стоит того, эти потери много меньше, чем от пропущенного my ;)
Ну и использование контексных переменный чуть-чуть ускоряет.
Про use integer уже сказали, его можно применять контекстно. Да и хак это такой же, как на Java вместо float использовать int ;)

#~ use strict;
use Benchmark;

Benchmark::timethese(1_000, {
'A' => sub {
#~ use integer;
$r = 0;
for ($i = 0; $i < 100; $i++) {
for ($j = 0; $j < 100; $j++) {
$r = ($r + ($i * $j) % 100) % 47;
}
}
},
'B' => sub {
#~ use integer;
my $r = 0;
for (my $i = 0; $i < 100; $i++) {
for (my $j = 0; $j < 100; $j++) {
$r = ($r + ($i * $j) % 100) % 47;
}
}
},
'C' => sub {
#~ use integer;
my $r = 0;
for my $i (0..99) {
for my $j (0..99) {
$r = ($r + ($i * $j) % 100) % 47;
}
}
},
'D' => sub {
#~ use integer;
my $r = 0;
for my $i (0..99) {
$r = ($r + ($i * $_) % 100) % 47 for 0..99;
}
},
});

>perl math.pl
Benchmark: timing 1000 iterations of A, B, C, D…
A: 5 wallclock secs ( 5.04 usr + 0.00 sys = 5.04 CPU) @ 198.49/s (n=1000)
B: 4 wallclock secs ( 3.82 usr + 0.00 sys = 3.82 CPU) @ 261.64/s (n=1000)
C: 4 wallclock secs ( 3.54 usr + 0.00 sys = 3.54 CPU) @ 282.41/s (n=1000)
D: 3 wallclock secs ( 3.26 usr + 0.00 sys = 3.26 CPU) @ 306.65/s (n=1000)
>Exit code: 0 Time: 16.124

PS: Пардон за форматирование, теги не работают :(

Уже готовые бенчмарки по куче языков и алгоритмов можно посмотреть здесь.

а где же .net? уж очень интересно увидеть насколько он опережает\отстает от остальных участников

ps: очень удивила разница между php и perl, помню раньше всегда и все говорили что perl гораздо быстрее.

Автор — молодец, что затронул такую тему. То есть, взялся честно изучить различные инструменты. Тема большая, очень важная, и я надеюсь, что автор напишет по ней ещё как минимум одну заметку.

Что касается сути, то я бы хотел сказать следующее. Тест, выбранный автором, представляет собой два вложенных цикла с постоянными границами. Такие вещи уже давно оптимизируются компиляторами вдоль и поперёк — и в данном случе это не очень хорошо, потому что реальный функционал кода на разных языках на выходе из оптимизатора получается очень разный. Это первое.
Второе. Этот алгоритм, если хотите, «частный случай», который совсем нечасто возникает в реальной жизни.

Что же мы используем в реальных программах и как сделать тест ближе к практике? Прежде всего, границы цикла должны быть вычисляемыми (неконстантными) переменными (границы объекта-контейнера). Во-вторых, внутри цикла должно идти не просто вычисление (математика), но и работа с разными переменными. В идеале, тест должен проводиться на контейнерах (!). Потому что реальная производительность в реальных программах характеризуется связкой язык+контейнеры. Скорее всего, имеет смысл даже сделать два теста — с контейнерами и без.

Автору спасибо большое. Если будет продолжение буду очень рад.
А теперь несколько комментариев-вопросов:
1) Какая jre использовалась? SunJDK, OpenJDK, java от IBM и т.д. Тоже самое касается и С++ компилера. Подозреваю что это gcc 4.х, но всё же. Ещё нужно бы Intel CC протестировать, поговаривают, что он математику хорошо умеет оптимизировать.
Да, и почему нет теста с -O3? (или может я просто всё это не заметил это в тексте)
2) Предлагаю в будущем протестировать ещё код, который активно занимается выделением и очисткой памяти в куче. Думаю, так будет интереснее =)

А что за «Ruby ???» такой?

Идиоты! ну кто сравнивает производительность си-с-перекрестиями и явы, питона и пхп?

Динамические языки предназначены не для высокой производительности. Для этого есть железо.

Перл надо тестить 5.10? и Руби 1.9.1

Попробуйте прогнать тесты на рекурсивных функциях, например функции Аккермана

Почему старая версия Ruby? Текущая current версия 1.9.1, которая как раз отличается другой производительностью.

#include <iostream>
using namespace std;
int main(void) {
    long r = 0;
    for (unsigned int i = 0; i < 10000; ++i) {
        for (unsigned int j = 0; j < 10000; ++j) {
            r = (r + (i * j) % 100);
        }
    }
    r %= 47;
    cout << "answer: " << r << endl;
}

0.21 сек против 0.67 сек эталонного варианта за счет банальной эрудиции

Правильный код на Python:

from time import clock

def test():
r = 0
for i in xrange(0, 10000):
for j in xrange(0, 10000):
r = (r + (i * j) % 100) % 47
return r

print( «answer: », test(), clock() )

Без apc ваш тест php НЕ корректен.

Погоняйте PHP 5.3 + APC, 5.3 значительно быстрее работает чем 5.2.

Портировал тест на PuireBasic.

DisableDebugger
r.i = 0
t=ElapsedMilliseconds()
For i = 0 To 10000
For j = 0 To 10000
r = (r + (i * j) % 100) % 47
Next j
Next i
e=ElapsedMilliseconds()-t
MessageRequester("", StrF(e/1000, 3)+" секунд")

Проверял на компе с процессором близким к «P4-1.8Ггц», т. е. как и автора статьи.
Тест был выполнен за 3 секунды.

Добавьте, пожалуйста, больше языков на тестовый график. Кто-то может, кроме автора?

JavaScript (браузер, консоль отдельно)
и другие