Как я проект с JavaScript на Scala переписывал

Ну, как бы, api first.

Вот, чтобы клиентский api был удобен, без магии. Да и вроде в Typesafe Reactive Platform для работы с БД Slick положен, а тут по дефолту не он, что странно.

Переехали на spray-io, клиентский api опять же свой.

Может правда я покастомнее люблю, но мы с пацанами когда выбирали, как-то сразу всем spray больше понравился.

Сотни библиотек имеют тенденцию превращаться в стройный полноценный фреймворк. А при наличии такового уже становится не важно, какой язык в основе.

Ваша история очень похода на мою — я тоже на Erlang на работе пишу пауков уже пару лет (Одного сложного дорабатываю постоянно и штуки 4 помельче). И отчасти я с вами согласен.

* HTTP клиент lhttpc работает отлично, ни разу проблем не возникало. Использовал 500-800 параллельных потоков в штатном режиме. Особо приятный момент — возможность жёстко ограничить время на скачивание странички — не уложился в 20 секунд — отбой. Но поддержку кукисов пришлось дописать. Помимо lhttpc есть вполне годные hackney и ibrowse.

* Для парсинга HTML тоже использую mochiweb_html. Даже бенчмарк делал — работает достаточно шустро, быстрее чем парсеры на большинстве динамических языков, по потреблению памяти так вообще почти всех делает. Зачем вы использовали list — строки вместо binary не знаю, видимо по неопытности…

* Для XPath брал тот же mochiweb_xpath — тут действительно была сильно урезанная версия и пришлось некоторые вещи дописывать — их сейчас влили в апстрим, так что поддержка XPath сейчас практически полная.

Насчёт zezro-deployment — не совсем понимаю что под этим подразумевается, не могу прокомментировать.
Насчёт надёжности не понял какие могут быть вопросы.

Что я получил в замен на свои «мучения»:
* Приемлемую производительность (первоначальная версия паука на Python + gevent + mongoDB для общих данных выдавала в ~10 раз меньше запросов и хрен поймёшь в каком месте был затык)
* Возможность подпатчить код без остановки паука (зашел на сервер, сделал nano src/cookie_storage.erl; rebar compile; erl -remsh spider@localhost; l(cookie_storage). и вот уже паук работает на подправленной версии).
* Удалённый шелл сам по себе отличная штука — можно подключиться к работающему процессу и что-то там посмотреть (включить профилирование / покопаться в памяти / изменить настройки / включить-отключить подсистему). Пользуюсь постоянно.
* Относительно легко подключать другие языки — у меня к пауку подключены интерпретаторы JS и Python.
* Выпилил лишние сущности (в Python версии шаренные данные /списки proxy, статистика, cookies etc/ складывали в MongoDB, т.к. gevent по ядрам CPU не умеет расползаться, в Erlang они хранятся прямо в памяти)
* Сам код стало проще структурировать и поддерживать, т.к. OTP к этому располагает.

С вебсокетами тоже баловался — вот этот сервис написал полностью на Erlang: http://dropmail.me/ru/ и там самые что ни на есть вебсокеты.

Ну это как писать на sql для тех кто никогда не видел в глаза sql, дело просто в том, что тупо не знаешь как этим пользоваться. Вот какая-нибудь обвязка а-ля query builder помогла бы

В принципе должны уже быть библиотеки, которые оборачивают такие вещи. Если нет — то очень просто написать. И тогда будет:

Q.when([
  Q.nfcall(db.getData, filter),
  Q.nfcall(db.getAnotherData,anotherFilter)
]).done(function(){});

Вот, пожалуйста:

var futureResult = db.getData.bind(db, filter);
var anotherFutureResult = db.getAnotherData.bind(db, anotherFilter);

waitFor(futureResult, anotherFutureResult, function(error, someData, anotherData) {
  // ... do the job
});

Вы правы, стандартная либа js не имеет что то подобного к waitFor. Но то, что такого комбинатора нет в стандартной поставке, еще не значит что коллбеки не могут быть скомпонованы. Нужно всего лиш написать такой комбинатор:

function waitFor() {
  var args = Array.prototype.slice.call(arguments);
  var done = args[args.length - 1];
  var result = new Array(args.length - 1);
  var hasError = false;
  var left = args.length - 1;

  args.slice(-1).forEach(function(asyncFn, i) {
    asyncFn(function(error) {
      if (error) {
        hasError = true;
        return done(error);
      }

      result[i] = Array.prototype.slice.call(arguments, 1);
      left--;

      if (left === 0) {
        return done.apply(null, [null].concat(result));
      }
    });
  });
}

Тот же async — это по сути набор специальних комбинаторов для разных сценариев использования.