Сначала расскажу об изменениях в SDKs, а потом о MapReduce.
Итак,
— Увеличение квот TaskQueue с 50 запросов на приложение до 50 запросов на очередь, в последующих резилах ожидаются дальнейшие улучшения этого сервиса.
— Возможность настройки лимита хранилища для TaskQueue.
— Прекомпиляция для Python, в настоящее время отключена по умолчанию, включается в конфиге.
— Добавлены программные интерфейсы для доступа к blob-файлам напрямую из приложения. Идет работа над созданием и редактированием blob из приложения, пока не готово.
— Для local python SDK задания теперь выполняются автоматически.
Из изменений видно, что текущий релиз был в контексте развития технологии MapReduce для AppEngine, о ней речь пойдет ниже.
Год назад Brett Slatkin пообещал набор технологий для работы с огромными массивами данных, и очевидно, что в основе должна была быть MapReduce. Но возникли сложности (для интересующихся смотрите презентацию этого года), и решено было использовать TaskQueue для имплементации.
Проект appengine-mapreduce полностью opensource, и довольно быстро развивается усилиями 4 человек. Для java в основе положен Apache Hadoop, для python полностью свой код.
В настоящее время существует лишь нетранзакционная map-фаза, в дальнейшем появится полноценный MapReduce с shuffle+reduce фазами. Вся инфа по проекту находится на главной и в вики-страницах. Пользуйтесь на здаровье.
Кстати, в следующем релизе, скорее всего, появится поддержка web-sockets, сейчас уже все готово в SDKs, включая полноценный API, но видимо есть еще трудности для production.
2Guria: в protobuf описании rpc для XMPP в обоих SDK появились методы SendPresenceRequest и SendPresenceResponse, что дает вам надежду на скорое закрытие вашего тикета. Продолжайте писать на форуме и непосредственно в своем тикете, теребя разрабов.
Полные списки изменений:
— Release Notes: Python
— Release Notes: Java
— Revision History
— Product Roadmap
Итак,
— Увеличение квот TaskQueue с 50 запросов на приложение до 50 запросов на очередь, в последующих резилах ожидаются дальнейшие улучшения этого сервиса.
— Возможность настройки лимита хранилища для TaskQueue.
— Прекомпиляция для Python, в настоящее время отключена по умолчанию, включается в конфиге.
— Добавлены программные интерфейсы для доступа к blob-файлам напрямую из приложения. Идет работа над созданием и редактированием blob из приложения, пока не готово.
— Для local python SDK задания теперь выполняются автоматически.
Из изменений видно, что текущий релиз был в контексте развития технологии MapReduce для AppEngine, о ней речь пойдет ниже.
Год назад Brett Slatkin пообещал набор технологий для работы с огромными массивами данных, и очевидно, что в основе должна была быть MapReduce. Но возникли сложности (для интересующихся смотрите презентацию этого года), и решено было использовать TaskQueue для имплементации.
Проект appengine-mapreduce полностью opensource, и довольно быстро развивается усилиями 4 человек. Для java в основе положен Apache Hadoop, для python полностью свой код.
В настоящее время существует лишь нетранзакционная map-фаза, в дальнейшем появится полноценный MapReduce с shuffle+reduce фазами. Вся инфа по проекту находится на главной и в вики-страницах. Пользуйтесь на здаровье.
Кстати, в следующем релизе, скорее всего, появится поддержка web-sockets, сейчас уже все готово в SDKs, включая полноценный API, но видимо есть еще трудности для production.
2Guria: в protobuf описании rpc для XMPP в обоих SDK появились методы SendPresenceRequest и SendPresenceResponse, что дает вам надежду на скорое закрытие вашего тикета. Продолжайте писать на форуме и непосредственно в своем тикете, теребя разрабов.
Полные списки изменений:
— Release Notes: Python
— Release Notes: Java
— Revision History
— Product Roadmap