Как стать автором
Обновить

Комментарии 21

Здравствуйте! Отличный проект! Хотел попробовать его для обработки изображений. Но их у меня много, как можно загрузить много файлов в систему Fly Elephant?
Спасибо за хороший отзыв. Напиши мне на почту пожалуйста, созвонимся по скайпу и придумаем решение для этой задачи.
Написал на support@flyelephant.net
Думаю, можно использовать атласы изображений
т.е. взять все изображения, склеить, загрузить, а потом обрабатывать?
да, но я не знаю вашу задачу и не очень знаком с платформой, просто предложил вариант решения «как сделать много файлов одним?»
Спасибо!
Можно прямо на support@flyelephant.net писать. Большое спасибо за помощь в тестировании и отлавливании багов;)
Приветствую!

Это третий на моей памяти пост на хабре про слона. Что я хочу отметить:

1. впервые по лэндингу я понял, о чём вообще речь. Зачёт.
2. Статья тоже хорошо в тему
3. Program по английски пишется с одним м. (это внизу, где вы приглашаете на бета тест)
4. Правда я не совсем понял, зачем вам репозиторий и программа в сырцах. Всё равно ведь она будет запускаться на некой виртуальной машине? Под мою задачу, к примеру, одних данных на 300 Гб в паре сотен файлов — что будет удобно загружать как-то сразу.
Спасибо за хороший отзыв, стараемся расти. Ошибку исправил, спасибо.
Относительно репозитория, то первоначально мы ориентировались на большие проекты с большим количеством файлов, поэтому и репозиторий. Сейчас работаем над тем, чтобы в ближайшем времени можно было бы и без репозитория запускать, а также прямо в системе редактировать файлы, например, при помощи IPython Notebook или RStudio Server. Также сейчас перерабатываем механизм загрузки данных больших объемов, чтобы легко можно было бы работать с ними.
Если у вас есть идеи/варианты, как вам было бы удобно работать с такими объемами данных, буду рад услышать ваши предложения.
Да тут скорее не предложения, а хотелки.

Есть проект, с развитой системой данных — сотни и тысячи фалов, некоторые из которых интенсивно меняются, другие — нет. Объёмы — сотни гигабайт. Удобно будет просто перенести всю файловую систему со всеми данными к вам. Но и сам проект использует сторонние библиотеки, в том числе и недоступные в сырцах.

Получается, что оптимальное решение — виртуальная машина, просто нарастить ядер и памяти. А переделывать из концепции «системы» в концепцию «задач над данными» — трудоёмко, хотя и не невозможно.

В общем, пока я с вашей инфраструктурой не познакомился глубоко, поэтому может всё написанное и банально и уже можно сделать.
Хотелки — это хорошо. Был бы рад пообщаться скайпом и детальнее узнать о вашем проекте. Думаю, точно что-то удобное для вашего случая можно будет придумать + нам очень интересны любые проекты, с помощью которых мы сможем сделать определенные кейсы и о них рассказать.
В файле LR.r, который выложен на гитхаб есть такая строчка:
data < — read.csv('~/workdir/rosn.txt', sep='\t')

Значит ли это, что после развёртывания, всё, что есть в репозитории на гитхаб, попадает в папку "~/workdir/"?
да, на данный момент это рабочая директория, где все происходит.
И ещё один вопрос: как попасть в ваш slack чат?
Регистрация здесь — slack.flyelephant.net Дальше на почту придет приглашение. Для удобства можно поставить клиент, чтобы не сидеть из под браузера — slack.com/downloads
и ещё вопросы, уже по результатам:
проверил какие библиотеки (из интересующих меня) у вас есть. Скажите, а opencv в python2.7 хотя бы в планах есть? а на других языках? А есть ли где место в хелпе где прописаны все доступные библиотеки чтобы не пришлось опытным путём это выяснять?

и заодно обратил внимание на время выполнения: а почему время статуса «в очереди» учитывается в выполнение задачи?

подробности про время
в коде:
import time
t=time.clock()

#...тут собственно код

t=time.clock()-t
f.write('almost overall time for process '+str(t) +' c\n')
print t
f.close()


в результатах:
almost overall time for process 1.335347 c
а в статусе
image

итого:
image

а если посчитать из результата, то вообще получается
60*0.001014/0.02 = 3.042 минут

в то время как задача длилась вряд-ли сильно дольше замеренных 1.3 c (ну пусть плюс 1 сек на очень медленную запись огромного файла ~40кб)
Да, можем доставить и настроить нужные вам библиотеки. Напишите мне на support@flyelephant.net, все доставим и настроим. Документацию обновляем, с новым релизом будет лучше;)

Относительно время расчета, мы работаем над оптимизацией подсчета времни. Оно зависит, на каких ресурсах произвдится расчет и сколько времени уходит на поднятие нужной инфраструктуры. Скриншоты с достаточно старой датой, сейчас должно быть лучше ;)
Зарегистрируйтесь на Хабре , чтобы оставить комментарий