Комментарии 21
Здравствуйте! Отличный проект! Хотел попробовать его для обработки изображений. Но их у меня много, как можно загрузить много файлов в систему Fly Elephant?
0
А куда о багах писать? А то что-то не нашел, или тоже на support@flyelephant.net?
0
Приветствую!
Это третий на моей памяти пост на хабре про слона. Что я хочу отметить:
1. впервые по лэндингу я понял, о чём вообще речь. Зачёт.
2. Статья тоже хорошо в тему
3. Program по английски пишется с одним м. (это внизу, где вы приглашаете на бета тест)
4. Правда я не совсем понял, зачем вам репозиторий и программа в сырцах. Всё равно ведь она будет запускаться на некой виртуальной машине? Под мою задачу, к примеру, одних данных на 300 Гб в паре сотен файлов — что будет удобно загружать как-то сразу.
Это третий на моей памяти пост на хабре про слона. Что я хочу отметить:
1. впервые по лэндингу я понял, о чём вообще речь. Зачёт.
2. Статья тоже хорошо в тему
3. Program по английски пишется с одним м. (это внизу, где вы приглашаете на бета тест)
4. Правда я не совсем понял, зачем вам репозиторий и программа в сырцах. Всё равно ведь она будет запускаться на некой виртуальной машине? Под мою задачу, к примеру, одних данных на 300 Гб в паре сотен файлов — что будет удобно загружать как-то сразу.
0
Спасибо за хороший отзыв, стараемся расти. Ошибку исправил, спасибо.
Относительно репозитория, то первоначально мы ориентировались на большие проекты с большим количеством файлов, поэтому и репозиторий. Сейчас работаем над тем, чтобы в ближайшем времени можно было бы и без репозитория запускать, а также прямо в системе редактировать файлы, например, при помощи IPython Notebook или RStudio Server. Также сейчас перерабатываем механизм загрузки данных больших объемов, чтобы легко можно было бы работать с ними.
Если у вас есть идеи/варианты, как вам было бы удобно работать с такими объемами данных, буду рад услышать ваши предложения.
Относительно репозитория, то первоначально мы ориентировались на большие проекты с большим количеством файлов, поэтому и репозиторий. Сейчас работаем над тем, чтобы в ближайшем времени можно было бы и без репозитория запускать, а также прямо в системе редактировать файлы, например, при помощи IPython Notebook или RStudio Server. Также сейчас перерабатываем механизм загрузки данных больших объемов, чтобы легко можно было бы работать с ними.
Если у вас есть идеи/варианты, как вам было бы удобно работать с такими объемами данных, буду рад услышать ваши предложения.
0
Да тут скорее не предложения, а хотелки.
Есть проект, с развитой системой данных — сотни и тысячи фалов, некоторые из которых интенсивно меняются, другие — нет. Объёмы — сотни гигабайт. Удобно будет просто перенести всю файловую систему со всеми данными к вам. Но и сам проект использует сторонние библиотеки, в том числе и недоступные в сырцах.
Получается, что оптимальное решение — виртуальная машина, просто нарастить ядер и памяти. А переделывать из концепции «системы» в концепцию «задач над данными» — трудоёмко, хотя и не невозможно.
В общем, пока я с вашей инфраструктурой не познакомился глубоко, поэтому может всё написанное и банально и уже можно сделать.
Есть проект, с развитой системой данных — сотни и тысячи фалов, некоторые из которых интенсивно меняются, другие — нет. Объёмы — сотни гигабайт. Удобно будет просто перенести всю файловую систему со всеми данными к вам. Но и сам проект использует сторонние библиотеки, в том числе и недоступные в сырцах.
Получается, что оптимальное решение — виртуальная машина, просто нарастить ядер и памяти. А переделывать из концепции «системы» в концепцию «задач над данными» — трудоёмко, хотя и не невозможно.
В общем, пока я с вашей инфраструктурой не познакомился глубоко, поэтому может всё написанное и банально и уже можно сделать.
+1
В файле LR.r, который выложен на гитхаб есть такая строчка:
data < — read.csv('~/workdir/rosn.txt', sep='\t')
Значит ли это, что после развёртывания, всё, что есть в репозитории на гитхаб, попадает в папку "~/workdir/"?
data < — read.csv('~/workdir/rosn.txt', sep='\t')
Значит ли это, что после развёртывания, всё, что есть в репозитории на гитхаб, попадает в папку "~/workdir/"?
0
И ещё один вопрос: как попасть в ваш slack чат?
0
Регистрация здесь — slack.flyelephant.net Дальше на почту придет приглашение. Для удобства можно поставить клиент, чтобы не сидеть из под браузера — slack.com/downloads
0
Спасибо, интересная штука,
UPD: ответ нашел сам, вопрос снят.
UPD: ответ нашел сам, вопрос снят.
0
и ещё вопросы, уже по результатам:
проверил какие библиотеки (из интересующих меня) у вас есть. Скажите, а opencv в python2.7 хотя бы в планах есть? а на других языках? А есть ли где место в хелпе где прописаны все доступные библиотеки чтобы не пришлось опытным путём это выяснять?
и заодно обратил внимание на время выполнения: а почему время статуса «в очереди» учитывается в выполнение задачи?
проверил какие библиотеки (из интересующих меня) у вас есть. Скажите, а opencv в python2.7 хотя бы в планах есть? а на других языках? А есть ли где место в хелпе где прописаны все доступные библиотеки чтобы не пришлось опытным путём это выяснять?
и заодно обратил внимание на время выполнения: а почему время статуса «в очереди» учитывается в выполнение задачи?
подробности про время
в коде:
в результатах:
а в статусе
итого:
а если посчитать из результата, то вообще получается
60*0.001014/0.02 = 3.042 минут
в то время как задача длилась вряд-ли сильно дольше замеренных 1.3 c (ну пусть плюс 1 сек на очень медленную запись огромного файла ~40кб)
import time
t=time.clock()
#...тут собственно код
t=time.clock()-t
f.write('almost overall time for process '+str(t) +' c\n')
print t
f.close()
в результатах:
almost overall time for process 1.335347 c
а в статусе
итого:
а если посчитать из результата, то вообще получается
60*0.001014/0.02 = 3.042 минут
в то время как задача длилась вряд-ли сильно дольше замеренных 1.3 c (ну пусть плюс 1 сек на очень медленную запись огромного файла ~40кб)
0
Да, можем доставить и настроить нужные вам библиотеки. Напишите мне на support@flyelephant.net, все доставим и настроим. Документацию обновляем, с новым релизом будет лучше;)
Относительно время расчета, мы работаем над оптимизацией подсчета времни. Оно зависит, на каких ресурсах произвдится расчет и сколько времени уходит на поднятие нужной инфраструктуры. Скриншоты с достаточно старой датой, сейчас должно быть лучше ;)
Относительно время расчета, мы работаем над оптимизацией подсчета времни. Оно зависит, на каких ресурсах произвдится расчет и сколько времени уходит на поднятие нужной инфраструктуры. Скриншоты с достаточно старой датой, сейчас должно быть лучше ;)
0
Зарегистрируйтесь на Хабре , чтобы оставить комментарий
FlyElephant как инструмент для вычислений на C++, R, Python или Octave