Comments 10
переходить на Scala, учить все с нуля? Зачем? Если на Java все работает не хуже.
Весь мой опыт конвертации Java-разработчиков в Scala-разработчиков показывает, что если человек сидит на своем теплом ламповом спринге-хибернейте и ему ничего больше не нужно для счастья — надо просто оставить его в покое.
Кстати об этом же, но в гораздо менее толерантной манере уже давно написал David Pollak. Позволю себе процитировать:
Мы живем в мире, где средний разработчик пишет 3250 строк кода в год (около 20 в день). Это происходит в Eclipse, нажатием кнопки «дай мне шаблон X» с подстановкой кода в предложенные средой разработки места. Потом поход на несколько митингов. И они называют это рабочим днем. Мы не можем уволить всех этих разработчиков. Мы не можем обучить их, чтобы они стали лучше. Это Середняки. Это именно те, кто использует Java. У таких программистов нет той самой комбинации врожденных способностей и желания стать лучше.
Не то, чтобы 100% случаев, но очень часто те, кто отказываются от изучения Scala, мотивируют это тем, что им и так хорошо, их и так все устраивает.
Несколько обидно, что голоса таких людей преобладают на некоторых популярных у нас в стране конференциях, но и от них есть польза. А имеющие глаза увидят сами, на каком языке удобнее разрабатывать под Spark.
Все люди делятся на два типа: тех, кто делит людей на типы и остальных
Я бы не очень доверял мнению человека, который использует Eclipse :)
А если серьёзно, меня раздирают противоречивые чувства. С одной стороны, да правильно, человеку надо двигаться вперед, но когда он достигает зоны комфорта, это желание пропадает. И всё происходит как у David Pollak-a, но если смотреть не с точки зрения человека, а с точки зрения компании, то время затрачиваемое на постоянное обучение, не всегда себя оправдывает в разработке. Потратить пару дней, чтобы выучить спринг бут, а потом экономить кучу времени при написании проектов это имеет смысл, с точки зрения энтерпрайза, а влкадывать месяцами в обучение Скалы, ради просто саморазвитие работника, это им вряд ли надо.
А я просто пытаюсь искать золотую середину. Вперед двигаться надо, поэтому спринг, спарк, и джава 8, со всеми её плюсами, где можно груви. А вот скала, это уж только если её знают изначально, но поскольку таких мало, то я лучше буду тратить время, чтобы улучшить мир джавы.
А если серьёзно, меня раздирают противоречивые чувства. С одной стороны, да правильно, человеку надо двигаться вперед, но когда он достигает зоны комфорта, это желание пропадает. И всё происходит как у David Pollak-a, но если смотреть не с точки зрения человека, а с точки зрения компании, то время затрачиваемое на постоянное обучение, не всегда себя оправдывает в разработке. Потратить пару дней, чтобы выучить спринг бут, а потом экономить кучу времени при написании проектов это имеет смысл, с точки зрения энтерпрайза, а влкадывать месяцами в обучение Скалы, ради просто саморазвитие работника, это им вряд ли надо.
А я просто пытаюсь искать золотую середину. Вперед двигаться надо, поэтому спринг, спарк, и джава 8, со всеми её плюсами, где можно груви. А вот скала, это уж только если её знают изначально, но поскольку таких мало, то я лучше буду тратить время, чтобы улучшить мир джавы.
всё происходит как у David Pollak-a, но если смотреть не с точки зрения человека, а с точки зрения компании
Там смысл статьи как раз в том, что он признает, что с точки зрения бизнеса как минимум половину Java-проектов невыгодно переводить на Scala. И пытается уколоть технарей, хочешь ли конкретно ты как технарь прозябать на таких проектах. Ведь это как продолжать копать палкой-копалкой, когда рядом стоит экскаватор. «Там столько непонятных кнопочек и рычажков, и вообще большинство копают палками...»
я лучше буду тратить время, чтобы улучшить мир джавы
Можно только пожелать удачи, потому что тренинги по спарку принесут пользу и самому спарку, и джаве, и даже скале.
И да, а что не так с Eclipse?
У меня у одного такое ощущение, что Apache Spark неоправданно захайпована? Вот сейчас начал читать и подумал: «ну сейчас наконец-то технически грамотно объяснят самую суть, мякотку этой технологии — что же на самом деле в ней стоящего и нового». Но с первых же строк очередной «MongoDB is web scale». Интернеты растут, IoT наступает, Big Data, неограниченное (буквально экспоненциальное) масштабирование! Если без хайпа, рекомендую вот это http://www.redbook.io/ от Стоунбрейкера: пройись по страничкам по ключевому слову Spark.
Например, у Cassandra есть свой инструмент для этого, DataStax называется, который дает возможность писать Spark с Кассандрой.
Это фича в продукте DataStax Enterprise (DSE), а сам DataStax — контора, которая его производит. Это не инструмент Cassandra, а сторонний софт. Также можно использовать https://github.com/datastax/spark-cassandra-connector, который open sourse от тех же DataStax.
Мне кажется, что в последнее время языки программирования начали возводить в какой-то абсолют. Ощущение, что выбор языка для написания кода под spark — самая большая проблема. Выбрал язык — 90% работы сделано. С моей точки зрения, понимание принципов работы spark'a куда важнее. Ведь при работе с распределенными системами за непонимание того, как они устроены, приходится платить порой очень большую цену. Непонимание работы StreamAPI, порой, обходится довольно дешево (а, порой, и нет), а вот необдуманное использование spark API может вызвать: перемещение огромного количества данных по сети, OOM, увеличение времени обработки данных в несколько раз, повышения в несколько раз требования к ресурсам кластера. Поэтому очень обидно, что основное внимание в статье уделяется не тому, что надо понимать механизм, с которым работаешь, а тому, что между написанием reduce(_ + _) и reduce((a, b) -> a + b) нет особой разницы.
Sign up to leave a comment.
Welcome to Spark… on Java: Интервью с Евгением Борисовым