Встречайте Big Data Tools: поддержка Spark и Zeppelin-ноутбуков в IntelliJ IDEA

У нас отличные новости. Мы рады объявить о выходе Big Data Tools — нового плагина для IntelliJ IDEA, который обеспечивает интеграцию со Spark и поддерживает редактирование и запуск Zeppelin-ноутбуков. Теперь вы можете создавать, редактировать и запускать Zeppelin notebooks прямо из IDE. Плагин предоставляет умную навигацию, автодополнение, инспекции и быстрые исправления, а также рефакторинг кода внутри ноутбуков.

Что уже поддерживается

• Просмотр, создание и удаление ноутбуков
• Помощь при написании Scala-кода
• • Автодополнение
  • Рефакторинг Rename
  • Экстракт переменной, метода или параметра
  • Переход к декларации
  • Поиск использований
  
  
• Создание и удаление параграфов
• Запуск параграфов
• Просмотр вывода параграфов
• Поддержка базовой визуализации

Пока что помощь при написании кода работает только для Scala. Другие языки будут поддержаны позже. Кроме того, мы не собираемся ограничиваться поддержкой Zeppelin и планируем добавить больше возможностей, которые будут полезны для тех, кто работает с большими данными.

Если вам не терпится увидеть Big Data Tools в действии, посмотрите это короткое видео:

А лучше попробуйте плагин сами! Как это сделать, читайте далее.

Как использовать плагин

• Убедитесь, что вы используете IntelliJ IDEA Ultimate 2019.2 (обратите внимание, плагин пока не работает с EAP 2019.3).
• Проверьте, установлены ли плагины BashSupport, Python и Scala (подойдут свежие версии). Пока что их придется устанавливать вручную — мы скоро это исправим.
• Установите новейшую сборку плагина Big Data Tools.
• Если все работает как надо, после перезапуска IDE справа появится окно инструментов Big Data Tools. Откройте его, кликните по значку «+» на панели инструментов в окне и выберите Zeppelin.
• В диалоговом окне подключения Zeppelin укажите параметры для подключения вашего экземпляра Zeppelin (хост, порт, учетные данные и т.д.). Для проверки соединения используйте Test Connection.
• После настройки конфигурации Zeppelin вы увидите этот экземпляр в окне инструментов вместе с деревом ноутбуков. Теперь вы сможете управлять ноутбуками и открывать их в редакторе.

Что дальше?

Прежде всего, мы не собираемся ограничиваться интеграцией с Zeppelin и Spark, которую мы, конечно, будем улучшать. Мы планируем поддержать больше инструментов для работы с большими данными: добавить интеграцию с распределенными файловыми системами, такими как HDFS и S3, реализовать встроенное средство просмотра файлов Parquet и улучшить поддержку SQL.

Вот примерный план нашей работы в обозримом будущем:

• Ноябрь 2019: совместимость с IntelliJ IDEA Ultimate 2019.3 EAP.
• Ноябрь 2019: интеграция с S3 (проводник).
• Декабрь 2019: базовая поддержка SQL (подсветка, автодополнение, автоформатирование и т.д.).
• Январь 2020: интеграция с HDFS (проводник) и средство просмотра Parquet-файлов.
• Февраль 2020: базовая интеграция с Hadoop и Spark (пользовательские интерфейсы YARN, Spark и т.д.).
• Весна/лето 2020: поддержка Python в Zeppelin-ноутбуках (мы также рассматриваем вопрос о совместимости плагина с PyCharm Professional Edition, сообщим об этом позже).

Это неокончательный план. Мы будем корректировать его на основе ваших отзывов, чтобы быть уверенными, что мы сосредоточены на нужных вещах. Пожалуйста, сообщайте нам об ошибках и делитесь мнением о том, каких фич недостает и как, по-вашему, должна работать та или иная функция.

Что еще важно знать о новом плагине

Плагин Big Data Tools совместим только с IntelliJ IDEA Ultimate и недоступен в Community Edition. Мы еще не знаем, попадет ли он в Community Edition. На данный момент таких планов у нас нет.
То же самое касается и других сред разработки. Мы пока не знаем, будет ли плагин совместим с другими IDE. На данный момент у нас есть только предварительный план добавить совместимость с PyCharm Professional Edition, как только в плагине появится поддержка Python. По мере развития плагина мы сможем лучше понимать, куда нам стоит двигаться в контексте его поддержки в других IDE.

У меня нет лицензии на IntelliJ IDEA Ultimate. Как мне попробовать плагин?

• Если вы активно участвуете в любом проекте с открытым исходным кодом, связанном с большими данными, напишите нам.
• Если вы хотите написать о Big Data Tools, свяжитесь с нами, и мы предоставим вам расширенную пробную версию, чтобы вы могли оценить плагин.
• Если вы не являетесь ни коммиттером, ни блогером, но проявляете интерес к большим данным, обратитесь к нам за расширенной пробной версией (например, до 3 месяцев). Это предложение ограничено.

Как оставить отзыв

Мы очень ждем ваших отзывов о плагине. Любые вопросы вы можете задать в комментариях к этому посту. Замечания и предложения оставляйте в нашем трекере.
Вы также можете поделиться своими впечатлениями о плагине, пройдя короткий опрос. Это займет всего минуту.

Конструктивная критика поможет нам сделать вашу работу со Spark, Zeppelin и большими данными максимально удобной и эффективной. Поэтому не стесняйтесь делиться своими отзывами и предложениями — нам это важно.

P. S. Особенно приятно, что выход плагина совершенно случайно совпал с нашим участием в Spark AI Summit. Так что если вы вдруг окажетесь на этой конференции, обязательно приходите на наш стенд: сможете посмотреть на плагин в действии и поделиться своими впечатлениями.