Еще одна реализация Обработки Данных

Представьте себе инструмент, с помощью которого вы можете трансформировать любые данные в… любые данные.

Самый доступный пример — Изображения. Что если я хочу получить картинку определенного размера и поставить где-нибудь водяную марку (тоже определенного размера).

И вот один из примеров как это может выглядеть:



P.S.: Это обзорная статья, если будет интересно, дальше опишу подходы детальнее.

Мотивация

Недавно, в ноябре 2018, мне нужно было изменить размер фотографии…

Онлайн сервисы из-за своих «особенностей» ( реклама, странный интерфейс и тд ) сделали этот процесс максимально мучительным.

Стандартные средства Windows 10 мне показались не очевидными. Пришлось скачать GIMP и оттуда сделать все что было надо — изменить размер фотографии.

В свое оправдание:

1. Время возникновения проблемы ~1AM ( час ночи )
2. Рабочего ноута под рукой не было
3. Windows дома только для игр. Сейчас иногда пишу код с apple клавиатурой

И тут очередной программист решил создать еще один кост… Инструмент.

Требования

Этот Инструмент должен быть всем костылям костыль:

1. Простой UI
2. Простой API
3. Удобная организация сущностей проекта
4. Минимум кнопок и настроек
5. Возможность имплементировать свои… «стандарты»
6. Open Source: Backend и Frontend

И главное — пользоваться этим должны иметь возможность все, кто понимают чего они хотят.

Несколько возможных последовательностей:

1. Картинка, Картинка поменьше, Фильтр
2. Скачать содержимое URL, оставить только полезный Контент, Оставить только текст
3. Скачать картинку, определить что на ней есть какой-нибудь предмет ( template matching )

Имплементация

Недавно на Хабре читал До микросервисов нужно дорасти... и решил последовать этому. Уже были пару попыток сделать такую штуку через «красивые» ( в моем воображении ) структуры: каждая функция ( вроде template_match, md5 ) как микросервис, оптимизированный для решения своей задачи. В итоге к этому все и придет, но не сегодня :)

Итого имеются:

1. Frontend без красивых обоев
2. Backend API
3. Celery ( в локальной разработке использую Redis, а в тесте и проде RabbitMQ )
4. Backend Workers

Скажу сразу: я очень посредственно знаком с Frontend, однако, спасибо Stackoverflow и Google поиску.

Больше примеров

Все примеры можно найти здесь, они объединены в «проекты».

Один из них: извлечение текста из HTML страницы



Внимание: сайт работает в режиме read-only, но результат вам вернет. Он не сможет сохранить ваши изменения на Project и Pipeline.

Небольшие пояснения

Список того, что может трансформировать данные: здесь

Чем этот Проект не является:

1. Хранилищем данных
2. Майнером биткоинов

Проект очень похож на:

1. Zapier
2. Яндекс Нирвана
3. Parse.com (пару лет как выкуплен Facebook )