Если есть возможность, подскажите какая у вас конфигурация кластера?
Детально - не могу (да и не знаю толком), но в Greenplum pxf развернут на 100+ нодах (сегментах), а сам кластер вдвое больше.
С учетом того, что чтение происходит не из таблиц ,а из вьюх, из которых некоторые весьма тяжелые (десятки джойнов), получается приблизительно паритет с вашим решением.
А чем ограничена такая скорость? Выглядит совсем небольшой. Полагаю, было бы уместно описать подробнее на каком стенде и как измеряли.
У нас для обработки данных Spark-ом есть копирование данных из Greenplum в HDFS с помощью pxf. Так оно выполняется со скоростью порядка 8 Гбит/с. И это общая фактическая скорость со всякими паузами, стартами/стопами т.п. Транспортная получается еще выше.
В свое время делал подобное на управляемых коммутаторах путем включения мониторинга на порту. Тогда трафик одного или нескольких портов копировался на специальный выделенный порт. А с него трафик разбирали Wireshark-ом.
Фраза "физически неспособны" напомнила мне времена, когда в ходу был 10 и 100 Мбит/с Ethernet. В них прием и передача ведется по двум отдельным витым парам по одной в каждом направлении. И когда входящая пара была в обрыве, возникало странное ощущение - линк горит, активность пакетов мигает, однако подключиться куда-либо невозможно. Сначала ловишь небольшой диссонанс, потом смотришь на счетчики входящих/исходящих пакетов и становится понятно. Вот это я понимаю "физически неспособны" :)
А чем тогда смысл этого Data Diode, если для него все равно нужен обратный канал, который как обычно надо фильтровать, мониторить и т.д.? В итоге приходим к обычному файерволлу, для которого этот самый Data Diode уже не нужен.
Ключевое отличие в том, что устройства Data diode физически неспособны передавать пакеты данных в две стороны. Это обусловлено конструкцией с использованием отдельных физических сетей — входной и выходной.
У маршрутизаторов тоже бывает две отдельных физических сети. Однако вполне себе передают пакеты данных в две стороны. Так что "физически неспособны" - не обосновано.
Хотя для бюджетного компа процессор N100 не так уж плох. Он на 20-30% быстрее в расчете на ядро, чем процессор моего игрового ноутбука 2011 года выпуска. Для бытовых нужд годится во всем, кроме игр, требующих выделенную графику.
На днях Яндекс еще одну подставу придумал - из подписки Плюс выделил изрядную часть фильмов и ТВ-каналов (самые интересные с точки зрения жены) в отдельную опцию «Больше кино». Первое время она была бесплатная, чтобы не сразу заметили подвох, а с 1 марта стала платная. Причем, судя по упоминанию в интернете, у некоторых за нее сразу стали списываться деньги. Так что рекомендую проверить списания, если имеете с ними дело. У меня лишних списаний еще не было.
Написал им в чат поддержки свои возражения. Робот (или человек, прикидывающийся роботом) сослался на пункты 2.13 и 2.14, где говорится, что они имеют право менять состав подписки как им заблагорассудится, а пользователь должен сам это все отслеживать. Ну и "Мы заранее писали вам на электронную почту, где рассказали об этом.", хотя не вижу ни письма в ящике, ни толку в этой отмазке.
Детально - не могу (да и не знаю толком), но в Greenplum pxf развернут на 100+ нодах (сегментах), а сам кластер вдвое больше.
С учетом того, что чтение происходит не из таблиц ,а из вьюх, из которых некоторые весьма тяжелые (десятки джойнов), получается приблизительно паритет с вашим решением.
Я вообще не уверен, что это живой человек писал.
А чем ограничена такая скорость? Выглядит совсем небольшой. Полагаю, было бы уместно описать подробнее на каком стенде и как измеряли.
У нас для обработки данных Spark-ом есть копирование данных из Greenplum в HDFS с помощью pxf. Так оно выполняется со скоростью порядка 8 Гбит/с. И это общая фактическая скорость со всякими паузами, стартами/стопами т.п. Транспортная получается еще выше.
А чем шифрование поверх OpenVPN поможет против определения сеансов OpenVPN ?
Скачал новую версию 13.0.11 - она сама нашла бриджи, когда указал, что я в России. Старая 13.0.8. так не могла. Спасибо разрабам за прогресс!
У телеграм-бота запрашивал около 20 штук, ни одна не заработала.
Про емайл-адрес попробую. Спасибо!
Я с начала февраля не могу подобрать входную ноду, чтобы TorBrowser заработал (Ростелеком, Москва). Он или бесконечно коннектится, или падает.
Можете подсказать источник доступных нод?
В целом, наверное, да. Но именно 4090 китайцы всеми правдами и неправдами скупают со всего мира. И явно дороже, чем за $600.
Как чего? кейсы применения, как разбирать полученное и т.д.
Спасибо за разъяснение!
В свое время делал подобное на управляемых коммутаторах путем включения мониторинга на порту. Тогда трафик одного или нескольких портов копировался на специальный выделенный порт. А с него трафик разбирали Wireshark-ом.
Фраза "физически неспособны" напомнила мне времена, когда в ходу был 10 и 100 Мбит/с Ethernet. В них прием и передача ведется по двум отдельным витым парам по одной в каждом направлении. И когда входящая пара была в обрыве, возникало странное ощущение - линк горит, активность пакетов мигает, однако подключиться куда-либо невозможно. Сначала ловишь небольшой диссонанс, потом смотришь на счетчики входящих/исходящих пакетов и становится понятно.
Вот это я понимаю "физически неспособны" :)
Вы столько раз повторили магическую фразу "физически неспособны", но так ни разу и не пояснили что за ней стоит.
А чем тогда смысл этого Data Diode, если для него все равно нужен обратный канал, который как обычно надо фильтровать, мониторить и т.д.?
В итоге приходим к обычному файерволлу, для которого этот самый Data Diode уже не нужен.
А где, собственно, принцип работы?
У маршрутизаторов тоже бывает две отдельных физических сети. Однако вполне себе передают пакеты данных в две стороны. Так что "физически неспособны" - не обосновано.
Понял, я про 21 год пропустил :)
Подумал, что в марте этого года.
Спасибо!
На высоте МКС?
Первичное торможение же как-то должно было произойти. Иначе он так бы и остался на орбите МКС.
Любопытно, а как этот блок тормозил?
+1. На Али такое от 12 т.р.
Хотя для бюджетного компа процессор N100 не так уж плох. Он на 20-30% быстрее в расчете на ядро, чем процессор моего игрового ноутбука 2011 года выпуска. Для бытовых нужд годится во всем, кроме игр, требующих выделенную графику.
На днях Яндекс еще одну подставу придумал - из подписки Плюс выделил изрядную часть фильмов и ТВ-каналов (самые интересные с точки зрения жены) в отдельную опцию «Больше кино». Первое время она была бесплатная, чтобы не сразу заметили подвох, а с 1 марта стала платная. Причем, судя по упоминанию в интернете, у некоторых за нее сразу стали списываться деньги. Так что рекомендую проверить списания, если имеете с ними дело. У меня лишних списаний еще не было.
Написал им в чат поддержки свои возражения. Робот (или человек, прикидывающийся роботом) сослался на пункты 2.13 и 2.14, где говорится, что они имеют право менять состав подписки как им заблагорассудится, а пользователь должен сам это все отслеживать. Ну и "Мы заранее писали вам на электронную почту, где рассказали об этом.", хотя не вижу ни письма в ящике, ни толку в этой отмазке.
С какими СУБД может работать «Дельта BI»? С Hadoop (HDFS/Hive/Spark) может?
Имеет ли свое внутреннее хранилище данных, как тот же Qlik Sense?