При анализе данных и построении моделей машинного обучения часто возникает необходимость аппроксимировать сложные функции. PyTorch предоставляет удобные инструменты для создания и обучения нейронных сетей, которые могут быть эффективно использованы для этой цели. В этом посте мы рассмотрим простой пример аппроксимации функции с использованием PyTorch.
Интересуюсь природой вещей
Не становитесь безопасниками
Мир информационной безопасности манит своей романтикой: борьба со злом, защита данных, хакерские трюки. Но за ширмой героических будней скрывается изнурительная работа, горы рутины и постоянный стресс. Эта статья — не хвалебная ода профессии, а откровенный разговор о ее темной стороне.
Возможно, в комментариях напишут «Не надо обобщать, у меня все не так» — это правда, многое зависит от конкретной компании или специализации. Но в ИБ есть общие «болячки», о которых нельзя молчать.
Что скрывает под собой скрытое (латентное) пространство?
Работа с латентными пространствами
Латентное пространство полезно для изучения функций данных и поиска более простых представлений данных для анализа.
Как используются латентные пространства в библиотеке eXplain-NNs?
Визуализация латентных пространств: Этот метод позволяет отобразить скрытые признаки или паттерны, выученные нейронной сетью, в этих латентных пространствах. Это может быть полезно для понимания, как модель организует данные и какие внутренние представления она использует для принятия решений.
Анализ гомологии латентных пространств: Еще один метод, предоставляемый библиотекой eXplain-NNs, это анализ гомологии латентных пространств. Анализ гомологии используется для изучения структуры и связей между этих латентных представлений. Это помогает понять, каким образом информация организована внутри модели и влияет на ее способность принимать решения.
Назад к микросервисам вместе с Istio. Часть 1
Прим. перев.: Service mesh'и определённо стали актуальным решением в современной инфраструктуре для приложений, следующих микросервисной архитектуре. Хотя Istio может быть на слуху у многих DevOps-инженеров, это довольно новый продукт, который, будучи комплексным в смысле предоставляемых возможностей, может потребовать значительного времени для знакомства. Немецкий инженер Rinor Maloku, отвечающий за облачные вычисления для крупных клиентов в телекоммуникационной компании Orange Networks, написал замечательный цикл материалов, что позволяют достаточно быстро и глубоко погрузиться в Istio. Начинает же он свой рассказ с того, что вообще умеет Istio и как на это можно быстро посмотреть собственными глазами.
Istio — Open Source-проект, разработанный при сотрудничестве команд из Google, IBM и Lyft. Он решает сложности, возникающие в приложениях, основанных на микросервисах, например, такие как:
Существует ли частотная область в реальности?
Частотная область — волшебное математическое пространство, которое трансформирует комплексные сигналы в амплитуды и фазы синусоид. Она открывает нам возможность применять разнообразные методы обработки сигналов, казавшиеся почти недостижимыми при их анализе в наиболее очевидной форме, а именно — во временной области.
Однако насколько материально частотное пространство? Дискретное преобразование Фурье (DFT) имеет ключевое значение в сферах связи и анализа сигналов, но не раскрывает ли оно более глубокие, скрытые аспекты реальности? Рассмотрим, к примеру, квадратные волны. Действительно ли они существуют, если преобразование Фурье разлагает их на ряд нечетных гармоник синусоид, которые, в свою очередь, эффективно предсказывают поведение электронных схем в реальном мире?
Сегодня я хочу немного уменьшить роль преобразования Фурье, сняв его с постамента. Несомненно, синусоидальные волны являются повсеместными в природе и служат мощным аналитическим инструментом для множества задач. Однако возможно создание иных частотных областей с хорошими свойствами, которые подчиняются другим принципам. К таким областям можно отнести ту, где реальностью являются исключительно квадратные волны, а все остальное представляет собой лишь гармонические составляющие.
API без версий — делаем API обратно совместимыми НАВСЕГДА, чтобы позволить бизнесу сотрудничать
Версионирование API является важной частью жизненного цикла API. Некоторые стили API, например, GraphQL, полностью игнорируют версионирование и называют это функцией. Другие, например, RESTful API, предоставляют разработчикам множество различных способов реализации версионирования.
Я считаю, что версионирование для API важно, но также слишком сложно. Это важно, потому что обратная совместимость критически важна в мире взаимосвязанных компаний, использующих API в качестве моста. В то же время это сложная проблема для команд разработчиков.
Все больше и больше компаний начинают понимать свои API как продукты. Компании будущего не будут работать в изоляции. Вместо этого они будут использовать API от сторонних поставщиков, предоставляя при этом свои API другим.
Опираясь на API других компаний, эти компании получат преимущество, так как смогут больше сосредоточиться на своем собственном бизнесе. В то же время, предоставляя свои собственные API в качестве продукта другим компаниям, они получат преимущество перед теми компаниями, которые не позволяют другим легко интегрироваться с ними. Все это приведет к выигрышной ситуации для участников. Я ожидаю, что этот тренд может только привести к экспоненциальному росту. Чем больше проблем легко решаемы с помощью интеграции с API, тем проще становится для других создавать новые бизнес-модели на его основе, что, в свою очередь, добавит больше API в экосистему.
Как я взял в кредит 66 млн и хотел заработать 40 млн на выращивании тюльпанов
Вот уже 4-й год я выращиваю и продаю тюльпаны. Поиск дешевой аренды теплиц привел меня в Симферополь. Здесь я планировал вырастить 3 млн цветков и получить 40 млн прибыли.
Я решил использовать простую и самую эффективную бизнес-стратегию: вырастить большой объем цветка, чтобы получить низкую себестоимость и задемпинговать рынок дешевым цветком приемлемого качества.
Есть мнение, что агробизнес, в частности, выращивание тюльпанов – это сельская романтика, запах земли, работа руками, и вот уже крупный хрустящий тюльпан с большим бокалом отправляется к довольному покупателю. А на счет счастливого фермера отправляется внушительная сумма, вознаграждающая за труд.
А как на самом деле?
А в чем проблема работать с файлами?
Данные - это важный компонент системы. Приложение может хранить их где угодно, но в результате все сводится к файлам. Файлы - это хорошая абстракция, но она протекает: если не знать того, как работают ОС или гарантии файловой системы, то легко выстрелить себе в ногу.
Меня увлекла тема отказоустойчивости, а конкретно - отказоустойчивой работы с файлами. В этой статье я попытался соединить все полученные знания:
Кто участвует в процессе записи
Ошибки, которые могут произойти
Что от нас зависит, а что нет
И самое главное - как это этого защититься
Управление цветами в Seaborn: как визуализировать данные красиво
Привет, Хабр. В этой статье я расскажу про своё видение работы с цветом при визуализации графиков. Буду показывать все на примерах — уверен, они вам понравятся.
Я покажу не только картинки было-стало, но и приведу примеры кода, а также объясню логику принятия решений: как использовать ту или иную палитру в конкретной задаче. И что самое главное, дам пошаговые советы, как сделать график логичнее и понятнее для заказчиков.
Меня зовут Саша, сейчас я работаю в Lamoda Tech старшим бизнес/дата-аналитиком. До этого я несколько лет был специалистом по данным в другой компании и регулярно представлял совету директоров анализ и прогноз физических и бизнес-показателей. Умение донести результаты исследования до заказчика, особенно если он не погружен в работу с данными — это важный аспект моей профессии. Надеюсь, моя статья с этим немного поможет.
Сам себе мобильный интернет. Запускаем базовую станцию стандарта 4G LTE
Я уже не раз рассказывал про то, как в домашних условиях поднять сотовые сети разных стандартов. Но всё же все они были уже весьма древними. Самое время замахнуться на кое-что поинтереснее — LTE.
Итак, в сегодняшней статье поговорим о том, что детально в нашем сообществе не описывал практически никто — о том, как запустить базовую станцию самого нового из поддерживаемых большинством телефонов этой страны стандартов. Поговорим об особенностях её работы и о трудностях, с которыми, возможно, придётся столкнуться при запуске. Традиционно будет много интересного.
Вам не нужен time management, вам нужен attention management
Привет, меня зовут Ася Исакова, и я организационный психолог. Я уже 10 лет работаю с разными командами, и за это время видела сотни горящих, выгорающих и сгоревших на работе людей. В этой статье я расскажу, как управлять своим вниманием так, чтобы хватало сил на важные дела и оставалось на себя.
Разбираемся с управлением вниманием на примере огурцов, снежков и медведей
Как хакеры ломают банки за 48 часов и что нужно для защиты
На последней кибербитве Standoff 12, которая проходила в ноябре 2023 года, впервые был представлен вымышленный финтех — Global Digital Bank, максимально автоматизированный, с облачными приложениями на основе микросервисов «под капотом». Задачей команд атаки (red team) было реализовать недопустимые события, в случае с финтехом — остановить работу банка, выкрасть базу данных клиентов, взломать новостной портал. Назначение PT Container Security — защитить контейнерные среды и помочь синим командам отследить действия атакующих. Что из этого получилось? Рассказываем!
Medallion Джима Саймонса – самый черный ящик индустрии по управлению деньгами
Джим Саймонс — один из самых успешных менеджеров хедж‑фондов в истории. Основатель инвестиционной компании Renaissance Technologies и фонда Medallion — самого результативного и самого закрытого фонда в современной финансовой истории. Попробуем собрать информацию из разных источников и разобраться, в чем секрет успеха. Ведь подходы к управлению деньгами, используемые Саймонсом, будут полезны всем, кто управляет деньгами на фондовом рынке.
Почему вы много работаете, а зарабатываете сильно меньше чем должны?
Думаю, многие прекрасные специалисты и предприниматели ловили себя на мысли: «Вкалываю как конь, много чего знаю и умею, на голову выше многих своих коллег и конкурентов, а зарабатываю посредственно. Что я делаю не так?» В этой статье я хочу подсветить одну неочевидную причину, из-за которой вы много работаете, но это никак не увеличивает ваш доход.
Сколько можно не заработать на шаурме?
В 2018-м я с партнером открыл свою точку шаурмы. Сейчас у нас 3 шаурмячные.
Я слышал в интернете, что бизнес на шаверме это низкий порог входа, быстрая окупаемость и востребованный продукт. Поэтому решил рассказать, как обстоят дела в этом бизнесе на самом деле.
ДИСКЛЕЙМЕР: Статья написана на основе интервью с сооснователем точек шаурмы Кебаб МД Андреем Бычковым, г. Москва.
Инженеры, мы в ваших руках
— Стакан наполовину пуст или наполовину полон?
— Мы инженеры. Стакан изготовлен по неверной спецификации.
/Сериал "Мир Дикого Запада" (Westworld)/
В середине этого января я шла с учёбы домой мимо могилы Ивана Кулибина. Простудный насморк не давал продышаться, я то и дело останавливалась среди гигантских сугробов. У памятника стоял первоклассник с бабушкой, внимательно его разглядывал, а потом спросил: «Кто это?». «Изобретатель», — машинально подумала я. «Великий русский инженер», — ответила бабушка. «Ин-же-нер», — повторил мальчик, кивнул и продолжил рассматривать чертежи на камне.
Инженер, пожалуй, более ёмкое слово. Для меня оно обыденное: выросла в семье инженеров-строителей, половина друзей — инженеры, работала инженером по тестированию, читала книги про инженеров. В общем, слово-значок: с башенным краном, каской, тубусом и шестерёнками. А между тем, это слово — целая вселенная со своей историей, драмой, трагедией, возрождением и, кажется, с прекрасным будущим.
Динамический пароль 2.0
Итак, далее будет:
- итоги на написанную ранее статью
- еще идеи на её счет
- расскажу о принципиально другом «динамическом пароле 2.0», лишенном недостатков первого.
- а так же,
скандалы, интриги, расследованияидею как задать пароль:
который вы сами не сможете набрать в состоянии алкогольного опьянения,
который можно набрать на глазах у друга, и состоящий из символов «QQQQQ»
и он не сможет его повторить...
Выжимаем из Random Forest максимум: увеличиваем полноту при 100% точности
Была классическая задача: по табличным данным предсказать некое событие — случится или нет. И как бы я к этим данным ни подбирался, с какого ракурса ни смотрел, результат, увы, не впечатлял. Данных было мало, а то, что было, обладало слабой предсказательной силой. Хотя казалось, что что-то вытащить все-таки можно.
И вот, просматривая отдельные деревья решений, меня осенило — попробую-ка я обрезать все деревья, используемые в Random Forest, до одной, но самой эффективной ветки. И — о чудо! — заметно выросла как точность (precision), так и полнота (recall). И особенно полнота выросла на высоких уровнях точности.
Проверил этот способ на других задачах. И везде при 100% точности заметно выростала полнота. Что же я сделал?
Пишем чат-бот для работы с PDF
Популярность языковых моделей, в частности ChatGPT, растет в геометрической прогрессии, но многие из нас все еще сталкивается с определенными ограничениями, такими как устаревшая информация, которые OpenAI пока что не смогла преодолеть.
Но задумывались вы над тем, чтобы задавать вопросы непосредственно из своих документов, хранящихся в облаке? Сохраните своё время, которое уходило бы на поиски и ручной мониторинг сайтов, и задействуйте автоматизацию при работе с PDF-документами. Если вас занимает такая перспектива, эта статья окажется для вас ценным ресурсом.
Мы можем избежать риска недостоверных данных в ChatGPT, внедрив работу модели через RAG. В нашем материале мы подробно объясним, как создать чат-бота для взаимодействия с документами из вашего хранилища с помощью LangChain.
Приступим (:
Первое пришествие айтишниц: почему в 50-х годах в программировании женщин было больше, чем в нулевые?
В наши дни середины 2020-х женщинами в IT трудного кого-то удивить. Шутки насчёт девушек-программисток рубежа нулевых и десятых годов уже стали анахронизмом — но ещё не так давно компьютерная среда считалась делом суровых
Information
- Rating
- 3,902-nd
- Location
- Москва, Москва и Московская обл., Россия
- Registered
- Activity