Pull to refresh
0
0

User

Send message

Обзор по LLM

Reading time10 min
Views11K

В прошлом году(2023) в мире больших языковых моделей(LLM) произошло много нового и нитересного. В новостях появились фразы о гонке искусственных интеллектов, а многие ведущие IT компании включились в эту гонку. Рассмотрим как все начиналось, кто сейчас занимает лидирующие позиции в гонке и когда роботы захватят мир.

Читать далее
Total votes 15: ↑14 and ↓1+17
Comments5

Быстрое пополнение словарного запаса иностранного языка методом «Ознакомление-забывание-вспоминание»

Level of difficultyMedium
Reading time7 min
Views38K

Привет, Хабр!

В этой статье мы описываем полную методику быстрого пополнения словарного запаса при чтении неадаптированной литературы на иностранном языке. Статья будет интересна тем, кто владеет иностранным языком на уровне B2-С1 и столкнулся с необходимостью увеличить словарный запас на 5000-10000 новых слов за относительно короткий срок, напр. за полгода-год.

Методика опробована на английском языке и мобильном приложении Яндекс.Переводчик, однако может быть использована для любого другого языка и/или мобильного приложения.

С уважением,
Владимир

Читать далее
Total votes 9: ↑7 and ↓2+9
Comments35

Как я с 0 поднял свой уровень английского до B2 и подтвердил этот уровень на экзамене IELTS Academic

Level of difficultyEasy
Reading time10 min
Views154K

Привет, Хабр!

В этой статье я расскажу о своем опыте изучения английского языка и поделюсь вещами которые работали и не работали для меня. Процесс изучения языка очень индивидуален, и никогда нельзя утверждать что верный какой-то один метод / схема (хотя некоторые статьи на Хабре прямо говорят: вот этот метод правильный, а вот этот нет).

Начнем с бекграунда и причин.

Я – инженер машиностроитель (мой профиль – торцевые уплотнения вращающихся валов). Я начал работать в своей отрасли сразу после бакалавра, параллельно заканчивая магистратуру, и как только я начал работать, я стал стараться впитать как можно больше теоретических знаний по моей специальности из академических источников. Достаточно бысто я понял, что последняя серьезная книга по моей специальности на русском языке была написана в 1978 году. И спустя больше чем 40 лет технологии сильно поменялись, а вот их описание на русском языке отсутствовает. Зато я нашел на reddit людей работающих в штатах в моей же отрасли. Они мне насоветовали кучу классной литературы. Разумееется, она вся на английском, и русского перевода не имеет.

Начал свой путь изучения языка я в январе 2022 года с около нулевого уровня. В всех моих школах преподование английского языка было не на самомом высоком уровне, а в университете было достаточно выучить 30 предложений наизусть чтобы получить достойную оценку на экзамене.

Конечно, перед началом обучения я прочитал много статей на хабре о том как люди учат языки. Некоторые из них поражали скоростью овладения материалом (что-то вроде с нуля до fluent за 4 месяца). Но одна вещь была неизменна – у всех был какой-то план изучения языка.

Читать далее
Total votes 150: ↑146 and ↓4+165
Comments220

Создай своего ИИ-ассистента с помощью ChatGPT и Streamlit

Level of difficultyMedium
Reading time10 min
Views32K

Автор: Дмитрий Косаревский

Привет, Хабр! 👋

Меня зовут Дима Косаревский, я инженер данных (DE), увлеченный Data Science и всем, что связано с этим направлением.
Data Science позволяет извлекать ценную информацию из огромных объемов данных при помощи статистических и вычислительных методов.

В последнее время эти ИИ, вроде ChatGPT, врываются прямо во все сферы. И вот благодаря увлечению Data Science можно использовать этих ботов, чтобы помогать людям, да ещё и пообщаться с ними на разные темы. Здорово, правда?

ChatGPT действительно впечатляет. Он не только общается на разные темы, но еще и стихи сочинять умеет.
Вот один из примеров, которые я получил недавно:

Поехали 🚀
Total votes 26: ↑24 and ↓2+27
Comments15

2 SIM для дачного роутера — это много или мало?

Reading time6 min
Views41K
В прошлом году я проводил тесты 3G/4G роутеров для загородного дома и эта тема показалась многим интересна. После тестов я даже один роутер встроил в свой автомобиль, чтобы иметь стабильный доступ в Интернет в пути, но всё же наиболее важным мне показалась стабильность доступа в сеть дома. В конце прошлого года я обратил внимание, что на рынке появились российские разработки двухсимочных 3G/4G роутеров. И это не просто поделки на базе USB модемов, а полноценное устройство на базе Linux-машины. Я обзавелся им, потестировал месяц и сегодня решил поделиться результатами своих наблюдений. По традиции, сделал видео для тех, кто не любит читать.

Total votes 13: ↑12 and ↓1+19
Comments50

Математика для Data Science и машинного обучения за 8 месяцев. Подробный план обучения

Level of difficultyEasy
Reading time7 min
Views79K

Беспилотные автомобили, продвинутые голосовые ассистенты, рекомендательные системы – это только малая часть тех классных продуктов, которые создаются с помощью инженеров по машинному обучению и, думаю, не для кого не секрет, что за кулисами сего чуда стоит математика. Именно она играет главную роль в понимании алгоритмов машинного и глубокого обучения.

Машинное обучение держится на трёх основных столпах:

Читать далее
Total votes 19: ↑18 and ↓1+22
Comments44

Как легко понять логистическую регрессию

Reading time5 min
Views207K
Логистическая регрессия является одним из статистических методов классификации с использованием линейного дискриминанта Фишера. Также она входит в топ часто используемых алгоритмов в науке о данных. В этой статье суть логистической регрессии описана так, что она станет понятна даже людям не очень близким к статистике.

image
Читать дальше →
Total votes 25: ↑19 and ↓6+13
Comments2

Как понять, что ваша предсказательная модель бесполезна

Reading time15 min
Views26K

При создании продуктов на основе машинного обучения возникают ситуации, которых хотелось бы избежать. В этом тексте я разбираю восемь проблем, с которыми сталкивался в своей работе.


Мой опыт связан с моделями кредитного скоринга и предсказательными системами для промышленных компаний. Текст поможет разработчиками и дата-сайнтистам строить полезные модели, а менеджерам не допускать грубых ошибок в проекте.


image


Этот текст не призван прорекламировать какую-нибудь компанию. Он основан на практике анализа данных в компании ООО "Ромашка", которая никогда не существовала и не будет существовать. Под "мы" я подразумеваю команду из себя и моих воображаемых друзей. Все сервисы, которые мы создавали, делались для конкретного клиента и не могут быть проданы или переданы иным лицам.


Какие модели и для чего?


Пусть предсказательная модель — это алгоритм, который строит прогнозы и позволяет автоматически принимать полезное для бизнеса решение на основе исторических данных.

Читать дальше →
Total votes 38: ↑36 and ↓2+34
Comments5

Приложения для заметок с хостингом на своём сервере (замена Evernote)

Reading time9 min
Views48K
Я давно уже пользуюсь Evernote (далее местами — EN) для заметок. Мне от него много не надо — вложенность хотя бы в пару уровней, простой WYSIWYG-редактор, возможность прикреплять файлы, автосинхронизация, работа под Windows и Android, оффлайн-режим (включая мобильник), поиск по содержимому, сохранение веб-страничек. Коллективной работы не требуется, OCR приятен, но не критичен, веб тоже, даже self-hosting — при моей любви к таким решениям — приятная фишка, но если чего-то не будет из предыдущего списка, то я уж лучше буду пользоваться дядиным решением, а не терпеть отсутствие функций.


В принципе, сам по себе Evernote меня более-менее устраивает — работает, информацию я ещё не терял, просто сильно не нравится, куда он идёт. После выхода «new evernote» приложение резко потолстело как внешне, так и в плане потребления ресурсов, отбросило часть функций, приделало какие-то новые, лично мне не особо нужные, люди жалуются на пропадание данных, проблемы с оффлайн-режимом на телефонах, безопасность под вопросом, да и вообще — денег хочет.

Впрочем, заплатить за удобный сервис разумные деньги я не против, но если можно не платить — то предпочту не платить. Потому, когда собрал новый домашний сервер и начал перетаскивать какие-то сервисы от «дяди» к себе, задумался и о заметках. Как история показывает, этот тип приложений — один из самых подверженных различным облачным болезням, типа пропадания доступа, закрытия сервиса или смене тарифов.
Читать дальше →
Total votes 11: ↑11 and ↓0+11
Comments106

Обзор бесплатных источников котировок фондового рынка

Reading time5 min
Views57K
Здравствуйте. Я работаю программистом, и у меня есть хобби — изучение фондового рынка. Фондовый рынок с точки зрения программиста — набор данных, которые надо сперва получить, а потом проанализировать. В этой статье я расскажу о первой части квеста — как данные получить. Статья не претендует на полноту исследования, а лишь описывает мой субъективный опыт, полученный за последние пару лет.

Условия задачи: меня интересуют акции американских компаний на дневном таймфрейме, чтобы каждое утро мой робот присылал мне на почту автоматический отчёт о вчерашней динамике рынка. Если будут и другие рынки с другими таймфреймами — хорошо. Платить деньги за данные мне пока не хочется.

Отдельно замечу, что я никаким образом не аффилирован ни с одной из организаций, упомянаемых в статье. Я просто ищу пути решения своих задач, и делюсь опытом.
Читать дальше →
Total votes 4: ↑3 and ↓1+3
Comments17

Free API Мосбиржи в формулах Microsoft Excel

Reading time3 min
Views85K
Ранее уже писал про получение данных с Московской биржи через формулы Google Таблиц. Однако остался вопрос — можно ли получать эти же данные при локальном использовании Microsoft Excel или его свободного аналога LibreOffice Calc? Без использования скриптов или ручного копирования.


Microsoft Excel с формулами получения данных с Мосбиржи

И на этот вопрос можно дать положительный ответ. Это даже более удобно, поскольку не приходится ожидать загрузки результатов работы функции IMPORTXML в Гугл Таблицах.

Аналогом этой функции в Excel и Calc выступает связка формул: WEBSERVICE (ВЕБСЛУЖБА) + FILTERXML (ФИЛЬТР.XML).
Microsoft Excel или LibreOffice Calc плюс ИСС Мосбиржи
Total votes 7: ↑7 and ↓0+7
Comments74

Ода зимней влажности или user experiences dryness

Reading time8 min
Views16K
В общем, как и полагается «брутальному сибирскому мужику», никогда я на такие мелочи, как сухость дома, внимания не обращал. Лишь бы прохладненько было. О влажности вспоминал исключительно летом, когда жарко и влажность переходит в противную сырость.

Но тут с нового года начал я тестить у себя Magic Air и увидел, что зимой, при хорошем проветривании, влажность дома ниже, чем в пустыне Сахара! Мой рекорд – 7%, это вообще дичь и сушь невероятная. По физике-то «и так понятно было», холодный воздух с улицы дома греется и его относительная влажность почти на нет сходит. Но тут, как говорится, лучше один раз увидеть.

Возможно, далее началась классическая ипохондрия, но стало мне не по себе от такого пересыхания. А уж вернувшись из отпуска, где привык к нормальной влажности 60%, совсем беда началась. Горло дерёт от сухости, просыпаешься – нос забит сами-знаете-чем, чувствуешь себя губкой Бобом, которого выкинуло на пляж. Я сначала даже попробовал по старой советской традиции баночки с водой и тряпочки мокрые у батареи ставить, но, как показали замеры, это «пердячий лимонад», эффект близок к нулю.


Читать дальше →
Total votes 14: ↑9 and ↓5+4
Comments101

Яндекс.Маршрутизация: как мы окунулись в логистику и решили поменять будущее

Reading time16 min
Views32K
Этот текст возник благодаря появившейся в Яндексе забаве random coffee — система назначает встречу двум случайным сотрудникам, если они указали, что хотят участвовать в таких встречах. Мои собеседники находили рассказ о том, чем я занимаюсь, интересным, и вот у меня дошли руки предложить его более широкой аудитории.

До Хабра я выступил с гостевой лекцией на факультете компьютерных наук Вышки и Яндекса — рассказал студентам ФКН ровно то же самое, о чем сейчас расскажу вам (в конце поста есть видео). А именно — как путешествия с водителями, развозящими заказы из интернет-магазинов, убедили нашу команду делать новый сервис про логистику. Надеюсь, у меня получится передать вам мои ощущения от этой сферы: я поездил в «Газели» и «Ларгусе», послушал жалобы сотрудников на придирчивую «тетку из Ногинска» и стал свидетелем того, как заказ из трех самокатов для трех детей превратился в драму. А в конце поговорим про технологии.
Читать дальше →
Total votes 38: ↑34 and ↓4+50
Comments22

Коронавирус: как мы себя обманываем

Reading time11 min
Views692K
Я прекрасно понимаю, что степень истерии на фоне коронавируса привела общество к конфликту между последователями и отрицателями всеобщей паники. Достаточно острая групповая поляризации не вызывала особого желания излагать свою точку зрения на широкую публику. Но когда меня всюду начали преследовать конспирологические теории и бездумные толкования данных, то я понял, что утешающих аргументов очень мало и решил восполнить их дефицит.

Искажение смертности


Уверен для многих станет откровением факт того, что количество смертей при наличии коронавируса, зафиксированных в ВОЗ, не является числом смертей от коронавируса.

А как вы думали? Новая для человечества инфекция ещё до конца не изучена, но в больнице из пригорода какого-нибудь Ливорно уже умеют определять смерть от неё? Назвать причину смерти - это же не баг при компиляции отловить. Всё гораздо сложнее.

Есть заключительный клинический диагноз. Основное заболевание может включать несколько нозологических форм. Существует понятие конкурирующих заболеваний, которыми одновременно страдал умерший и каждое из которых в отдельности могло привести к смерти.

Есть ещё заключение о причине смерти по результатам патологоанатомического вскрытия, а также случаи его расхождения с заключительным клиническим диагнозом, которые разрешаются экспертной комиссией.

Именно поэтому ВОЗ чёрным по белому пишет
Определение истинной смертности от COVID-19 требует дополнительного времени. Сегодняшние данные свидетельствуют о том, что общий коэффициент смертности составляет 3–4%, при этом уровень смертности от инфекции будет ниже.
Читать дальше →
Total votes 447: ↑257 and ↓190+146
Comments1049

Почему об этом стоит задуматься всем: ответы на самые актуальные вопросы о коронавирусе Covid-19

Reading time7 min
Views186K
Автор статьи Dave Troy — исследователь онлайн-дезинформации и лжи, а также эксперт в области расчётов, связанных со статистикой болезней. В последнее время он отвечал на многие вопросы о Covid-19 в социальных сетях, пытался опровергнуть заблуждения и ложь. Здесь приведены наиболее распространенные ответы, в надежде, что так эта информация станет более доступной для других.

Дейв не является специалистом в области здравоохранения и медицины, однако приложил дополнительные усилия, чтобы привести все ответы в соответствие с официальными данными и медицинскими рекомендациями.

Почему люди беспокоятся об этом вирусе больше, чем о гриппе?


Каждый человек, зараженный сезонным гриппом, может заразить примерно 1,3 других людей. SARS-CoV-2 (вирус, вызывающий Covid-19) заражает примерно в три раза больше людей (по оценкам, от 2 до 4). Это число называется репродуктивным фактором, или «R0» (иногда произносится как R-ноль). Такая скорость распространения позволяет вирусу очень быстро размножаться, и это может привести к перегрузке и без того загруженной системы здравоохранения.
Читать дальше →
Total votes 105: ↑90 and ↓15+104
Comments612

Коронавирус: почему надо действовать прямо сейчас

Reading time19 min
Views5.6M

Вступление


Учитывая всё, что происходит с коронавирусом, может оказаться очень сложно принять решение, что делать прямо сейчас. Стоит ли подождать, пока станет больше информации? Надо ли предпринять что-то уже сегодня? Если да, то что?

В этой статье со множеством графиков, данных и моделей из большого числа источников мы постараемся ответить на вопросы:

  • Сколько людей заболеют коронавирусом в вашем регионе?
  • Что случится, когда они начнут заболевать?
  • Что вы должны делать?
  • Когда?

Когда вы закончите читать статью, вы придёте к следующим выводам:

  • Коронавирус приближается к вам.
  • Он приближается с экспоненциальной скоростью: сперва постепенно, а потом внезапно.
  • Это вопрос нескольких дней. Может быть, неделя или две.
  • Когда это случится, ваша система здравоохранения будет перегружена.
  • Ваши сограждане будут лечиться в коридорах.
  • Изможденные медицинские работники сломаются. Некоторые погибнут.
  • Им придётся решать, кто из пациентов получит лечение, а кто умрет.
  • Единственный способ предотвратить это — социальная изоляция уже сегодня. Не завтра. Сегодня.
  • Это значит держать как можно больше людей дома, начиная с сегодняшнего дня.

Если вы политик, общественный деятель или руководитель, у вас есть власть и ответственность, чтобы предотвратить описанное выше.

Сейчас вы можете опасаться: что, если это избыточная реакция? Не станут ли люди смеяться надо мной? Вдруг они разозлятся на меня? Не буду ли я выглядеть глупо? Не лучше ли подождать, пока другие сделают первые шаги? Что, если это слишком навредит бизнесу?

Однако через 2-4 недели, когда весь мир будет закрыт и изолирован, когда окажется, что несколько драгоценных дней социальной изоляции, которые вы организовали, спасли жизни, вас больше не будут критиковать. Люди будут благодарить вас за то, что вы приняли правильное решение.

Итак, давайте разбираться.
Много графиков и длинный текст
Total votes 424: ↑368 and ↓56+456
Comments2074

Как я нашел способ отследить всех водителей «Ситимобил»

Reading time5 min
Views144K
В субботу вечером я, как всегда, сидел и снифил трафик со своего телефона. Внезапно, открыв приложение «Ситимобил» я увидел, что один интересный запрос выполняется без какой-либо аутентификации.

Это был запрос на получение информации о ближайших машинах. Выполнив этот запрос несколько раз с разными параметрами я понял, что можно выгружать данные о таксистах практически в реалтайме. Вы только представьте, сколько интересного можно теперь узнать!


Читать дальше →
Total votes 362: ↑359 and ↓3+470
Comments300

Http запросы — мы все это делаем неправильно

Reading time3 min
Views189K
В проекте, над которым я работаю, мы используем огромное количество сторонних библиотек. Многие из них — адаптеры для различных сервисов. Что их объединяет, это то, что они работают с сетью. Json поверх http, soap поверх http, какие-то свои протоколы поверх http. Т.е. все так или иначе используют http. И как ни удивительно, мало кто из них пользуется преимуществами его последней версии. Я не поленился заглянуть в википедию, прошло ровно 14 лет как была принята спецификация http 1.1. И потому я решил обратиться с призывом:
image

Да, речь пойдет о keep alive. Суть в том, что, начиная с http 1.1, клиент и сервер могут договориться не закрывать установленное tcp-соединение после завершения запроса, а переиспользовать его для следующих запросов. Это нужно потому, что на установку соединения требуется время. Иногда это время больше, чем время самого запроса. И если все серверы уже давным-давно такую возможность поддерживают, а все браузеры и большинство других клиентов её используют, то у разработчиков различных библиотек для популярных языков программирования здесь почему-то пробел.
Читать дальше →
Total votes 167: ↑142 and ↓25+117
Comments169

Борщевик Сосновского. В МО ввели штрафы за распространение

Reading time20 min
Views109K
Изображение с pixabay. Автор YvonneH1 ноября 2018 года Московская Область без объявления войны (объявленной парой лет ранее), ввела финансовые санкции. Против собственников территорий, предоставляющих плацдарм для распространения борщевика Сосновского. Ура!

Мне, правда, интересно, кто будет платить за титаническую плантацию борщевика между Шереметьево и ниткой Аэроэкспресса. Плантацию, встречающую гостей и жителей Москву сразу по прилёту в белокаменную. Там растут просто миллионы штрафа.

Что же такое борщевик Сосновского и почему с ним надо бороться. Как это делать. Как это делать не нужно. А так же научные и псевдонаучные факты в нескучно-популярном изложении.
Читать дальше →
Total votes 289: ↑268 and ↓21+247
Comments684

Краткая сводка о заблокированных адресах

Reading time3 min
Views65K

Здравствуйте, друзья! По просьбе lostpassword решил написать краткую сводку о состоянии блокировки на текущий день. В данной статье используются данные полученные из неофициальной выгрузки РКН. В данной сводке не будут представлены отдельные IP-адреса различных проектов, а будут рассмотрены только префиксы размером от /24.

Читать дальше →
Total votes 92: ↑88 and ↓4+84
Comments1134
1
23 ...

Information

Rating
Does not participate
Registered
Activity