Pull to refresh

Классификация документов: 7 практических подходов для небольших наборов данных

Reading time11 min
Views20K

Классификация документов или текста — это одна из важнейших задач в обработке естественного языка (natural language processing, NLP).


У нее есть множество применений, таких как классификация новостей, фильтрация спама, поиск неприемлемых комментариев и т. д.


У больших компаний нет проблем со сбором больших наборов данных, поэтому обучение модели классификации текста с нуля — вполне осуществимая задача.


Однако, для большинства реальных задач большие наборы данных — редкость, и для построения своей модели приходится проявлять смекалку.


В этой статье я расскажу о практических подходах к преобразованиям текста, которые сделают возможной классификацию документов, даже если набор данных небольшой.

Читать дальше →
Total votes 5: ↑5 and ↓0+5
Comments0

Обновление Telegram: менеджер загрузок и трансляции с помощью других приложений

Reading time2 min
Views6.3K

Вышло очередное обновление Telegram. В нем улучшили управление загрузками, выбор порядка фотографий и видео в альбомах, а также внедрили возможность телевещания через каналы. Подробнее о новых возможностях в статье:

Читать далее
Total votes 12: ↑10 and ↓2+8
Comments9

Вложения в комментах, почему бы нет?

Reading time1 min
Views573
Пишу коммент, нужно добавить вложение и тут я осознаю, что прийдется выкладывать где-то в другом месте, а не на Хабре — что явно «Не айс!»(с)
Я понимаю, что Хабр — это не файлопомойка, но все же почему нельзя ввести возможность присоединения к комментарию небольшого вложения (картинка, архивчик… скажите, что не возникало у Вас такой необходимости?), думаю, что тех же 300кб будет придостаточно…
Total votes 12: ↑7 and ↓5+2
Comments9

Альтернативный способ распространения файлов

Reading time3 min
Views3.4K
В последнее время в сети стало распространённым выкладывание различных файлов на различные ресурсы-«файлопомойки». Сейчас я не хочу обсуждать проблемы, связанные с просмотром рекламы при или перед скачиванием, проблемы получения премиум-эккаунтов и удаление файлов по претензиям правообладателей. Найденный мной способ может использоваться как во благо — для автоматического распространения файлов внутри группы, так и во вред — для распространения вирусов, патчей и кряков и т.д. Виноват не изобретатель пистолета, а рука, его держащая.
Читать дальше →
Total votes 70: ↑63 and ↓7+56
Comments45

Улучшения в Google Drive: отправка файлов в виде вложений Gmail, поддержка ODF и голосовое управление в мобильной версии

Reading time1 min
Views4.7K
Поисковый гигант незаметно выкатил несколько улучшений своего сервиса Google Drive для десктопа и для мобильных клиентов под Android и iOS.

Google Drive получил более тесную интеграцию с почтой Gmail: ранее возможность поделиться файлом заключалась в том, чтобы дать на него ссылку. Если же файл удалялся, то адресат, соответственно, терял к нему доступ. Теперь, если файл отправлен командой «Insert as attachment», то он физически будет храниться в аккаунте почты получателя в независимости от того, сохранился ли он в исходном размещении или нет.
Узнать подробности
Total votes 7: ↑7 and ↓0+7
Comments4

Gmail увеличил размер вложений с 20 до 25 Мб

Reading time1 min
Views4.2K
Теперь вы можете обмениваться письмами с вложениями до 25 Мб.
Проблема в том, что гмейловский флешевый аплоадер иногда не позволяет загружать файлы более 10 Мб и выдает ошибку. Эту проблему на данный момент можно обойти переключением к стандартному аплоадеру в настройках Gmail.

И естественно клиент получателя должен поддерживать большие вложения, что, впрочем, является дополнительным стимулом переходить на Gmail :)
Total votes 64: ↑43 and ↓21+22
Comments106

Word2vec в картинках

Reading time14 min
Views133K


«Во всякой вещи скрыт узор, который есть часть Вселенной. В нём есть симметрия, элегантность и красота — качества, которые прежде всего схватывает всякий истинный художник, запечатлевающий мир. Этот узор можно уловить в смене сезонов, в том, как струится по склону песок, в перепутанных ветвях креозотового кустарника, в узоре его листа.

Мы пытаемся скопировать этот узор в нашей жизни и нашем обществе и потому любим ритм, песню, танец, различные радующие и утешающие нас формы. Однако можно разглядеть и опасность, таящуюся в поиске абсолютного совершенства, ибо очевидно, что совершенный узор — неизменен. И, приближаясь к совершенству, всё сущее идёт к смерти» — Дюна (1965)

Я считаю, что концепция вложений (embeddings) — одна из самых замечательных идей в машинном обучении. Если вы когда-нибудь использовали Siri, Google Assistant, Alexa, Google Translate или даже клавиатуру смартфона с предсказанием следующего слова, то уже работали с моделью обработки естественного языка на основе вложений. За последние десятилетия произошло значительное развитие этой концепции для нейронных моделей (последние разработки включают контекстуализированные вложения слов в передовых моделях, таких как BERT и GPT2).
Читать дальше →
Total votes 43: ↑43 and ↓0+43
Comments16

Отправка сообщения с вложением по e-mail из модуля в Drupal

Reading time8 min
Views1.8K
Понадобилось мне недавно сделать казалось бы простейшую вещь, а именно с помощью некоторой формы на сайте отправить письмо с вложением. И сделать это надо на сайте, построенном на Друпале… Как оказалось, этот пост очень правильный — действительно нужные рецепты не найдешь даже погуглив. В рунете вообще плохо с информацией, на диком западе получше, однако по теме ничего путного найти не удалось, кроме одного способа, который требует установки двух довольно навороченных модулей — ну это просто, по-моему, ни в какие ворота… Как и в случае с джумлой, пришлось копать сорсы различных модулей, api.drupal.org ну и, разумеется, додумывать. Результаты размышлений предлагаю Вашему вниманию. На примере простейшего модуля я покажу один из способов отправки сообщения с вложением по e-mail.

Хочу посмотреть на результаты
Total votes 14: ↑13 and ↓1+12
Comments7

Samsung создала антивирус для нейтрализации вложений в сообщениях

Reading time1 min
Views1.1K

Компания Samsung представила новую функцию безопасности Message Guard для линейки смартфонов и планшетов Galaxy, которая поможет защитить пользователей от кибератак с вредоносными вложениями. 

Читать далее
Total votes 4: ↑4 and ↓0+4
Comments4

BMW вложит $1,7 млрд в производство электромобилей в США

Reading time2 min
Views879

Немецкий автомобильный концерн BMW объявил о намерении вложить $1,7 млрд в производство электромобилей в США. Компания планирует инвестировать $1 млрд в завод в Спартанберге, а также $700 в новое предприятие по изготовлению аккумуляторов в Вудраффе. Оба производства будут находиться в штате Южная Каролина.

Читать далее
Total votes 2: ↑1 and ↓10
Comments4

Microsoft 365 ограничил объём бесплатного облачного хранилища, что вызвало сбои в Outlook

Reading time2 min
Views2K

Последнее обновление Microsoft 365, в котором облачное хранилище OneDrive обрабатывает вложения почтового сервиса Outlook, фактически ограничило объём этих файлов. В OneDrive доступный объём не превышает 5 ГБ, тогда как в Outlook он достигает 15 ГБ.

Читать далее
Total votes 5: ↑5 and ↓0+5
Comments0