Купил. С примерами да, проблема. По-моему spacy сейчас уже работает с русским языком.
Ну хоть шрифт нормальный, можно в транспорте почитать. «Обработку естественного языка в действии» изд. Питер — только при ярком свете днём или под стоваттной лампой.
Да, Вы правы, bias — смещение, смещенность. Но я имел в виду именно предвзятость. Последнее время встречаю немало публикаций на эту тему. Что-то вроде «can be interpreted as one group's prejudice based on a particular categorical distinction». Западные коллеги даже Embeddings (векторные пространства слов, кажется Вы предложили вариант «внедрения», на мой взгляд — вполне удачный) корректируют, что бы избежать обвинений в сексисзме.
Но модель в силу алгоритма усвоения внутри нее улавливает неразличимые для человека сведения уже сама.
Это только часть моделей. А для другой части нужно разметить данные, т.е. «показать» алгоритму, что правильно, что нет, что искать на изображении, каким должно быть удачное «саммари» для текста. Процесс разметки данных или подготовки правильных ответов может занимать 99% времени проекта.
Возможно Вам будет интересно, среди моих коллег термин модель применяется только к обученной модели, ну или по вашему, модели, усвоившей знания. Пока процесс не завершен, это, например, машина или алгоритм и никакой ценности она не представляет, какой бы сложной не была её архитектура.
Поставил плюс статье за Вашу позицию и то, как Вы её отстаиваете.
Тема действительно интересная. На мой скромный взгляд практикующего DS, оба термина, и обучение и усвоение не очень удачны. Обучение, потому что процесс больше похож на тренировку. Почти всегда в коде есть модуль «train» и также называется часть данных, которая используется в этом процессе.
Термин «усвоение» мне непривычен, но проблема не только в нём. Проблема — в знаниях, которые машина должна усваивать. Мне всегда казалось, что знания должны быть как-то связаны с индивидом, с отражением действительности в сознании, которым пока машины не обладают. На мой взгляд то, что приобретает машина на данном уровне развития технологий больше похоже на интуицию.
Пожалуй «усвоение» еще как-то выключает меня из процесса (а это обидно). Да, есть такие системы, где роль исследователя данных минимальна, но в основном, это я подбираю для машины кейсы, я оцениваю как и сколько она учится, я слежу за качеством модели и иногда за предвзятостью, и да, это я подкручиваю гиперпараметры.
Интересно, что термин «знания» в оригинальной статье упоминается только два раза, в определении Dr. Yoshua Bengio. И там не очень понятно, это относится к ML или AI.
Там очень интересный генератор. U-net c механизмом (само)внимания. Судя по ссылкам в репо, проект вырос из омолаживателя :) github.com/jantic/DeOldify. Если бы кто-то всё это рассказал, а заодно про спектральную нормализацию и прочие трюки, была бы классная статья.
Для классификации узкоспециализированных обращений обычно хватает простого эмбеддинга. Даже если нужно, например, определять сходство запроса с вопросом из базы знаний.
Они тренируют модель на патчах 70x70, а потом применяют на больших картинках через full convolution. Забавно, что 70x70 дает в среднем результаты лучше, чем делать сразу на всей картинке 256x256 целиком.
Судя по «пейпер», это не совсем так. Речь идет об архитектуре дискриминатора, а не об обучении модели на маленьких картинках. Смысл — если сравнивать фейк и рил попиксельно, то результат будет хуже, чем если сравнивать изображения, нарезанные на патчи 70х70. Там это называет receptive field sizes of the discriminator.
Здравствуйте! Код выложил весь, должно запускаться на Colab прямо из репозитария. На 8Гб не пробовал, думаю, должно хватить. У меня в 8 помещается RuBERT при размере текста в 64 токена, а там в 6 раз больше параметров. В крайнем случае попробуйте другую модель. В этой статье трансформер из отдельных блоков, но по сути это TransformerLM из репозитария trax, можно попробовать ReformerLM, он как раз сделан чтобы экономить память. Вот здесь я с ним экспериментирую. Правда он капризничает при загрузке весов. Написал в статье как справиться.
Кроме этого, все шумовые признаки имеют высокую важность, сравнимую с двумя оригинальными
0.04 — достаточно низкая важность. Признак, во всех узлах, где на его основе происходит разбиение, снижает impurity на 4% от общего снижения по всем узлам и всем признакам. Если говорить о шумовых признаках, то есть более простой способ — пермутация значений в колонке исследуемого признака. Разница между качеством модели и средним качеством после нескольких пермутаций как раз дает примерную оценку важности. Этот способ часто используется в задачах с медицинскими данными.
Для того чтобы что-то попробовать, на мой взгляд вполне подходящий. А Вы по каким критериям судите? Логика диалога соблюдается, может слишком много оборотов типа «А у тебя?», «А ты?» Но я бы наверно «пожаловался» на не слишком удачный формат и сложною фильтрацию, если нужна. Мне попадался датасет с диалогами из советской литературы, вот там действительно треш).
Спасибо за статью, с удовольствием попробовал!
В функции make_docs список файлов лучше брать из annotated, у файлов из raw не у всех есть пара.
У меня получилось на trax 1.3.6. Попробовал и TPU и GPU, но тексты были короткими.
В Trax версии 1.3.7 в реформер не получалось загрузить веса. Старая ошибка, которую в 1.3.4 вроде бы исправляли. У Вас вышло?
Ну хоть шрифт нормальный, можно в транспорте почитать. «Обработку естественного языка в действии» изд. Питер — только при ярком свете днём или под стоваттной лампой.
Это только часть моделей. А для другой части нужно разметить данные, т.е. «показать» алгоритму, что правильно, что нет, что искать на изображении, каким должно быть удачное «саммари» для текста. Процесс разметки данных или подготовки правильных ответов может занимать 99% времени проекта.
Возможно Вам будет интересно, среди моих коллег термин модель применяется только к обученной модели, ну или по вашему, модели, усвоившей знания. Пока процесс не завершен, это, например, машина или алгоритм и никакой ценности она не представляет, какой бы сложной не была её архитектура.
Тема действительно интересная. На мой скромный взгляд практикующего DS, оба термина, и обучение и усвоение не очень удачны. Обучение, потому что процесс больше похож на тренировку. Почти всегда в коде есть модуль «train» и также называется часть данных, которая используется в этом процессе.
Термин «усвоение» мне непривычен, но проблема не только в нём. Проблема — в знаниях, которые машина должна усваивать. Мне всегда казалось, что знания должны быть как-то связаны с индивидом, с отражением действительности в сознании, которым пока машины не обладают. На мой взгляд то, что приобретает машина на данном уровне развития технологий больше похоже на интуицию.
Пожалуй «усвоение» еще как-то выключает меня из процесса (а это обидно). Да, есть такие системы, где роль исследователя данных минимальна, но в основном, это я подбираю для машины кейсы, я оцениваю как и сколько она учится, я слежу за качеством модели и иногда за предвзятостью, и да, это я подкручиваю гиперпараметры.
Интересно, что термин «знания» в оригинальной статье упоминается только два раза, в определении Dr. Yoshua Bengio. И там не очень понятно, это относится к ML или AI.
0.04 — достаточно низкая важность. Признак, во всех узлах, где на его основе происходит разбиение, снижает impurity на 4% от общего снижения по всем узлам и всем признакам. Если говорить о шумовых признаках, то есть более простой способ — пермутация значений в колонке исследуемого признака. Разница между качеством модели и средним качеством после нескольких пермутаций как раз дает примерную оценку важности. Этот способ часто используется в задачах с медицинскими данными.