zlo @zlsl
Пользователь
Информация
- В рейтинге
- 4 315-й
- Откуда
- Lelystad-Haven, Flevoland, Нидерланды
- Зарегистрирован
- Активность
Специализация
Data Scientist, ML Engineer
Lead
От 500 000 €
Linux
PHP
MySQL
Docker
Java
PostgreSQL
English
Software development
C
Python
Зачем вы так с утра?
Пользуюсь bonsai с ранних версий.
После GRAMPS эмоции исключительно положительные, нет лишнего (GRAMPS создан для глубоких исследований, процентов 90 функций мешают для "домашних" деревьев, плюс много багов и легаси). Есть баги по UI, но не напрягают.
Первый нейросетка рисовала, характерные "артефакты" и несовпадение отдельных элементов на обеих "фотках"
ESP32 прекрасно справляется с распознаванием лиц и объектов.
А библиотека TinyML-CAM, к примеру:
Не актуально. Это довольно специфичное расширение для ownCloud:
Странно, что не взяли ESP32-CAM для проекта. Там приемлемо работает распознавание лиц.
Ну и не Arduino там плата
Через deepspeed работает, но прирост скорости не кратен количеству GPU. Для 2х 4090 для разных сеток максимум выжимал +65%
В данной ситуации, на столь малом датасете в большой модели параметры "размажутся", т.к. они достаточно общие, нет основной "линии". Поэтому большая модель здесь лишняя и на таком датасете GPT-2 (medium - large) будет меньше отходить от датасета.
Я много экспериментирую и результат, который даёт GPT-2 large на хорошем датасете, лучше, чем LoRA на крупной модели. В особенности на написании длинных связанных текстов с "скользящим окном контекста". Большая модель в таких задачах начинает повторяться, заикаться. При полном обучении результат лучше, но затраты на обучение слишком велики, плюс "закладки на вежливость" в базовой модели сильно влияют на результат.
Также любая языковая модель - это и есть бредогенератор, почти как дополненые вниманием цепи Маркова. На хорошем датасети и цепи Маркова очень хорошо работают. Еще на ЕС-1841 в дремучих годах делал текстовую RPG.
Все зависит от цели обучения. Всегда желательно перед целевым обучением прогнать хотя бы эпоху на текстах, с тематикой итоговой модели. Можно в 2 этапа, сначала на маленьких блоках (256, 512), потом на максимально возможном (2048 или менее, в зависимости от модели) и НЕ добавлять в этот базовый датасет разметку и токены (BOS, EOS и прочие). Далее уже обучать на целевом датасете.
Важно учесть, что все гайды и рекомендации для _англоязычных_ моделей не подходят под русский язык, он очень сложный и комплексный, любая ошибка будет бросаться в глаза.
А какой смысл использовать достаточно крупную модель там, где хватит и простой gpt-2 на 300M параметров? И нет проблем с зацикливанием, обучением, скоростью?
У меня модели по wh40k (en_l_wh40k_full, l_wh40k_full), WoW (ru_warcraft) и StarTrek (ru_startrek) чудесно работают и в генерацию текстов и в ролеплей при 700M параметров. А здесь испрользуется неплохая изначально модель и в ней портятся веса тренировкой на урезанном, неправильно форматировнном датасете. В итоге чем модель кормили - то и получили. К тому же при обучении LoRA вы никогда точно не знаете, какие веса заморожены и что вы обучаете. Для StableDiffusion ошибка в сотку в 50% обученных весов всё равно даст картинку "похожую" на требуемый результат, а в LLM оно так не работает, все "восторги" от быстродообученных LLM при помощи LoRA полагаются на хорошее обучение базовой модели, которое не смогли испортить. Метрики качества обучения очень условны и охватывают вовсе не генерацию того, что хочется получить.
Всякие киберскины и прочее это и есть ПВХ, иногда даже без фталатов
Зависит от материала, но в основном, мыло, тёплая вода. Часть моделей имеет съёмные рабочие части. Основная беда у всех материалов--быстрая деградация поверхности, ПВХ и его производные начинают становиться липкими, мелкие кусочки отходят, пыль, волосы, шерсть, входят в сам материал. Силикон также быстро теряет свой внешний вид, маленькая царапина начинает расти, часто силиконовые смазки разрушают силикон.
Все это на фотках издалека хорошо смотрится и как хороший манекен с большим количеством степеней свободы можно использовать.
Скорее всего измерения некорректные и выдают не реальную латенси, а с учетом VBS, которую включили на win11, что и привело к проблемам
У меня на чердаке уже девятый год огромное гнездо шершней. По наблюдениям, они его каждый год новое отстраивают. Размер с мизинец каждой особи, т.е. больше 4 см. Краснодарский край. Скорее всего это азиатский, если по размерам судить.
Животное архиполезное, как оказалось. Употребляет в пищу как гусениц американской бабочки, так и гусениц самшитной огнёвки. Бонусом обнулили около десятка ульев на соседнем участке, пчёлы теперь не беспокоят (кусали). Осы тоже на участке не появляются.
В дом иногда залетают, но не агрессивные, с окна на руку аккуратно перемещал и на улицу выносил. Осенью, когда яблоки и груши забраживают на деревьях шершни валяются пьяными.
Куплены точки доступа RBcAPL-2nD, в характеристиках на официальном сайте — 802.3af/at. Но не работают ни с одним из моих PoE коммутаторов с стандартами 802.3af/at. Родные инжектора из коробки работают, там как раз Passive POE.
И эти «родные» инжектора сюрпризом оказались. При уборке были перепутаны кабеля от точки доступа и телевизора, телевизор нормально показывал IPTV пару минут, затем дымок и запах гари. Успел кабель вытащить из телевизора. Примечательно, что телевизор прекрасно работает, сеть не пострадала. Скорее всего сборка трансформаторов гальванической развязки подгорела и воняла. Так что осторожнее, если есть такие инжектора в сети.