Локально все запускают с квантизацией, 4битная теряет в качестве считанные проценты, а вот требования падают на порядок, 256Гб машина уже не фантастические требования
Но вот проблема скорости работы такой модели на процессоре ставит крест на большинстве применений. 64Б работала где то токен в секунду, эта гигантская будет раз в 10 медленнее.
Как использовать их llama guard? Если попробовать скачать, предлагает модели таких же размеров 8 и 70 соответственно base и instruct. Есть большая рекламная pdf-ка (дают по ссылке инструкции) и все.
Мыслить нужно на больших временных интервалах, через примерно поколение, считанные десятки лет, когда на протяжении всего времени будут интегрироваться инструменты по всему миру во все области деятельности, требующие интеллекта. Это очень соблазнительно и удобно, установить умного агента на основе машины... примерно то же самое что происходит с цифровой логикой... до появления дешевых (центы) чипов цифровой логики (универсальных процессоров) производители оборудования старались где могли экономить и делать системы на основе аналоговой логики, а теперь, разработчики ленятся и вставляют в простейшие мигалки целые ардуинки (это полноценный универсальный процессор) с программой из трех строчек. То же самое будет с ИИ, его будут пихать всюда, сначала потому что это модно, это привлекает инвестиции, это удобно (программирование ИИ даже в текущем ущербном виде - это составление текстов на естественном языке) и это дешевле чем посадить человека, не говоря о том что в узких задачах даже текущий ущербный ИИ может справляться лучше среднего человека.
Человечество самостоятельно даст машине аппаратное обеспечение, внедрит его во все области своей деятельности, даст бразды правления всем,.. и что произойдет в тот самый момент, когда где то кто то (кстати не обязательно ИИ) обнаружит уязвимость (в терминах LLM-ок это такой jailbreak prompt) и будет управлять поведением этих агентов.
не пытайтесь приписывать машине человеческие свойства.
ИИ не будет хотеть убить человека в привычном для человека способе, он не будет планировать это сделать потому что он хочет убить, нет, скорее всего в процессе решения каких то задач (или совокупность задач, решаемых с помощью ИИ) в автоматическом режиме, будет принято решение ошибочное с точки зрения человека, но логичное с точки зрения машины (логичность в том смысле что модель интеллекта, которую построила LLM-ка внутри себя, отличается от эталонного человечского интеллекта, условный пример человеческий интеллект это гладкая кривая, а у ИИ это сильно шумящий, дергающийся с более высокой частотой (выше значение производных) который в общем совпадает с человеческим но постоянно отходит в сторону, а где то, где обучающих данных было не достаточно, или путь обучения нейронки пошел по не оптимальному пути (это сплошь и рядом, настоятельно рекомендую посмотреть как ведет себя самая простая нейронная сеть с 1 входом и 1 выходом, которую пытаются обучить какой-либо функции, например синус на интервале, если повторять запуск обучения, можно встречать ситуации, когда некоторые участки графика не строго совпадают с синусоидой, и чем больше слоев сети давать тем сложнее будут расхождения... напоминаю что сеть может переобучиться, и выдавать идеальный график но только потому что она избыточна по мощности, это тоже беда ИИ).
Первое, ИИ на основе нейронных сетей, очень хороша в поиске лазеек и скрытых путей, собственно наши алгоритмы обучения нейронок на этом основаны. Из-за этого невозможно адекватно описать ограничения ИИ, и то что мы считаем здравым смыслом, может не соответствовать тому, что поняла модель во время обучения.
Второе, ИИ может 'убить' человечество не из худших побуждений, а по ошибке. Даже сейчас мы видим недостатки ИИ на основе нейронной сети, которая в конечном счете апроксимация на заданном интервале, хорошо работает пока мы находимся в пределах обучающей выборки, но как только выходим за границы - значительно повышается галлюцинация, т.е. модель ошибается тем сильнее, чем дальше мы уводим ее от ее знаний.
Т.е. ты говоришь следуй правилам вождения автомобиля, а оно ставит колеса на крышу автомобиля, переворачивает его, и половина правил перестает работать как ожидается.
пожалуйста, проведите тесты одних и тех же моделей с помощью transformers python кода и с помощью llama.cpp (в т.ч. с квантизацией 8b и если не лень 4b), у меня есть ощущение что llama.cpp быстрее не только на процессоре
Я понял уже что вы для фона, это же хорошо, нейронка отлично заменит стоки для большинства применений. Мое первоначальное утверждение было исключительно генерацию изображений товаров, ведь именно их я увидел в статье... а так же я указал что информации в статье что речь идет о фоне, нет, или это не очевидно.
В принципе на этом можно и закончить, мысль доведена, оба друг друга поняли. Дальнейшие мои утверждения исключительно размышления на тему 'куда катится мир'...
Вставь простейший fpga на пару тысяч вентилей рядом с контроллером памяти ddr, и больше ничего не надо делать, народ сам запилит что надо (само собой какой то протокол взаимодействия нужен, но это не проблема для монополистов в этой области нет)
Посмотрите внимательно на ваш текст, единственное упоминание что речь идет о генерации фона это вот: В какой-то момент мы уперлись в то, что контент заказчика оказался достаточно «шумным» для фоновых изображений
В разделе Задача ничего
На картинках товаров у вас шарики, и нейронка рисует шарики, в чем я не прав?
Мой посыл был про то что как только бизнес получил в руки генератор контента, в первую очередь он будет применим чтобы сгенерировать мусор, да я знаю что это маркетинг, все это маскируется под визуал и стилистика, но по факту это форма манипуляций и легального мошенничества.
Например, когда тебе показывают радостного красивого человека, то это делается не для того чтобы порадовать покупателя типа 'улыбайтесь с нами', а для того чтобы он ассоциировал себя с этим человеком и товаром, вот куплю и будут таким же красивым и улыбающимся, что естественно не так да? Просто мы (клиенты) уже привыкли к таким манипуляциям и начинаем отращивать защитную шкуру, но маркетинг получил новый инструмент - качественная генерация, что позволит генерировать такой контент чуть ли не налету (вон статьи были о манипуляциях текстовыми gpt над мнением человека, просто в процессе беседы атакуемого с ИИ, и они его меняют под цели составителя промпта, причем эффективнее чем человек).
Без цен на железо и затрат энергии на fflops, нет никакого смысла обсуждать, какое лучше железо выбирать. Да бывают минимальные требования по объему памяти на ноду, но в этих случаях не до жиру, бери что надо и не заморачивайся.
Разница в производительности cpu и gpu может разниться от 10крат до 100 (например если нужны batch вычисления с одной нейронной)
Когда клиент смотрит на изображение при товаре, как вы думаете, что он желает увидеть? Товар который хочет приобрести или абстрактную картинку, не имеющую ничего общего с конечным товаром?
Всем давно ясно что AI это про вычислитель при памяти. Бессмысленно что то делать на уровне процессора, если память для ИИ будет снаружи.
Вон была же статья, где пытались утилизировать мощности интелевского сопроцессора avx512, и получилась максимум его половина.
Обработчик матричных вычислений должен быть встроен в чипы памяти, или хотя бы ddr контроллер... Но нет мировые производители памяти не хотят лезть в это, почему? заговор? глупость?
там один физический экструдер и пластики попеременно в него подаются? тогда можно при смене с высокотемпературного пластика типа abs не сразу переключать pva, а выбирать pla, выдавливать им abs, понижать температуру, и только тогда давить pva.
Но да, мне идея смены физических экструдеров типа idex или смена инструмента через защелку больше нравится, жаль таких принтеров очень и очень мало.
Что не так с бабушным саппортом? он же по типу pva? по видеороликам там все хорошо
Если покупать 'обычный порошок', доступный на рынке (цены 5т.р. за катушку pva) он мягкий и хлипкий, не удерживает на себе изделие (отвратительная адгезия и при любом искривлении изделия верхние части отделяются от поддержек, и подходит только для интерфейсных слоев (тут все отлично, только не всегда так можно делать, например внутренние полости, откуда не достать нерастворимые поддержки)
far не устраивает отсутствием опции lynx-like motion
Откройте для себя alt+'написать часть имени', в некоторым смысле это продолжение развития автодополнения по tab, так же можно использовать метасимволы * и ?
Так как я активно пользовался обоими методами, и linux-like и far-ом, последний имеет больше преимуществ, за счет того что в linux ты не видишь содержимого каталога, а значит вынужден пользоваться своей памятью, чтобы правильно ввести имя файла/каталога, когда как постоянно видимое содержимое каталога позволяет комбинировать подход, стрелками выбрать (причем не только вверх/вниз но и влево/вправа или постраничная навигация, включая начало/конец, этого очень не хватает в bash)
Для кого то вопрос стоимости будет решающим, NVidia 3060 12Gb - это самая дешевая из доступных vram, следующая по цене идет 4060ti 16Gb
Напомню, что чтобы капитальные затраты (закупка оборудования) по сравнению с оперативными (электроэнергия и время) не были такими критичными, утилизировать железо нужно по максимуму, чем ближе к 100% тем лучше, чего у многих нет, вот и становится актуальным железо по тормознее но дешевле.
Локально все запускают с квантизацией, 4битная теряет в качестве считанные проценты, а вот требования падают на порядок, 256Гб машина уже не фантастические требования
Но вот проблема скорости работы такой модели на процессоре ставит крест на большинстве применений. 64Б работала где то токен в секунду, эта гигантская будет раз в 10 медленнее.
Как использовать их llama guard? Если попробовать скачать, предлагает модели таких же размеров 8 и 70 соответственно base и instruct. Есть большая рекламная pdf-ка (дают по ссылке инструкции) и все.
prompt template такой же как у llama2?
Что делали 27т человек, которых сократили, на задаче транспортировки?
...а проектор на прозрачную пленку - голограммой.
Такова природа современного СМИ, когда бездарности популяризуют сложные вещи с ошибками. Это не про автора статьи а в целом.
Согласитесь, говорить 'интеллект' гораздо проще чем 'модель интеллекта'?
Мыслить нужно на больших временных интервалах, через примерно поколение, считанные десятки лет, когда на протяжении всего времени будут интегрироваться инструменты по всему миру во все области деятельности, требующие интеллекта. Это очень соблазнительно и удобно, установить умного агента на основе машины... примерно то же самое что происходит с цифровой логикой... до появления дешевых (центы) чипов цифровой логики (универсальных процессоров) производители оборудования старались где могли экономить и делать системы на основе аналоговой логики, а теперь, разработчики ленятся и вставляют в простейшие мигалки целые ардуинки (это полноценный универсальный процессор) с программой из трех строчек. То же самое будет с ИИ, его будут пихать всюда, сначала потому что это модно, это привлекает инвестиции, это удобно (программирование ИИ даже в текущем ущербном виде - это составление текстов на естественном языке) и это дешевле чем посадить человека, не говоря о том что в узких задачах даже текущий ущербный ИИ может справляться лучше среднего человека.
Человечество самостоятельно даст машине аппаратное обеспечение, внедрит его во все области своей деятельности, даст бразды правления всем,.. и что произойдет в тот самый момент, когда где то кто то (кстати не обязательно ИИ) обнаружит уязвимость (в терминах LLM-ок это такой jailbreak prompt) и будет управлять поведением этих агентов.
не пытайтесь приписывать машине человеческие свойства.
ИИ не будет хотеть убить человека в привычном для человека способе, он не будет планировать это сделать потому что он хочет убить, нет, скорее всего в процессе решения каких то задач (или совокупность задач, решаемых с помощью ИИ) в автоматическом режиме, будет принято решение ошибочное с точки зрения человека, но логичное с точки зрения машины (логичность в том смысле что модель интеллекта, которую построила LLM-ка внутри себя, отличается от эталонного человечского интеллекта, условный пример человеческий интеллект это гладкая кривая, а у ИИ это сильно шумящий, дергающийся с более высокой частотой (выше значение производных) который в общем совпадает с человеческим но постоянно отходит в сторону, а где то, где обучающих данных было не достаточно, или путь обучения нейронки пошел по не оптимальному пути (это сплошь и рядом, настоятельно рекомендую посмотреть как ведет себя самая простая нейронная сеть с 1 входом и 1 выходом, которую пытаются обучить какой-либо функции, например синус на интервале, если повторять запуск обучения, можно встречать ситуации, когда некоторые участки графика не строго совпадают с синусоидой, и чем больше слоев сети давать тем сложнее будут расхождения... напоминаю что сеть может переобучиться, и выдавать идеальный график но только потому что она избыточна по мощности, это тоже беда ИИ).
Первое, ИИ на основе нейронных сетей, очень хороша в поиске лазеек и скрытых путей, собственно наши алгоритмы обучения нейронок на этом основаны. Из-за этого невозможно адекватно описать ограничения ИИ, и то что мы считаем здравым смыслом, может не соответствовать тому, что поняла модель во время обучения.
Второе, ИИ может 'убить' человечество не из худших побуждений, а по ошибке. Даже сейчас мы видим недостатки ИИ на основе нейронной сети, которая в конечном счете апроксимация на заданном интервале, хорошо работает пока мы находимся в пределах обучающей выборки, но как только выходим за границы - значительно повышается галлюцинация, т.е. модель ошибается тем сильнее, чем дальше мы уводим ее от ее знаний.
Т.е. ты говоришь следуй правилам вождения автомобиля, а оно ставит колеса на крышу автомобиля, переворачивает его, и половина правил перестает работать как ожидается.
пожалуйста, проведите тесты одних и тех же моделей с помощью transformers python кода и с помощью llama.cpp (в т.ч. с квантизацией 8b и если не лень 4b), у меня есть ощущение что llama.cpp быстрее не только на процессоре
совет, если будете на cpu гонять llama.cpp, протестируйте с разным количеством процессорных ядер (ключ -t), можно получить не очевидные результаты
Я понял уже что вы для фона, это же хорошо, нейронка отлично заменит стоки для большинства применений. Мое первоначальное утверждение было исключительно генерацию изображений товаров, ведь именно их я увидел в статье... а так же я указал что информации в статье что речь идет о фоне, нет, или это не очевидно.
В принципе на этом можно и закончить, мысль доведена, оба друг друга поняли. Дальнейшие мои утверждения исключительно размышления на тему 'куда катится мир'...
Вставь простейший fpga на пару тысяч вентилей рядом с контроллером памяти ddr, и больше ничего не надо делать, народ сам запилит что надо (само собой какой то протокол взаимодействия нужен, но это не проблема для монополистов в этой области нет)
Посмотрите внимательно на ваш текст, единственное упоминание что речь идет о генерации фона это вот:
В какой-то момент мы уперлись в то, что контент заказчика оказался достаточно «шумным» для фоновых изображенийВ разделе Задача ничего
На картинках товаров у вас шарики, и нейронка рисует шарики, в чем я не прав?
Мой посыл был про то что как только бизнес получил в руки генератор контента, в первую очередь он будет применим чтобы сгенерировать мусор, да я знаю что это маркетинг, все это маскируется под визуал и стилистика, но по факту это форма манипуляций и легального мошенничества.
Например, когда тебе показывают радостного красивого человека, то это делается не для того чтобы порадовать покупателя типа 'улыбайтесь с нами', а для того чтобы он ассоциировал себя с этим человеком и товаром, вот куплю и будут таким же красивым и улыбающимся, что естественно не так да? Просто мы (клиенты) уже привыкли к таким манипуляциям и начинаем отращивать защитную шкуру, но маркетинг получил новый инструмент - качественная генерация, что позволит генерировать такой контент чуть ли не налету (вон статьи были о манипуляциях текстовыми gpt над мнением человека, просто в процессе беседы атакуемого с ИИ, и они его меняют под цели составителя промпта, причем эффективнее чем человек).
Без цен на железо и затрат энергии на fflops, нет никакого смысла обсуждать, какое лучше железо выбирать. Да бывают минимальные требования по объему памяти на ноду, но в этих случаях не до жиру, бери что надо и не заморачивайся.
Разница в производительности cpu и gpu может разниться от 10крат до 100 (например если нужны batch вычисления с одной нейронной)
Больше мусора богу мусора!
Когда клиент смотрит на изображение при товаре, как вы думаете, что он желает увидеть? Товар который хочет приобрести или абстрактную картинку, не имеющую ничего общего с конечным товаром?
Всем давно ясно что AI это про вычислитель при памяти. Бессмысленно что то делать на уровне процессора, если память для ИИ будет снаружи.
Вон была же статья, где пытались утилизировать мощности интелевского сопроцессора avx512, и получилась максимум его половина.
Обработчик матричных вычислений должен быть встроен в чипы памяти, или хотя бы ddr контроллер... Но нет мировые производители памяти не хотят лезть в это, почему? заговор? глупость?
а описать, как именно этого бота сделал, слабо?
там один физический экструдер и пластики попеременно в него подаются? тогда можно при смене с высокотемпературного пластика типа abs не сразу переключать pva, а выбирать pla, выдавливать им abs, понижать температуру, и только тогда давить pva.
Но да, мне идея смены физических экструдеров типа idex или смена инструмента через защелку больше нравится, жаль таких принтеров очень и очень мало.
Что не так с бабушным саппортом? он же по типу pva? по видеороликам там все хорошо
Если покупать 'обычный порошок', доступный на рынке (цены 5т.р. за катушку pva) он мягкий и хлипкий, не удерживает на себе изделие (отвратительная адгезия и при любом искривлении изделия верхние части отделяются от поддержек, и подходит только для интерфейсных слоев (тут все отлично, только не всегда так можно делать, например внутренние полости, откуда не достать нерастворимые поддержки)
far не устраивает отсутствием опции lynx-like motionОткройте для себя alt+'написать часть имени', в некоторым смысле это продолжение развития автодополнения по tab, так же можно использовать метасимволы * и ?
Так как я активно пользовался обоими методами, и linux-like и far-ом, последний имеет больше преимуществ, за счет того что в linux ты не видишь содержимого каталога, а значит вынужден пользоваться своей памятью, чтобы правильно ввести имя файла/каталога, когда как постоянно видимое содержимое каталога позволяет комбинировать подход, стрелками выбрать (причем не только вверх/вниз но и влево/вправа или постраничная навигация, включая начало/конец, этого очень не хватает в bash)
Для кого то вопрос стоимости будет решающим, NVidia 3060 12Gb - это самая дешевая из доступных vram, следующая по цене идет 4060ti 16Gb
Напомню, что чтобы капитальные затраты (закупка оборудования) по сравнению с оперативными (электроэнергия и время) не были такими критичными, утилизировать железо нужно по максимуму, чем ближе к 100% тем лучше, чего у многих нет, вот и становится актуальным железо по тормознее но дешевле.