Pull to refresh
4
0
Алексей Шабельский @shabelskiy

Пользователь

Send message

Раскрывая секреты LLM: руководство по основным понятиям больших языковых моделей без хайпа

Level of difficultyMedium
Reading time27 min
Views30K

AI-хайп, честно говоря, слегка задолбал. Кажется, что все вокруг только и делают, что оптимизируют свою работу с помощью AI и в ус не дуют. Все эти возвышенные презентации про amazing и awesome инновации от людей, которые слабо себе представляют, чем энкодер отличается от декодера и почему трансформеры в нейросетях не сражаются с автоботами, мало того, что набивают оскомину и отнимают время, так еще и погружают в грёзы бизнес-руководителей и создают крайне завышенные ожидания.

Вспоминаю, как на одном обмене опытом со стартапами они чётко делились на 2 группы: первая – с менеджерами про невероятные инновации и всеобщее благоденствие, а вторая – с инженерами, которые с красными глазами рассказывали, что так и не смогли победить галлюцинации, что окно контекста заканчивается очень быстро и что для того, чтобы на нормальном продакшн использовании вся эта магия заработала, нужны огромные инвестиции в инфраструктуру, оркестратор, агенты, векторные базы, кратковременную и долговременную память и так далее. Поэтому хотелось собрать в одном месте понятное руководство и для разработчиков, пробующих LLM-ки для своих задач, и для людей из бизнеса, чтобы погрузить в контекст.

Читать далее
Total votes 25: ↑25 and ↓0+25
Comments6

Введение в машинное обучение

Reading time11 min
Views238K

1.1 Введение


Благодаря машинному обучению программист не обязан писать инструкции, учитывающие все возможные проблемы и содержащие все решения. Вместо этого в компьютер (или отдельную программу) закладывают алгоритм самостоятельного нахождения решений путём комплексного использования статистических данных, из которых выводятся закономерности и на основе которых делаются прогнозы.

Технология машинного обучения на основе анализа данных берёт начало в 1950 году, когда начали разрабатывать первые программы для игры в шашки. За прошедшие десятилетий общий принцип не изменился. Зато благодаря взрывному росту вычислительных мощностей компьютеров многократно усложнились закономерности и прогнозы, создаваемые ими, и расширился круг проблем и задач, решаемых с использованием машинного обучения.

Чтобы запустить процесс машинного обучение, для начала необходимо загрузить в компьютер Датасет(некоторое количество исходных данных), на которых алгоритм будет учиться обрабатывать запросы. Например, могут быть фотографии собак и котов, на которых уже есть метки, обозначающие к кому они относятся. После процесса обучения, программа уже сама сможет распознавать собак и котов на новых изображениях без содержания меток. Процесс обучения продолжается и после выданных прогнозов, чем больше данных мы проанализировали программой, тем более точно она распознает нужные изображения.

Благодаря машинному обучению компьютеры учатся распознавать на фотографиях и рисунках не только лица, но и пейзажи, предметы, текст и цифры. Что касается текста, то и здесь не обойтись без машинного обучения: функция проверки грамматики сейчас присутствует в любом текстовом редакторе и даже в телефонах. Причем учитывается не только написание слов, но и контекст, оттенки смысла и другие тонкие лингвистические аспекты. Более того, уже существует программное обеспечение, способное без участия человека писать новостные статьи (на тему экономики и, к примеру, спорта).
Читать дальше →
Total votes 38: ↑34 and ↓4+30
Comments6

Алгоритм, сделавший ChatGPT таким «человечным» — Reinforcement Learning from Human Feedback

Reading time8 min
Views12K

ChatGPT генерирует разнообразный и привлекательный для человека текст. Но что делает текст «хорошим»? Это субъективно и зависит от контекста. Например, если вы попросите сочинить историю, нужен творческий подход. Если вы запрашиваете информацию, то хотите, чтобы она была правдивой. А если вы просите написать код, то ожидаете, что он будет исполняемым.

Вы наверняка слышали о том, что OpenAI привлекали сотрудников из Африки для помощи в разметке токсичности их ассистента. Менее известен факт найма реальных разработчиков, чтобы подготовить данные с пояснениями к коду на человечском языке.

Именно данные с фидбеком от людей позволили дообучить их языковую модель и сделать продукт таким «человечным».

Разберем алгоритм, который позволяет согласовать модель машинного обучения со сложными человеческими ценностями.

Читать далее
Total votes 16: ↑15 and ↓1+14
Comments9

Тестируем Sangfor WAF: удобное решение для стандартных задач

Reading time3 min
Views1.9K

Привет, меня зовут Александр Быков. В Nubes я руковожу направлением сервисов информационной безопасности. Мы продолжаем серию статей про тестирование межсетевого экрана Sangfor NGAF M5300. В этом посте речь пойдет про модуль WAF. 

На рынке инфобезопасности есть множество продуктов, у которых по заявлению их разработчиков, есть функциональность WAF. Однако при ближайшем рассмотрении оказывается, что это всего лишь маркетинг, а не полноценные решения. А что же с модулем Sangfor WAF? Рассказываю про результаты нашего тестирования. 

Читать далее
Total votes 4: ↑4 and ↓0+4
Comments0

PCI DSS и ГОСТ Р 57580.1-2017 вместе — дешевле?

Reading time10 min
Views3K

Все более или менее крупные российские компании, которые проводят платежные онлайн-транзакции, должны сегодня выполнять требования двух стандартов по защите и безопасности карточных данных их покупателей — PCI DSS и ГОСТ 57580.1-2017. Первый придумали за рубежом, а второй — результат творчества Банка России. Что это за стандарты, какие аспекты работы онлайн-продавцов они регулируют, насколько различаются их требования и как обойтись при их внедрении малой кровью — читайте в нашей статье.  

Читать далее
Total votes 4: ↑4 and ↓0+4
Comments15

Аналоги MS Project Server в России: что может предложить отечественный рынок

Reading time6 min
Views16K

Корпорация Microsoft еще весной 2022 года объявила о приостановке бизнеса в России. Соответственно, пользователи из РФ не могут покупать лицензии на программное обеспечение компании, включая продукты для управления проектами и портфелями проектов MS Project Server. Наверное, у некоторых компаний из России еще работают облачные версии платформы, но только до момента завершения срока действия подписки.

В общем, приходится искать альтернативы среди отечественных продуктов (ну,  чтобы уж точно все работало без внезапного отзыва лицензий и прочих проблем). Недавно я как раз занимался таким поиском и нашел несколько альтернативных MS Project Server систем, которые и предлагаю обсудить в этом посте.

Читать далее
Total votes 16: ↑16 and ↓0+16
Comments14

Каким требованиям по информационной безопасности надо соответствовать в 2022 году

Reading time6 min
Views9.9K

В этом посте расскажем о последних изменениях стандартов и нормативных актов по ИБ, а также о реальной необходимости их применения в текущих условиях. Кроме того, рассмотрим, какие сложности сейчас возникают с поддержанием необходимого уровня защищенности в условиях недоступности подписок и поддержки на средства защиты информации. 

Читать далее
Total votes 8: ↑8 and ↓0+8
Comments4

Что вы всегда хотели читать, но боялись попросить: какие темы ждут читатели Хабра

Reading time8 min
Views9.7K

Очередной Технотекст натолкнул нас на мысль узнать у хабражителей, что бы им было интересно читать. Мы сделали опрос, собрали ответы — и теперь предлагаем взглянуть на результаты и поразмыслить над коллективным сознательным Хабра: что волнует людей и чего они хотят (или не хотят) видеть на главной.

Читать далее
Total votes 27: ↑25 and ↓2+23
Comments29

Не только hard skills: как и зачем совершенствовать «гибкие» навыки команды

Reading time5 min
Views2.2K

На Хабре много раз писали о важности как hard skills, так и soft skills. Если с первыми всё понятно и относительно просто: нужно получать новые знания и развивать практические навыки, — то со вторыми всё сложнее. Дело в том, что «гибкие» навыки просто невозможно приобрести в результате обучения в школе, вузе или другом образовательном учреждении. И если человек — крутой специалист и может многое в профессиональном плане, но не в состоянии сформулировать идею и привести аргументы в её защиту, наладить взаимодействие с соседними отделами, поддерживать мирные отношения с коллегами, то эффективность такого профессионала ниже, чем могла бы быть. Как и тех, кто работает с ним в контакте. О том, как развивать soft skills в команде и как это сделать максимально эффективно, рассказывает Сергей Макаров, СЕО российской платформы для тестирования и оценки сотрудников StartExam.

Читать далее
Total votes 12: ↑12 and ↓0+12
Comments4

Самообучение в Data science, с нуля до Senior за два года

Reading time9 min
Views243K

Хочу поделиться методами освоения Data science с нуля человеком из другой ИТ специальности. Цель: дать понять, подходит ли Вам эта специальность в принципе, и рассказать про эффективные подходы к самообучению, которые мне помогли.

Отличные материалы уже существуют по большинству конкретных тем, я сам по ним учился. Думаю, многим будут полезны "мета" материалы о том, как выбирать курсы и статьи, по которым учиться.

Читать далее
Total votes 39: ↑27 and ↓12+15
Comments32

Как строительный Холдинг в Казахстане роботизировал свои процессы

Reading time6 min
Views2.5K

Жумекенов Айдар, руководитель отдела RPA; Сандыбек Нуржамал, RPA tech lead

BI Group — инновационный строительный Холдинг, в состав которого входят более 250 активных организаций по Казахстану. На сегодняшний момент в компании роботизировано 45 бизнес-процессов, среди них — рутинные задачи HR, финансового, юридического и строительного департаментов. В компании функционирует 6 роботов и 1 оркестратор.

Читать далее
Total votes 7: ↑6 and ↓1+5
Comments0

Бесшовная интеграция роботов и людей: работаем с обновленным Action Center

Reading time3 min
Views1.1K

Когда автоматизация включает решения, которые должен принимать человек: одобрение, повышение приоритета задачи или определение исключений — Action Center позволяет легко и эффективно передавать процесс от робота к человеку, и в обратном направлении. 

UiPath Action Center помогает автоматизировать сложные процессы, требующие взаимодействия роботов и людей. Роботы выполняют ту часть работы, для которой они лучше всего предназначены. А люди подключаются к процессу только для принятия необходимых важных решений. 

Мы уже писали об Action Center в конце 2020, а за 2021 продукт получил несколько изменений, о которых мы хотим рассказать в этом посте.

Статья написана при поддержке технического эксперта UiPath: Кристины Виролайнен.

Читать далее
Total votes 4: ↑4 and ↓0+4
Comments0

Основные тренды ЦОД в 2022 году: смелые проекты и успешные практики реализации

Reading time7 min
Views3.7K

Привет, Хабр! Компания Acer снова с вами! Мы планируем рассказывать об интересных продуктах: как своих, так и других участников рынка. В первую очередь речь пойдет о серверах и соответствующих корпоративных решениях.

Сегодня же публикуем первый свой пост – это аналитика наиболее заметных трендов на рынке ЦОД в 2022 году. Главный принцип, по которому мы отбирали тренды, – наличие примеров практического внедрения. Кроме того, мы расскажем о необычных разновидностях дата-центров, которых становится все больше.

Читать далее
Total votes 6: ↑6 and ↓0+6
Comments4

Технический специалист и редактор: как написать текст вместе без обид и недоразумений

Reading time12 min
Views2K

Привет, Хабр! Меня зовут Карина, сегодня хочу поговорить о том, как техническим специалистам и редакторам писать тексты вместе. Расскажу о возможных сценариях работы, проблемах и их решениях. А ещё о том, где искать вдохновение и как бороться с синдромом самозванца. Надеюсь, мой опыт поможет вам лучше понимать редакторов и готовить крутые тексты вместе с ними. 

Читать далее
Total votes 4: ↑2 and ↓20
Comments6

Битва за ресурсы: особенности нелегального криптомайнинга в облачных сервисах

Reading time8 min
Views6.3K

Концепция майнинга криптовалюты проста: это использование вычислительных ресурсов для выполнения сложных задач, которые приносят доход в виде криптовалюты. Если выручка от продажи криптовалюты меньше затрат на электроэнергию и инфраструктуру, то подобная деятельность не имеет смысла. Всё меняется, если за ресурсы платит кто-то другой. В этом посте мы поговорим о нелегальном майнинге криптовалюты в облачных сервисах и рассмотрим, как действуют самые активные кибергруппировки. 

Читать далее
Total votes 9: ↑9 and ↓0+9
Comments8

SMS PVA: лёгкий способ обойти идентификацию по номеру телефона

Reading time8 min
Views22K

При регистрации пользователей многие онлайн-платформы требует идентификации с помощью SMS-кода. Код отправляется на указанный номер, а затем его нужно ввести для завершения регистрации. Считается, что это позволяет отфильтровать троллей, мошенников и преступников. Однако, как показало наше исследование SMS PVA: An Underground Service Enabling Threat Actors to Register Bulk Fake Accounts, такой способ идентификации уже не может считаться надёжным. В этом посте расскажем, почему наши эксперты пришли к такому выводу, и приведём рекомендации для повышения безопасности. 

Читать далее
Total votes 13: ↑13 and ↓0+13
Comments13

Ускорение рутинных HR-процессов с помощью RPA и BluePrism

Reading time6 min
Views7.3K
В IT-компаниях и банках множество разных процессов. И если разработку софта и создание дизайна еще можно успешно оптимизировать с помощью гибких методологий (если их правильно внедрить и использовать), то некоторые вещи Agile так же быстро ускорить не может. Например, HR-процессы. Со стороны кажется, что все просто, есть у ребят из отдела кадров софтинки для ведения кандидатов и сотрудников, и всё, чего тут сложного.

На самом деле, затыков и тормозов в этих процессах более, чем достаточно. В этом посте мы расскажем, как внедрение HR-роботов помогает нам в работе.



Важно сразу обозначить, что мы говорим не о каких-то роботизированных помощниках, не о натасканном боте в чате приложения и не о роботе-обзвонщике с женским голосом, предлагающем вакансии или кредиты. Мы говорим именно о инфоботах, которые берут на себя большую часть рутины современного HR.
Читать дальше →
Total votes 20: ↑19 and ↓1+18
Comments0

Архитектура системы обработки данных: как выбрать между on-premise, on-cloud и гибридным вариантом?

Reading time4 min
Views3.8K


С усложнением бизнес-задач в компаниях усложняются и требования к корпоративной системе аналитики. С одной стороны, она должна быть удобной, как для обычных пользователей, так и для техперсонала. А с другой — безопасной и функциональной. Получится ли в этом случае быть одновременно и умным, и красивым? Попробуем разобраться.

В современных реалиях используются, в основном, 2 подхода к организации корпоративных информационных систем — это on-premise решения и on-cloud продукты. Рассмотрим каждый из них по отдельности и увидим, что получается, если объединить их.
Читать дальше →
Total votes 15: ↑14 and ↓1+13
Comments1

Роботизация для macOS по-взрослому

Reading time4 min
Views3.5K

Несмотря на то, что на рынке существуют различные RPA-решения, большинство из них не работают на macOS. Microsoft выпускает самую распространенную операционную систему для конечных пользователей, и большинство вендоров предоставляют решения, совместимые только с Windows. При этом по данным StatCounter, macOS занимает четвертое место по доле рынка (8,25%) среди всех операционных систем.

Сегодня технология RPA (Robotic Process Automation) позволяет экономить тысячи человеко-часов за счет передачи рутинных задач роботам. До недавнего времени область применения RPA ограничивалась исключительно компьютерами под управлением Windows (если не брать в расчет компьютерное зрение «по удаленке»). В одном из прошлых постов мы с вами говорили о роботах под Linux, и вот, в декабрьской preview-версии, компания UiPath представила возможность использовать роботов под macOS! 

Что под капотом у этих роботов, как они выглядят для пользователей и что вам нужно сделать, чтобы создать своего первого робота под macOS — вы узнаете за пару минут в этой статье. 

Статья написана при поддержке технического эксперта UiPath: Валентина Драздова.

Читать далее
Total votes 10: ↑9 and ↓1+8
Comments1

Спасите ваши файлы: изучаем атаки на NAS

Reading time9 min
Views7.7K

Сетевые накопители (NAS) — практически идеальные устройства: компактные, экономичные, тихие. Легко настроить, легко использовать. Мечта домашних пользователей и администраторов небольших сетей. 

К сожалению, простота настройки имеет и обратную сторону: не слишком погружённые в тему кибербезопасности владельцы NAS используют «слабые» настройки, превращая свои устройства в лёгкую мишень для взлома. 

Мы изучили текущую инфраструктуру популярных устройств NAS и выявили значительные угрозы и риски, которые могут привести к их компрометации. В этом посте — наиболее важные результаты нашего исследования.

Читать далее
Total votes 13: ↑10 and ↓3+7
Comments10
1
23 ...

Information

Rating
Does not participate
Registered
Activity