Pull to refresh
  • by relevance
  • by date
  • by rating

OpenAI представила алгоритм для текстов GPT-3, который обучили на 175 млрд параметров

AlgorithmsMachine learningArtificial Intelligence
image

Исследователи из OpenAI показали алгоритм GPT-3, предназначенный для написания текстов на основе всего нескольких примеров. Его архитектура Transformer аналогична GPT-2, но модель обучали на 175 миллиардов параметров или 570 гигабайтах текста.
Читать дальше →
Total votes 26: ↑22 and ↓4+18
Views23K
Comments 19

OpenAI представила первый коммерческий продукт — API для доступа к моделям ИИ

APIMachine learningArtificial Intelligence
image

OpenAI выпустила API для коммерческого использования, которое обеспечивает доступ к новым моделям искусственного интеллекта, разработанным компанией. Разработка отмечает, что API предлагает универсальный интерфейс «text in, text out», позволяющий пользователям использовать его практически для любой задачи на английском языке. ПО может переводить, писать рассказы и стихи, а также отвечать на повседневные вопросы.
Читать дальше →
Total votes 11: ↑11 and ↓0+11
Views3.9K
Comments 7

Разбиение диска объемом больше 2 Тб

Lumber room
На сервере увеличили дисковый объем. Поставили 8 дисков по 750 Гб каждый, объединив их в пятый рейд. В итоге получили массив объемом около 4.5 Тб. Тут и столкнулся с ограничением MBR в 2 Тб. Не знаю как под Windows дела обстоят, возможно там все автоматизировано, но на нашем сервере стоит FreeBSD 6.2, и стандартный установщик sysinstall упорно не хотел разбивать диск на полный объем. На помощь пришел GUID partition table (GPT).

UPD: В Windows Server все действительно происходит автоматически. Единственно что GPT доступен начиная с версии Windows Server 2003 Service Pack 1.<p/>

подробности разбиения на примере FreeBSD
Total votes 12: ↑11 and ↓1+10
Views1.6K
Comments 11

Правильное приготовление и работа с ZFS под FreeBSD

*nix
Некоторое время назад возникла задача построения достаточно вместительного массива для хранения оперативных инкрементальных бекапов. Причём тратить деньги особо не хотелось, а место было нужно. Решение было простым и достаточно удобным. Далее много текста.

Читать дальше →
Total votes 39: ↑36 and ↓3+33
Views41K
Comments 45

GPT и WD Advanced format

Configuring Linux
Одна из внезапных проблем при использовании GPT — (если мы хотим увидеть приличную скорость записи) необходимость руками подстраивать положение раздела на дисках WD с Advanced format. Суть Advanced Format проста: внутри диск имеет 4к сектора, наружу они эмулируются как 512-байт. Если мы делаем запись двух секторов в пределах одного 4к блока, он записывается один раз. Если мы делаем запись двух секторов так, что задеваем два 4к-сектора — диску приходится читать два сектора, обновлять информацию и записывать их обратно. Плохо и медленно. Современные ОС используют 4к блоки для записи, так что если мы попадём правильно, то каждая операция записи будет просто записью, без чтения. Если же мы попадём неровно (например, 2кб из первого сектора и 2кб из второго), то мы получим огромные тормоза (см ссылку внизу на сайт IBM с статистикой «торможения» при ошибках в разметке).

WD, когда размышляла насчёт 512 VS 4k, не учла, что помимо MBR есть ещё GPT. В случае 2Тб дисков MBR ещё терпит, однако, впереди диски на 3Тб, и в них MBR просто математически не сможет обеспечить разделы и переход на GPT неизбежен.

Так что проблему GPT и WD нужно учитывать уже сегодня. Основным инструментом для манипуляций с GPT в настоящий момент является parted и его графическая версия gparted. К сожалению, gparted не умеет того, что нам нужно, так что всё последующее описывает использование parted.

Основная мысль: Все величины (начало, конец раздела) должны быть кратны 4кБ, или, что чуть проще, 8 секторам. Это требование WD advanced format.

Сама GPT занимает некоторый объём (33 сектора: 32 сектора GPT, 1 сектор — фальшивый MBR-затычка), так что первое кратное 8 число, с которым мы можем работать — 40 секторов. Оконечное число зависит от ёмкости диска, но тоже, желательно, кратное 8. Кроме того, GPT дублируется в конце диска, так что место в конце диска так же будет «обкусано».

Для наилучшей производительности нужно учесть размер PE для LVM — 4Mb (8192 сектора) и установить размер тома кратным количеству PE. В результате всех этих манипуляций мы потеряем чуть-чуть места (меньше 8Мб), но зато получим быстрый том, у которого будут отсутствовать «unused» килобайты в описании в LVM.

Помимо этого есть ещё мнение самого gparted, о том, что лучшее положение тома — кратно мегабайтам. Таким образом, итоговые требования звучат так: том должен начинаться и заканчиваться на величинах, кратных 4Мб.

Итак, создание LVM тома на WD'шном диске с Advanced Format:
Читать дальше →
Total votes 12: ↑8 and ↓4+4
Views22K
Comments 19

Ставим Gentoo x64 + xen на диски размером 3Tb в Hetzner

System administration
Sandbox
Для чего это нужно: Допустим вам нужно организовать пару тройку независимых удаленных рабочих столов. Не арендовать же под каждый rdp, отдельный сервер, можно арендовать один и сделать их там хоть 16 штук.

Арендовав пару серверов класса EX4 на hetzner.de я встал перед проблемой, в сервере установлено два диска по 3Tb и все. Есть известная проблема, что диски с таблицей разделов MBR могут адресовать только 2,2Тб. Было два варианта, либо настраивать MBR и отказываться от 800гигов дискового пространства, либо сделать таблицу GPT и попытаться загрузиться из неё, что весьма не тривиально, но по факту просто.
Плюс небольшой HOWTO как поставить Xen.

Читать дальше →
Total votes 45: ↑38 and ↓7+31
Views8.9K
Comments 33

Жесткий диск 3TB — подключаем к Windows XP

System administration
В связи с кризисным состоянием рынка жестких дисков все чаще стал задумываться, что сейчас самое время купить диск объемом 3Тб. Волей случая мой выбор пал на модель ST3000DM001. Стоимость этого чуда получилась немаленькая, но я заранее для себя решил, что буду гнаться за объемом, закрыв глаза на цену.

На работе воткнул свое приобретение в Windows 7 и без звука отформатировал его в новомодный GPT, который, в отличие от MBR, поддерживает диски более 2Тб. Но на домашней Windows XP возникли проблемы, диск виден, но доступа к нему нет — проблема с GPT. Устаревшая операционка отказывается принимать в строй новичка.

Стал гуглить, нашел обсуждение, сводящееся к тому, что нужно ставить Paragon GPT Loader. Но эта версия подходит только для Hitachi, для других моделей танцы с бубном, судя по форуму, превышают все разумные пределы.
Читать дальше →
Total votes 41: ↑25 and ↓16+9
Views109K
Comments 58

Установка Window7(64Bit) на GPT диск, на материнках с EFI, без USB/DVD

*nix
Сразу нужно уточнить, что речь пойдёт про установку Win рядом с linux дистрибутивом. То есть на компьютере должен стоять grub-efi.
Установка возможна только 64 битной Windows системы.
Читать дальше →
Total votes 24: ↑13 and ↓11+2
Views57K
Comments 2

Тестирование СХД NetApp FAS при помощи генератора нагрузки IOMeter

High performance
Во время тестирования СХД специалисты часто встречаются с проблемами в производительности в связи с нюансами настройки всего комплекса. Для нагрузочного тестирования СХД не достаточно только лишь запустить симулятор нагрузки, необходимо настроить систему хранения, сеть и хост. Основная масса настроек, как правило, выполняется именно на хосте.

Целью данной статьи помощь системным администраторам и системным интеграторам в понимании настроек и нюансов при тестировании СХД NetApp. Хочу также отметить, что в этой статье не было задачи в получении максимально возможной производительности контроллеров NetApp FAS 2240, так как на момент тестирования демо оборудования не было достаточного количества дисков (144 максимум) для СХД, а также в наличии был только один сервер. Т.е. максимальная производительность здесь рассматривается в контексте конкретной конфигурации демо стенда, другими словами при большем количестве дисков, серверов и подключений по сети возможно получить результаты ещё лучше с теми же контроллерами 2240. Хотя все графики с результатами производительности взяты с реальных конфигураций конечных заказчиков, использующих в тестах контроллеры 2240, в некоторых тестах использовались четыре SSD 100GB MLC диска.

Ниже приведено комплексное описание нагрузочного тестирования СХД: настройки симулятора нагрузки IOMeter, методика настройка хоста и СХД NetApp FAS, снятие статистики нагрузки, а также интерпретация полученных результатов. На примере существующего демо стенда будет рассмотрены методы настройки всех его компонент, а также других возможных вариантов конфигураций с использованием NetApp FAS.

image
Читать дальше →
Total votes 9: ↑9 and ↓0+9
Views24K
Comments 6

Мрачная история знакомства линуксоида с Windows 8

Lumber room
Sandbox
Приветствую сообщество. Хочу поведать об одной своей мрачной истории, ибо держать ее в себе сложно, а плачь в жилетку двух друзей-единомышленников не шибко помог.

Решил я пересесть со стационарного компьютера на ноутбук, так как профессия моя имеет самое непосредственное отношение к IT (основная работа — инженер отдела информационных технологий, плюс веб-программирование «то там, то здесь») и иногда полезно иметь переносное рабочее место. Имелся в распоряжении нетбук, но диагональ его экрана делала меня грустить в моменты работы над сайтами, да и по умственно-вычислительным характеристикам он не особо блистал.

Последние, наверное, лет 7 основная и единственная операционная система у меня Arch Linux, стоит везде: на рабочем компьютере, на домашнем, на нетбуке, на VPS. Не буду сейчас расписывать все плюсы веб-разработки в Linux, скажу лишь, что я просто счастлив работать в этой системе. Так что, при покупке ноутбука вопроса выбора дистрибутива не стояло.

С ноутбуком шла предустановленная Windows 8, решил на этот раз я не сносить все на диске, а попытаться подружить обе системы. Все таки, за систему была, соответственно, накручена цена устройства, да и не было бы лишним иметь на всякий случай под рукой продукт Майкрософта (что-нибудь запустить или побегать на досуге в какую-нибудь игорку, ноутбук, все-таки, не слабый). Задача, в принципе, довольно тривиальная, с оговоркой, что ноутбук имел на борту UEFI с GPT-разметкой диска, с чем я, честно говоря, особо тесно не работал.

Почитал мануалы на эту тему, начал действовать. Уменьшил раздел с контентом Windows до 100 Гб, создал после него еще один 100 Гб раздел под корень Linux, после него раздел под Swap, оставшееся место использовал в виде NTFS-раздела для данных для обоих систем. После него оставил не тронутым раздел восстановления. Установил Arch Linux, все завелось без проблем, загружались обе системы путем нажатия F12.
Читать дальше →
Total votes 110: ↑47 and ↓63-16
Views11K
Comments 103

Очередная миграция PROXMOX в softRAID1, но теперь уже 3.2 и на GPT-разделах, установка FreeNAS 9.2 на виртуальную машину и проброс в него физического диска

Virtualization
Sandbox
Здравствуйте!

В очередной раз мне понадобился сервер Proxmox. Железо следующее: AMD FX-4300, 4Gb, два диска 500Gb для самого proxmox и еще два для хранилища. Задачи слоял следующие: одна из машин FreeNAS, в нее хотелось пробросить несколько дисков (желательно физических), что бы на них разместить хранилище, и еще несколько ВМ не относящихся к статье.

У меня есть фишечка всегда пытаться ставить самые последнии версии, а не проверенные старые. Так произошло и в этот раз.
Скачал Proxmox VE 3.2 и FreeNAS 9.2. А вот что из этого получилось под катом.
Читать дальше →
Total votes 6: ↑6 and ↓0+6
Views26K
Comments 28

Acronis Disk Director: разбиваем диски без проблем

Acronis corporate blog
Наверняка, вам знакома ситуация, когда нужно переразбить разделы на диске, а делать это очень не хочется. Многие боятся связываться с подобными операциями посреди рабочей недели и откладывают её на выходные, подсознательно зная, что в 15 минут тут не уложишься. Нет нужды перечислять все сопутствующие риски, которые приходится страховать в подобном случае.

Между тем есть отличная программа, которая позволяет быстро изменять диск или системный раздел без траты времени на резервное копирование и восстановление данных. Речь об Acronis Disk Director – программе, которая даёт вам полный контроль, необходимый для эффективного использования дисков, позволяет их объединять, разделять, масштабировать, копировать, перемещать отдельные разделы и многое другое.


Под катом мы рассмотрим наиболее популярные фичи продукта и его интересные особенности.
Читать дальше →
Total votes 47: ↑30 and ↓17+13
Views187K
Comments 63

Acronis Snap Deploy 5: Массовый деплоймент быстро просто и надёжно

Acronis corporate blog
В нынешних реалиях много дорогих вещей, таких как квартира, информация, хобби, и так далее. Но всё же самым дорогим является время. Время утекает быстро, а так хочется всё успеть сделать. Практически ежедневно системные администраторы на разворачивание операционных систем для любых нужд в любых количествах, затрачивают колоссальные ресурсы человеко-часов.

Предлагаем к использованию программу, позволяющую не только разворачивать одновременно десятки машин в сети, но и применять персональные параметры к каждой разворачиваемой машине. Простой инструмент Acronis Snap Deploy умеет оперировать десятками и сотнями машин в одной сети, давая все опции по развёртыванию как Windows, так и Linux операционных систем.


Читать дальше →
Total votes 32: ↑24 and ↓8+16
Views36K
Comments 14

Расширение разделов без потери данных

Go

Суть


Разработал программу для простого расширения раздела и файловой системы (xfs, ext3,4) без потери данных. github.com/rekby/fsextender/releases/latest

Исходная проблема


После расширения диска виртуальной машины c ос семейства linux расширить внутри неё раздел данных.
Подробности
Total votes 33: ↑32 and ↓1+31
Views63K
Comments 12

Миграция Windows между BIOS <-> UEFI

System administrationUEFI
Tutorial
Появляется такая задача не часто, но все-же, нужно преобразовать уже установленную систему, загружаемую в BIOS (или UEFI режиме) в UEFI режим (в BIOS соответственно).
Кому интересно, читаем далее:
Читать дальше →
Total votes 23: ↑20 and ↓3+17
Views71K
Comments 40

Ручная установка Windows 7/8/8.1/10 в систему с загрузчиком GRUB2

System administration
Наверняка почти у каждого пользователя ОС Linux и ОС Windows, а я имею в виду именно тех, у кого, в силу ряда причин, установлены обе системы, время от времени возникал вопрос: «А нельзя ли, черт возьми, придумать способ, с помощью которого можно было бы устанавливать эти системы в произвольном порядке? Без порчи настроек загрузчика?» Ведь если ставим сначала Windows а потом Linux всё хорошо — линуксовый загрузчик (например GRUB) обычно подхватывает bootmgr. Если ставить в обратном порядке то увы. Даже с использованием GPT + EFI. В случае с EFI нет опасности перезаписи MBR, зато таки есть один нюанс, который лично мне не нравится — установщик Windows в режиме EFI хоть и не перезаписывает сектора диска своим кодом, но зато переопределяет NVRAM, подсовывая туда путь к своему загрузчику. Так что функционал GBUB всё равно приходится восстанавливать. В настройках штатного установщика нет опций для кастомизации процесса установки загрузчика. А что если… не использовать стандартный установщик?! Ну, или почти не использовать…



И такой способ есть. И основан он на технологии установки Windows, которую мы имеем в её дистрибутивах начиная с «семерки». Способ работает для случая Windows версий 7/8/8.1/10, как в случае с MBR + BIOS системы, так в случае с EFI + GPT. Установить систему можно как в раздел HDD, так и на VHD. При этом функционал установщика нужен нам в общем-то для запуска программы настройки BCD-хранилища конфигурации загрузчика. Вместо установочного диска можно использовать загрузочный носитель на основе WinPE. Если бы утилитам bcdedit.exe и BootICE была *nix альтернатива, весь процесс развертывания системы можно было бы вообще выполнить в среде Linux.

Читать дальше →
Total votes 31: ↑29 and ↓2+27
Views105K
Comments 45

Настройка UEFI-загрузчика. Самое краткое руководство в мире

Configuring LinuxSystem administration*nixUEFI
Tutorial

Как устроена загрузка современных ОС? Как при установке системы настроить загрузку посредством UEFI, не утонув в руководствах и ничего не сломав?


Я обещал "самое краткое руководство". Вот оно:


  1. Создаём на диске таблицу разделов GPT
  2. Создаём FAT32-раздел на пару сотен мегабайт
  3. Скачиваем из интернета любой UEFI-загрузчик
    (нам нужен сам загрузчик, это один бинарный файл!)
  4. Переименовываем и кладем этот файл на созданный раздел по адресу /EFI/Boot/bootx64.efi
  5. Создаём текстовый конфиг, кладем его там, где загрузчик ожидает его увидеть
    (настройка и местоположение конфига зависят от конкретной реализации загрузчика, эта информация доступна в интернете)
  6. После перезагрузки видим меню загрузчика
    (Если на диске установлена Windows 8 или 10 — с большой вероятностью это руководство сокращается до пунктов 3 — 5.)

TL;DR не надо прописывать путь к загрузчику в новых загрузочных записях UEFI — надо файл загрузчика расположить по стандартному "пути по-умолчанию", где UEFI его найдет, и вместо загрузочного меню UEFI пользоваться меню загрузчика, которое гораздо проще и безопаснее настраивается

Читать дальше →
Total votes 52: ↑46 and ↓6+40
Views420K
Comments 90

Настройка запуска меню загрузчика GRUB при установке Linux с Windows на один компьютер с таблицей разделов GPT

Configuring LinuxSystem administrationIT Infrastructure
Sandbox
Привет, Хабр! Сегодня мы рассмотрим ситуацию, когда при двойной установке Linux & Windows загрузчик GRUB не стартует, давая возможность выбрать ОС, а автоматически загружается Windows. Немного теории:

GRUB (GRand Unified Bootloader) — программа-загрузчик операционных систем.
GRUB может загрузить любую совместимую с ней операционную систему. Среди них: Linux, FreeBSD, Solaris и многие другие. Кроме того, GRUB умеет по цепочке передавать управление другому загрузчику, что позволяет ему загружать Windows (через загрузчик NTLDR), MS-DOS, OS/2 и другие системы.

Значит с теорией мы немного разобрались (думаю этого будет достаточно), теперь же рассмотрим, какие бывают подводные камни, при установке Dual Boot Windows и Linux на одном компьютере.

image

Читать дальше →
Total votes 20: ↑11 and ↓9+2
Views103K
Comments 23

Восстановление данных из поврежденного массива RAID 50

Data recovery
Sandbox
Многим компаниям требуются сервера с высокопроизводительной дисковой подсистемой большой емкости, которая достигается за счет использования большого количества высокопроизводительных дисков. Имеем случай, когда компания использовала решение из 10 HDD с интерфейсом SAS емкостью 600 GB, организованных в массив RAID 50 (полезная емкость массива 600*8=4800 GB). Данный RAID 50 представляет из себя комбинированный массив, который рассматриваем как два массива RAID 5, объединенных в массив RAID 0. Данное решение позволяет получить более высокую скорость записи на массив в сравнении с обычным RAID 5 с таким же количеством дисков-участников, потому что для формирования блока четности требуется меньшее число операций чтения с дисков участников (скоростью расчета самого блока четности можно пренебречь в силу того, что он представляет весьма малую нагрузку для современных RAID контроллеров). Также в RAID 50 в некоторых случаях отказоустойчивость будет выше, так как допустима потеря до двух дисков (при условии, что диски из разных массивов RAID 5, входящих в данный RAID). В рассматриваемом нами случае со слов системного администратора произошел отказ 2 дисков, которые привели к остановке RAID массива. Затем последовали действия системного администратора и сервисного отдела компании продавца сервера, которые не могут быть описаны в силу сбивчивых и противоречащих друг другу показаний.
Читать дальше →
Total votes 37: ↑36 and ↓1+35
Views16K
Comments 47

Сравнение структур разделов GPT и MBR

System administrationData storageUEFI
Translation
Вы когда-нибудь задумывались о том, как загружается компьютер? Независимо от аппаратуры и операционной системы, все компьютеры при загрузке используют или традиционный метод BIOS-MBR, или более современный UEFI-GPT, реализованный в последних версиях ОС.

В этой статье мы сравним структуры разделов GPT и MBR; GPT означает GUID Partition Table, а MBR — Master Boot Record. Начнём с того, что разберём сам процесс загрузки.

В следующих главах выделяются различия между стилями разделов GPT и MBR, в том числе приводятся инструкции, как осуществить преобразование между двумя стилями, и советы, какой из них выбрать.
Читать дальше →
Total votes 26: ↑23 and ↓3+20
Views412K
Comments 38
1