Начало работы со службой «Машинное обучение Azure» с использованием пакета SDK для Python

В рамках этой статьи будет использоваться пакет SDK для Машинного обучения Azure для Python 3 для создания и применения рабочей области Службы машинного обучения Azure. Эта рабочая область — основной блок в облаке для экспериментов, обучения и развертывания моделей машинного обучения с помощью Машинного обучения Azure.

Вы начнете с настройки собственного окружения Python и сервера Jupyter Notebook. Сведения о запуске без установки см. в статье Краткое руководство. Начало работы со Службой машинного обучения Azure с помощью портала Azure.

В этом кратком руководстве вы:

• установите пакет SDK для Python;
• Создавать рабочую область в своей подписке Azure.
• создадите файл конфигурации для той рабочей области, которая будет использоваться позже в других записных книжках и скриптах;
• запишите код, который будет записывать в журнал значения внутри рабочей области;
• просмотрите записанные значения в рабочей области.

Вы создаете рабочую область и ее файл конфигурации, которые можно использовать как необходимые компоненты для работы с другими руководствами и статьями с инструкциями по Машинному обучению. Как в случае с другими службами Azure, со службой «Машинное обучение Azure» связаны определенные ограничения и квоты. Узнайте больше о квотах и способах отправки запросов на получение дополнительных квот.

Следующие ресурсы Azure добавляются автоматически в рабочую область, если они доступны в вашем регионе:

• Реестр контейнеров Azure
• Хранилище Azure
• Azure Application Insights
• Хранилище ключей Azure

 Примечание

Для выполнения кода из этой статьи требуется пакет SDK для Машинного обучения Azure 1.0.2 или более поздней версии. Код был протестирован с версией 1.0.8.

Если у вас еще нет подписки Azure, создайте бесплатную учетную запись Azure, прежде чем начинать работу. Опробуйте бесплатную или платную версию Службы машинного обучения Azure.

Установка пакета SDK

 Важно!

Пропустите этот раздел, если вы используете Виртуальную машину для обработки и анализа данных Azure или Azure Databricks.

• Виртуальные машины для обработки и анализа данных Azure, созданные после 27 сентября 2018 г., поставляются с уже установленным пакетом SDK для Python.
• В среде Azure Databricks выполните вместо этого шаги установки Databricks.

Прежде чем устанавливать пакет SDK, сначала рекомендуется создать изолированную среду Python. Хотя в этой статье используется Miniconda, также можно использовать полностью установленное средство Anaconda или Python virtualenv.

Установка Miniconda

Скачайте и установите Miniconda. Выберите Python 3.7 или более поздней версии для установки. Не выбирайте версию Python 2.x.

Создание изолированной среды Python

1. Откройте окно командной строки, а затем создайте среду conda с именем myenv и установите Python 3.6. Пакет SDK для Машинного обучения Azure будет работать с Python 3.5.2 или более поздней версии, но автоматические компоненты машинного обучения не полностью функциональны на Python 3.7.

   
   

   conda create -n myenv -y Python=3.6

2. Активируйте среду.

   
   

   conda activate myenv

Установка пакета SDK

1. В активированной среде conda установите основные компоненты пакета SDK для Машинного обучения Azure с возможностями записной книжки Jupyter. Установка занимает несколько минут в зависимости от конфигурации компьютера.

   
   

    pip install --upgrade azureml-sdk[notebooks]

2. Установите сервер Jupyter Notebook в среде conda.

   
   

   conda install -y nb_conda

3. Чтобы использовать эту среду для учебников по Машинному обучению Azure, установите следующие пакеты.

   
   

   conda install -y cython matplotlib pandas

4. Чтобы использовать эту среду для учебников по Машинному обучению Azure, установите автоматические компоненты машинного обучения.

   
   

   pip install --upgrade azureml-sdk[automl]

Создание рабочей области

Создайте рабочую область в Jupyter Notebook с помощью пакета SDK для Python.

1. Создайте каталог, который вы хотите использовать для краткого руководства и учебников, или перейдите к нему.

2. Чтобы запустить Jupyter Notebook, введите эту команду:

   
   

   jupyter notebook

3. В окне браузера создайте записную книжку с использованием стандартного ядра Python 3.

4. Чтобы просмотреть версию пакета SDK, введите следующий код Python в ячейку записной книжки и выполните его.

   
   

   import azureml.core
   print(azureml.core.VERSION)

5. Найдите значение для параметра <azure-subscription-id> в списке подписок на портале Azure. Используйте любую подписку, в которой вам предоставлена роль владельца или участника.

   
   

   from azureml.core import Workspace
   ws = Workspace.create(name='myworkspace',
                         subscription_id='<azure-subscription-id>', 
                         resource_group='myresourcegroup',
                         create_resource_group=True,
                         location='eastus2' 
                        )

   
   

   При выполнении кода вам может быть предложено войти в учетную запись Azure. Когда вы войдете в систему, маркер проверки подлинности будет кэширован локально.

6. Чтобы просмотреть сведения о рабочей области, например связанное хранилище, реестр контейнеров и хранилище ключей, введите следующий код.

   
   

   ws.get_details()

   
   

Запись файла конфигурации

Сохраните сведения рабочей области в файле конфигурации в текущем каталоге. Этот файл называется aml_config\config.json.

Этот файл конфигурации рабочей области упрощает дальнейшую загрузку этой же рабочей области. Вы можете загрузить ее с помощью других записных книжек и скриптов в том же каталоге или подкаталоге.

# Create the configuration file.
ws.write_config()

# Use this code to load the workspace from 
# other scripts and notebooks in this directory.
# ws = Workspace.from_config()

Этот вызов API write_config() позволяет создать файл конфигурации в текущем каталоге. Файл config.json содержит следующее:

{
    "subscription_id": "<azure-subscription-id>",
    "resource_group": "myresourcegroup",
    "workspace_name": "myworkspace"
}

Используйте рабочую область

Запустите код, использующий базовые интерфейсы API пакета SDK для отслеживания нескольких экспериментальных запусков.

1. Создайте эксперимент в рабочей области.
2. Введите одно значение в эксперимент.
3. Введите список значений в эксперимент.

from azureml.core import Experiment

# Create a new experiment in your workspace.
exp = Experiment(workspace=ws, name='myexp')

# Start a run and start the logging service.
run = exp.start_logging()

# Log a single  number.
run.log('my magic number', 42)

# Log a list (Fibonacci numbers).
run.log_list('my list', [1, 1, 2, 3, 5, 8, 13, 21, 34, 55]) 

# Finish the run.
run.complete()

Просмотр зарегистрированных результатов

После завершения выполнения сведения об экспериментальном запуске можно просмотреть на портале Azure. Чтобы вывести URL-адрес расположения с результатами последнего запуска, используйте следующий код.

print(run.get_portal_url())

Используйте ссылку, чтобы просмотреть в браузере зарегистрированные в журнале значения на портале Azure.

Очистка ресурсов

 Важно!

Созданные ресурсы могут использоваться в качестве необходимых компонентов при работе с другими руководствами по Машинному обучению Azure.

Если вы не планируете использовать ресурсы, созданные в этой статье, удалите их, чтобы плата не взималась.

ws.delete(delete_dependent_resources=True)

Дополнительная информация

В этой статье вы создали ресурсы для экспериментирования и развертывания моделей. Кроме того, вы запускали код в записной книжке и изучали журнал выполнения из этого кода в вашей рабочей области в облаке.

Руководство Обучение модели классификации изображений

Вы также можете изучить более сложные примеры на GitHub.