TensorFlow и логистическая регрессия

После непродолжительной, но весьма кровавой войны мне все-таки удалось откомпилировать и собрать TensorFlow для GPU с CUDA capability=3.0. Теперь можно погрузиться в него основательно, потому что машинное обучение с GPU — это быстро, легко и приятно, а без GPU — порой лишь огромная потеря времени.

Попробуем запрограммировать самую простейшую логистическую регрессию.

Начнем незамысловато — с импорта tensorflow:

import tensorflow as tf

Далее загружаем данные:

train_X, train_Y, test_X, test_Y = load_data()

Функцию load_data, которая загружает ваши данные, вам необходимо будет реализовать самостоятельно.

Структура данных предельно проста:
— train_X и test_X — это numpy-массивы размерностью NxF, где N — количество анализируемых инстансов (проще говоря, точек данных), а F — количество атрибутов у каждого инстанса.
— train_Y и test_Y — это тоже numpy-массивы, но уже размерностью NxC, где С — количество классов (в самом простом случае, 2)
Таким образом, если train_Y[i] содержит вектор [1 0], это означает, что i-ый инстанс относится к классу 0 (поскольку в нулевом элементе вектора стоит 1).

Для удобства запомним важные размерности:

num_features = train_X.shape[1]
num_classes = train_Y.shape[1]

Теперь определим символьные переменные для будущих вычислений:

X = tf.placeholder("float", [None, num_features])
Y = tf.placeholder("float",[None, num_classes])

Здесь мы создаем символьную переменную X типа «float» размерностью «хоть сколько» на num_features. Количество точек данных никак не влияет на суть вычислений, поэтому можно их не фиксировать в модели. Зато потом мы сможем запускать вычисления на одной и той же модели как со 100 точками, так и с 10 миллионами.

C Y совершенно аналогичная ситуация.

Еще нужно создать переменные для хранения параметров модели:

W = tf.Variable(tf.zeros([num_features,num_classes]))
B = tf.Variable(tf.zeros([num_classes]))

А теперь описываем модель:

pY = tf.nn.softmax(tf.matmul(X, W) + B)

В данном случае мы используем наипростейшую линейную модель вида y=Wx+B, завернутую в softmax. В pY будет храниться результат расчета, то есть предсказанный Y, поэтому он также будет иметь размерность NxC.

Далее определяем функцию потерь:

cost_fn = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(pY, Y))

Можно, конечно, функцию потерь и более явно описать:

cost_fn = -tf.reduce_sum(Y * tf.log(pY))

После чего создаем оптимизатор:

opt = tf.train.AdamOptimizer(0.01).minimize(cost_fn)

Вместо Adam желающие могут использовать и старый добрый градиентный спуск:

opt = tf.train.GradientDescentOptimizer(0.01).minimize(cost_fn)

До сих пор мы только описывали модель и ее параметры, но никакие вычисления пока не проводились. И вот, наконец-то, мы переходим к расчетам. Сначала создаем сессию и инициализируем все переменные.

sess = tf.Session()
init = tf.initialize_all_variables()
sess.run(init)

А теперь поехали:

num_epochs = 40
for i in range(num_epochs):
  sess.run(opt, feed_dict={X:train_X, Y:train_Y})

Здесь просто происходит вызов ранее описанного оптимизатора, которому передаются данные: символьная переменная X получает данные из train_X, а Y — из train_Y. Таким образом, в модели больше нет никакой неопределенности и все вычисления выполнимы.

В данном случае, мы проводим 40 итераций, в каждой из которых обсчитываются все имеющиеся тренировочные данные.
Если данных много, то можно разделить их на блоки (batch'и) и учить последовательно, то есть каждая эпоха будет включать цикл по всем блокам.

Для оценки качества модели надо ввести критерий оценки:

accuracy = tf.reduce_mean(tf.cast(tf.equal(tf.argmax(pY,1), tf.argmax(Y,1)), "float"))

Здесь сравнивается реальный класс и предсказанный класс, после чего результат сравнения преобразуется из типа boolean в тип float (true — 1, false — 0), а затем по всем этим сравнениям берется среднее.
Обратите внимание, что предыдущая строка только определяет критерий, а не вычисляет его. Вышеописанная формула, также как и оптимизатор, зависят от символьных переменных, которые надо наполнить данными. Поэтому для выполнения расчета снова запускаем run:

accuracy_value = sess.run(accuracy, feed_dict={X:test_X, Y:test_Y})

Однако теперь мы уже используем тестовые, а не тренировочные данные.

Вот и все. Это было совсем несложно.