Создание базы данных на основе API 37signals

Один из наших сервисов занимается построением ежедневных отчетов анализируя данные из Highrise.
Данные из Highrise можно получать несколькими способами:

• Использовать экспорт в CSV
• Использовать API

CSV нами даже не рассматривался и мы попытались найти удобный метод для ежедневного обновления нашей базы через API.
Придумали следующее:

• Получаем XML фид и парсим его.
• Все непосредственные дочерние поля мы считаем полями в таблице.
• Все вложенные элементы мы считаем связанными таблицами

Пример XML ответа (https://xxx.highrisehq.com/deals.xml):



Стрелками обозначены элементы, которые мы считаем вложенными и соответственно выносим данные в связанные таблицы.

Как мы делали из XML MySQL таблицы.

• Если в данных имеется поле id — мы считаем его первичным целым ключом
• Для всех остальных полей XML типом мы считаем аттрибут type (исключая тип array)
• Для вложенных элементов мы проверяем имеют ли они аттрибут id и если имеют (у нас связанная таблица), то добавялем к нашей таблице поле <имя вложенной таблицы>-id и создаем вложенную таблицу
• Все поля в таблице делим на 3 типа: integer, datetime и varchar/text. TEXT у нас только в том случае, если имя поля имеет одно из конкретных значений: 'value', 'description', 'text', 'body', 'message', 'data', 'blob', 'background'

Пример того что у нас получается на выходе:



Теперь с этими данными можно делать что угодно, рисовать графики, считать суммы, выдергивать другую интересную информацию.

Самое главное, что получившийся код работает со всеми сервисами 37signals и может делать синхронизацию любого их сервиса.

Пример синхронизации Basecamp

<?php

require 'SyncService.class.php';

$sync = new SyncService( array(
        'db' => array(
                'host' => 'localhost',
                'user' => 'root',
                'password' => '123',
                'schema' => 'basecamp'
            ),
        'service' => array(
                'name' => 'basecamp',
                'url' => 'https://xxx.basecamphq.com',
                'token' => 'abcdef1234567890abcdef1234567890',
                'streams' => array(
                        '/todo_lists.xml' => 500,
                        '/people.xml' => 500,
                        '/projects.xml' => 500,
                        '/account.xml' => 0,
                    )
            ),
    ) );

$sync->doSyncing();

Весь код библиотеки вместе с примером на гитхабе.