Привет, хабравчане.
Публикация навеяна этой статьей — «eBay API: Первые шаги» и теоретически может стать её продолжением. Она пригодится тем, кто пытался начать работать с eBay API, не нашел где спросить, что делать и плюнул на это занятие. Или спросил, не дождался ответа и в итоге все равно плюнул.
На истину ни в какой инстанции не претендую и с радостью приму советы по преодолению багов, которые преодолеть так и не удалось.
Прежде всего, хочется оставить небольшую ремарку: начать работать с eBay API быстро — не получится. Катастрофическое количество недосказанностей и нестыковок в документации, недоработки и баги в самом механизме API, неявности и неоднозначности использования комбинаций условий запросов заставляют тестировать каждый шаг по отдельности. И тестировать неоднократно: то, что вчера прекрасно работало, сегодня будет возвращать ошибку, а завтра продолжит работать как ни в чем не бывало.
Впрочем, дабы не возводить напраслину на уважаемую компанию, давайте забудем про предыдущий абзац и все спишем на то, что я просто туп, глуп и недоразвит. И что у настоящего программиста все получится гораздо быстрее и правильнее.
Поэтому если у вас есть рабочий механизм парсинга страниц Ebay — подумайте еще раз, стоит ли переходить на цивилизованный способ получения данных или продолжить время от времени подстраивать парсер под подстоянно изменяющийся дизайн eBay. Тем более что с точки зрения просто покупателя никаких принципиально новых данных вы не получите, а вот например информацию о текущей скидке или обработку события «лот протух, перевыставляем» — потеряете.
Но если вам по долгу службы необходимо следить хотя бы за парой-тройкой тысяч товаров и периодически сверять цены — API вам бесспорно нужен. Мой небольшой проект отчаянно нуждался в автоматизации актуализации цен и добавления новых товаров, а изменения дизайна eBay в 2014 году стали столь часты, что я решилбросить курить перестать парсить, написать зачатки библиотеки по работе с eBay API и заодно начать на старости лет осваивать программирование.
Так как движок проекта написан на PHP, выбора у меня не было, а посему на нем и продолжим.
Начем с функции findItemsAdvanced, что в переводе означает «Найти много товаров по ключевому слову, с совершенно бесполезным результатом для жителей не-США». Затем рассмотрим (наверное уже в следующей статье) другие функции, которые превратят бесполезные ответы в полезные.
Вы уже получили Application Keys как это сказано здесь. Возьмите AppID из Production Keys — из-за того, что баги в Sandbox и Production разные, мы будем сразу работать с «боевой» версией — и подставьте его в нужное место заголовка. Как вы увидите дальше, заголовки в eBay API могут принимать самые разные формы, поэтому я буду приводить их отдельно в каждом конкретном случае.
Остальные значения заголовков можно просто скопировать, они для одинаковы для всех.
Составим запрос.
Все мои запросы относятся к категории «Запчасти для мотоциклов» и ориентированы на тематчиеский раздел eBay USA — «EBAY-MOTORS». Найдите список подходящих вам разделов здесь, список категорий здесь и не забывайте подставлять их в свои запросы.
Здесь хотелось бы подробнее остановиться на параметре descriptionSearch.
Description — это область описания лота в самом низу — под фотографиями, расчетом доставки итд. Теоретически продавец может написать там любую ерунду, которая попадет в наш результат и не будет соответствовать нашему запросу.
Например вы ищете слона, а некий продавец продает кота: в заголовке — кот, на фотографии — кот, но в описании сказано что-то вроде «Это огромный кот, настоящий слон!». Этот товар попадет в нашу выдачу, хотя на самом деле не будет содержать никакого слона. И цена за него будет соответствующая: как за кота.
Завершим подготовку запроса:
Настало время отправить наш запрос…
… и получить ответ:
Хотелось бы остановиться на некоторых моментах ответа.
[shipToLocations] => Worldwide
Эта стока на самом деле ни о чем не говорит. Если продавец вручную ввел вашу страну в черный список, и ни за какие деньги не собирается отправлять туда свои товары, то в этом месте ответа точно так же будет красоваться Worldwide.
[convertedCurrentPrice] => 521.51
EBay API может выдавать нам цены в той валюте, в которой их выставил продавец. На практике правильнее привести все цены в доллары, и этим занимается как раз эта строка.
[timeLeft] => P11DT9H1M57S
По истечению этого времени лот протухнет и будет перевыставлен (Item Relisted). Через некоторое врмя мы больше не сможем найти его по itemID.
[entriesPerPage] => 100
[totalPages] => 1
В eBay API существует глобальное ограничение в 100 лотов на страницу. Если по вашему запросу нашлось больше, вам придется делать несколько запросов и сшивать ответы воедино. В eBay API нет такой функции и мы напишем ее позже.
С полученным ответом вы уже можете что-нибудь сделать и наверняка у вас это получится лучше. Если эта статья будет интересна хаброчитателям, в следующей мы разберем, как его обрабатываю я и что из этого получается.
Также мы рассмотрим возможный алгоритм комбинирования нескольких функций eBay API «из жизни», скормим результат работы одной функции на вход другой, применим несколько фильтров и получим на выходе результат, достойный записи в вашу базу.
Удачи.
Публикация навеяна этой статьей — «eBay API: Первые шаги» и теоретически может стать её продолжением. Она пригодится тем, кто пытался начать работать с eBay API, не нашел где спросить, что делать и плюнул на это занятие. Или спросил, не дождался ответа и в итоге все равно плюнул.
На истину ни в какой инстанции не претендую и с радостью приму советы по преодолению багов, которые преодолеть так и не удалось.
Прежде всего, хочется оставить небольшую ремарку: начать работать с eBay API быстро — не получится. Катастрофическое количество недосказанностей и нестыковок в документации, недоработки и баги в самом механизме API, неявности и неоднозначности использования комбинаций условий запросов заставляют тестировать каждый шаг по отдельности. И тестировать неоднократно: то, что вчера прекрасно работало, сегодня будет возвращать ошибку, а завтра продолжит работать как ни в чем не бывало.
Впрочем, дабы не возводить напраслину на уважаемую компанию, давайте забудем про предыдущий абзац и все спишем на то, что я просто туп, глуп и недоразвит. И что у настоящего программиста все получится гораздо быстрее и правильнее.
Поэтому если у вас есть рабочий механизм парсинга страниц Ebay — подумайте еще раз, стоит ли переходить на цивилизованный способ получения данных или продолжить время от времени подстраивать парсер под подстоянно изменяющийся дизайн eBay. Тем более что с точки зрения просто покупателя никаких принципиально новых данных вы не получите, а вот например информацию о текущей скидке или обработку события «лот протух, перевыставляем» — потеряете.
Но если вам по долгу службы необходимо следить хотя бы за парой-тройкой тысяч товаров и периодически сверять цены — API вам бесспорно нужен. Мой небольшой проект отчаянно нуждался в автоматизации актуализации цен и добавления новых товаров, а изменения дизайна eBay в 2014 году стали столь часты, что я решил
Так как движок проекта написан на PHP, выбора у меня не было, а посему на нем и продолжим.
Начем с функции findItemsAdvanced, что в переводе означает «Найти много товаров по ключевому слову, с совершенно бесполезным результатом для жителей не-США». Затем рассмотрим (наверное уже в следующей статье) другие функции, которые превратят бесполезные ответы в полезные.
Вы уже получили Application Keys как это сказано здесь. Возьмите AppID из Production Keys — из-за того, что баги в Sandbox и Production разные, мы будем сразу работать с «боевой» версией — и подставьте его в нужное место заголовка. Как вы увидите дальше, заголовки в eBay API могут принимать самые разные формы, поэтому я буду приводить их отдельно в каждом конкретном случае.
<?php
/* ищет товары по ключевым словам ВО ВСЕХ store
// в качестве ключевых слов понимает слова, partnumber или itemID
// не понимает доставку за пределы США
*/
function findItemsAdvanced($request)
{
$headers = array(
'X-EBAY-SOA-SERVICE-NAME:FindingService',
'X-EBAY-SOA-OPERATION-NAME:findItemsAdvanced',
'X-EBAY-SOA-SERVICE-VERSION:1.12.0',
'X-EBAY-SOA-GLOBAL-ID:EBAY-US',
'X-EBAY-SOA-SECURITY-APPNAME:Ваш_AppID', // AppID будет жить здесь
"X-EBAY-API-REQUEST-ENCODING: XML",
'Content-Type: text/xml;charset=utf-8',
);
$endpoint = 'http://svcs.ebay.com/services/search/FindingService/v1?';
Остальные значения заголовков можно просто скопировать, они для одинаковы для всех.
Составим запрос.
Все мои запросы относятся к категории «Запчасти для мотоциклов» и ориентированы на тематчиеский раздел eBay USA — «EBAY-MOTORS». Найдите список подходящих вам разделов здесь, список категорий здесь и не забывайте подставлять их в свои запросы.
$xmlRequest = "<?xml version=\"1.0\" encoding=\"utf-8\"?>";
$xmlRequest .= "<findItemsAdvancedRequest xmlns='http://www.ebay.com/marketplace/search/v1/services'>";
$xmlRequest .= "<categoryId>10063</categoryId>"; // 10063 - запчасти для мотоциклов // 6028 - запчасти к транспорту вообще
$xmlRequest .= "<descriptionSearch>false</descriptionSearch>"; // иногда может найти полную ерунду, отключено
$xmlRequest .= "<keywords>".$request."</keywords>"; // самое главное: текст вашего запроса
$xmlRequest .= "<itemFilter><name>Condition</name><value>New</value></itemFilter>"; // состояние товара: новый, б/у и их варианты
$xmlRequest .= "<itemFilter><name>FeedbackScoreMin</name><value>3000</value></itemFilter>"; // отсекаем новичков
$xmlRequest .= "<itemFilter><name>ListingType</name><value>FixedPrice</value></itemFilter>"; // отсекаем аукционные торги
$xmlRequest .= "<itemFilter><name>AvailableTo</name><value>RU</value></itemFilter>";
// эта фича частенько не работает и пропускает товары, которые продавец на самом деле не отправляет в Россию. Сейчас таких продавцов стало намного больше, поэтому мы отстроимся от них в другом запросе еще раз. Чтобы гарантированно не попасть.
$xmlRequest .= "<itemFilter><name>PaymentMethod</name><value>PayPal</value></itemFilter>";
// в некоторых странах существуют платежные системы популярнее Paypal. Для нас они недоступны либо труднодоступны, поэтому лучше сразу отсечь продавцов-смельчаков, которые не принимают Paypal. Пусть eBay разбирается с ними сам.
$xmlRequest .= "<itemFilter><name>HideDuplicateItems</name><value>true</value></itemFilter>";
// нам же не нужны дубликаты в выдаче? Уберем их.
//$xmlRequest .= "<itemFilter><name>ExcludeSeller</name><value>storename</value></itemFilter>"; // на всякий случай: можно исключить вредных и нехороших продавцов из результатов выдачи. Даже если они прикидываются белыми и пушистыми.
$xmlRequest .= "<outputSelector>SellerInfo</outputSelector> // посмотрим что за продавцы попали в наши сети
Здесь хотелось бы подробнее остановиться на параметре descriptionSearch.
Description — это область описания лота в самом низу — под фотографиями, расчетом доставки итд. Теоретически продавец может написать там любую ерунду, которая попадет в наш результат и не будет соответствовать нашему запросу.
Например вы ищете слона, а некий продавец продает кота: в заголовке — кот, на фотографии — кот, но в описании сказано что-то вроде «Это огромный кот, настоящий слон!». Этот товар попадет в нашу выдачу, хотя на самом деле не будет содержать никакого слона. И цена за него будет соответствующая: как за кота.
Завершим подготовку запроса:
$session = curl_init($endpoint);
curl_setopt($session, CURLOPT_POST, true);
curl_setopt($session, CURLOPT_POSTFIELDS, $xmlRequest);
curl_setopt($session, CURLOPT_RETURNTRANSFER, true);
curl_setopt($session, CURLOPT_HTTPHEADER, $headers);
$responseXML = curl_exec($session);
curl_close($session);
?>
Настало время отправить наш запрос…
<?php
header('X-Accel-Buffering: no');
ob_get_flush();
$responseXML = Ebay_shopping::findItemsAdvanced('cobra exhaust c90t');
// "cobra exhaust c90t" — это значит "глушитель марки Cobra для мотоцикла Suzuku Boulevard C90T". Если вы вставите в запрос "iPhone", то в этой категории вы не найдете ни одного айфона: вам будет нужно указать <categoryId>9355</categoryId>.
$responseXML = simplexml_load_string($responseXML);
print_r($responseXML);
?>
… и получить ответ:
Он длинный...
SimpleXMLElement Object
(
[ack] => Success
[version] => 1.13.0
[timestamp] => 2014-11-24T18:01:37.836Z
[searchResult] => SimpleXMLElement Object
(
[@attributes] => Array
(
[count] => 11 // всего найдено 11 лотов, мы разберем один
)
[item] => Array
(
[0] => SimpleXMLElement Object
(
[itemId] => 360763537259
// номер лота, уникальный идентификатор товара. Его можно вставить в строку поиска на сайте eBay или передать другу вместо огромной ссылки, которую генерит eBay.
[title] => Cobra Speedster Exhaust with Powerport Long 2005 Suzuki C90T Boulevard
// название товара. Именно здесь ищется ваш $request.
[globalId] => EBAY-MOTOR // раздел eBay, к которому относится этот лот
[primaryCategory] => SimpleXMLElement Object
(
[categoryId] => 178001
[categoryName] => Other Exhaust Parts
)
[galleryURL] => http://thumbs4.ebaystatic.com/m/mbTIInAkeUhM9YV7mV7GtcQ/140.jpg
// маленькая и довольно бесполезная фотка товара. Мы научимся получать большие фотки позднее.
[viewItemURL] => http://www.ebay.com/itm/Cobra-Speedster-Exhaust-Powerport-Long-2005-Suzuki-C90T-Boulevard-/360763537259?pt=Motorcycles_Parts_Accessories
// по этому урлу будет доступен этот лот на сайте ebay
[paymentMethod] => Array
(
[0] => PayPal
[1] => VisaMC
[2] => AmEx
[3] => Discover
)
[autoPay] => false
[postalCode] => 46528
[location] => Goshen,IN,USA
[country] => US
[sellerInfo] => SimpleXMLElement Object
(
[sellerUserName] => motored_e
[feedbackScore] => 11025 // сюда попали только те, у кого FeedbackScoreMin больше 3000
[positiveFeedbackPercent] => 99.1 // ...а вот недобросовестных продавцов мы отфильтруем чуть позже. Здесь эта фича не работает
[feedbackRatingStar] => YellowShooting
[topRatedSeller] => false
)
[shippingInfo] => SimpleXMLElement Object
(
[shippingServiceCost] => 0.0
[shippingType] => FlatDomesticCalculatedInternational
[shipToLocations] => Worldwide
[expeditedShipping] => true
[oneDayShippingAvailable] => false
[handlingTime] => 1
)
[sellingStatus] => SimpleXMLElement Object
(
[currentPrice] => 521.51
[convertedCurrentPrice] => 521.51
[sellingState] => Active
[timeLeft] => P11DT9H1M57S
)
[listingInfo] => SimpleXMLElement Object
(
[bestOfferEnabled] => false
[buyItNowAvailable] => false
[startTime] => 2013-10-12T02:58:34.000Z
[endTime] => 2014-12-06T03:03:34.000Z
[listingType] => FixedPrice
[gift] => false
)
[returnsAccepted] => true
[condition] => SimpleXMLElement Object
(
[conditionId] => 1000 // хотелось бы в запросе указывать "1000" вместо "New"... но увы, не работает
[conditionDisplayName] => New
)
[isMultiVariationListing] => false
[topRatedListing] => false
)
)
)
[paginationOutput] => SimpleXMLElement Object
(
[pageNumber] => 1
[entriesPerPage] => 100
[totalPages] => 1
[totalEntries] => 11
)
[itemSearchURL] => http://www.ebay.com/sch/10063/i.html?_sasl=riderswarehouse&payment=PayPal&_fss=1&LH_SpecificSeller=1&LH_PayPal=1&_nkw=cobra+exhaust+c90t&LH_BIN=1&LH_ItemCondition=1&_saslop=2&LH_AvailTo=1&_fblo=3000&_fbsc=1&_fls=1&_incaucbin=0&_ipg=100&_os=S%7CD&_pgn=1&_saact=168&_sop=15
// этот урл будет в строке браузера, если мы будем искать наш $request на сайте ebay
)
Хотелось бы остановиться на некоторых моментах ответа.
[shipToLocations] => Worldwide
Эта стока на самом деле ни о чем не говорит. Если продавец вручную ввел вашу страну в черный список, и ни за какие деньги не собирается отправлять туда свои товары, то в этом месте ответа точно так же будет красоваться Worldwide.
[convertedCurrentPrice] => 521.51
EBay API может выдавать нам цены в той валюте, в которой их выставил продавец. На практике правильнее привести все цены в доллары, и этим занимается как раз эта строка.
[timeLeft] => P11DT9H1M57S
По истечению этого времени лот протухнет и будет перевыставлен (Item Relisted). Через некоторое врмя мы больше не сможем найти его по itemID.
[entriesPerPage] => 100
[totalPages] => 1
В eBay API существует глобальное ограничение в 100 лотов на страницу. Если по вашему запросу нашлось больше, вам придется делать несколько запросов и сшивать ответы воедино. В eBay API нет такой функции и мы напишем ее позже.
С полученным ответом вы уже можете что-нибудь сделать и наверняка у вас это получится лучше. Если эта статья будет интересна хаброчитателям, в следующей мы разберем, как его обрабатываю я и что из этого получается.
Также мы рассмотрим возможный алгоритм комбинирования нескольких функций eBay API «из жизни», скормим результат работы одной функции на вход другой, применим несколько фильтров и получим на выходе результат, достойный записи в вашу базу.
Удачи.