План
1. Способы парсинга цен конкурентов
2. Использование готового SaaS сервиса для мониторинга цен конкурентов
3. Парсинг цен конкурентов с помощью uXprice
4. Использование специализированной десктопной программы для парсинга цен
5. Самостоятельная разработка парсера мониторинга цен конкурентов
6. Анализ получаемых данных из парсера цен
7. Инструменты для анализа цен конкурентов
8. Стоимость разработки парсера цен и сроки
Вводная часть
Парсер цен конкурентов — это автоматизированный сбор цен из заранее определенных вами сайтов. Это могут быть и отдельные интернет-магазины, и агрегаторы цен. Для парсинга открытой информации из сайта разработчики пишут веб-приложения, настроенные на сканирование данных с необходимой периодичностью.
Таким образом, любой парсер (веб-скрейпинг) быстро собирает цены из сотен и тысяч страниц товаров, что существенно экономит время сотрудников. А когда ассортимент товаров большой, то и вовсе решает невозможную для человека задачу.
Как правило, на выходе вы получаете данные в формате Excel или CSV если это парсер, либо проанализированные и структурированные данные в личном кабинете SaaS сервиса с удобным интерфейсом. Второй вариант сэкономит вам дни и даже недели при каждом мониторинге цен, а еще существенно повысит эффективность использования полученных результатов.
1. Способы парсинга цен конкурентов
Как и любая задача, парсинг цен конкурентов может быть проблемным и долгим, если его не автоматизировать. Точка отсчета в этом вопросе — ручной сбор цен, когда этим занимались специальные сотрудники, и это было их основными обязанностями. Выглядит глупо, но и мобильных телефонов когда-то не было. В силу устарелости этого способа, мы его рассматривать не будем. Если вы решили парсить цены своих конкурентов, в наше время для этого есть три варианта:
1) Использовать готовый SaaS сервис по мониторингу цен конкурентов.
Это самый оптимальный способ наладить эффективное ценообразование и быстро повысить свои продажи. Поэтому большинство собственников бизнеса предпочитают именно этот вариант.
В зависимости от размера магазина и количества сотрудников, выбором наиболее подходящего сервиса может заниматься как сам владелец, так и менеджерам по закупкам или маркетолог. Основными критериями выбора является простота интеграции, удобство в использовании и наличие нужного функционала.
2) Воспользоваться специализированной десктопной программой.
Это решение, которое использовалось 7-10 лет назад, потому что других способов практически не было. В то время это было единственным вариантом для получения цен конкурентов. Трудно поверить, но несмотря на массу проблем с его использованием, некоторые бизнесы мониторят цены конкурентов с помощью десктопных программ и сейчас.
3) Написать парсер самостоятельно и разместить его на веб хостинге.
Это один из самых сложных и дорогих способов для отслеживания и сбора цен конкурентов. Тем не менее, его практически никогда не используют крупные сети магазинов, у которых, казалось бы, такие возможности есть. В первую очередь потому, что не хотят нести риски по запуску нового проекта и не могут гарантировать его окупаемость. Готовое решение всегда проще оценить в этой плоскости.
Интернет-магазины меньших масштабов тоже хотят заниматься своим делом — продажами, и не хотят заходить в новую для себя область программирования. Слишком высока вероятность потерять и время, и деньги.
Те же смельчаки, которые решаются на этот вариант, не осознают масштабов будущих задач. А поверив в обещания только что закончивших курсы программистов получить готовый продукт за 1000$, надеются сэкономить. По факту 99% таких пользователей разочаровываются и возвращаются к выбору готовых продуктов.
В этой статье мы рассмотрим каждый из этих трех вариантов максимально подробно, чтобы рассказать о всех их плюсах и минусах.
2. Использование готового SaaS сервиса для мониторинга цен конкурентов
Над созданием таких продуктов всегда работает целая команда профессионалов, которая продумывает все до мелочей, и постоянно совершенствует сервис для своих клиентов.
Преимущества SaaS сервисов мониторинга цен конкурентов:
1) Простота использования.
Не нужно заниматься покупкой прокси, тех поддержкой, и настройкой — все наглядно, понятно и удобно.
2) Присутствие продуманных инструментов для анализа полученных данных.
3) У большинства таких сервисов есть API.
Его наличие позволяет переносить данные из сервиса мониторинга цен прямо в админ-панель вашего сайта. Или в сервисы визуализации данных (такие как Google Data Studio, ChartBlocks, Datawrapper и др.).
4) Сканирование цен происходит в фоновом режиме на серверах SaaS сервиса.
Например, товаров очень много, и сканирование будет проходить 4 часа. Вы можете запланировать его на любое время, при этом ваш компьютер может быть выключенным, а интернет понадобится только для просмотра и скачивания готовых результатов.
5) Возможность работать в сервисе сразу нескольким пользователям одновременно.
6) Наличие достаточных мощностей для разных задач.
Сервис “не ляжет”, если у вас много товаров, или когда возникнет необходимость резкого увеличения объемов товаров для сканирования.
3. Парсинг цен конкурентов с помощью uXprice
Большим преимуществом облачных сервисов является возможность бесплатного тестирования. В uXprice этот период составляет 7 дней. Для создания личного кабинета достаточно простой регистрации:
Далее на Быстром старте выбираем страну для мониторинга и способ загрузки товаров, по которым хотим мониторить цены. Массовая загрузка выполняется через ссылку на продуктовый фид Google Merchant, Facebook или Яндекс фид. Второй способ — добавление товаров по одному через указание ссылок на необходимые карточки товаров:
Кликаем на кнопку Загрузить товары и попадаем в личный кабинет на страницу Отчеты. Здесь уже появились товары, которые мы загрузили на Быстром старте, осталось выбрать конкурентов для парсинга цен. Это нужно сделать для каждого из своих товаров, поэтому возле каждого из них есть соответствующая кнопка Выбрать конкурентов:
При клике на эту кнопку в новом окне откроется страница Выбор конкурентов. Здесь слева мы видим информацию про свой товар: изображение, название, стоимость. А справа — потенциальных конкурентов, которых для нас система нашла сама. В дальнейшем Автоподбор конкурентов можно запускать по графику, в тестовом же периоде он включен по умолчанию. Для удобства поиска нужных продавцов или моделей используйте фильтры:
Если среди предложенных системой продавцов есть те, которых мы хотим парсить на постоянной основе, кликаем под ними на кнопку Отслеживать:
После этого выбранные для парсинга товары появятся на отдельной вкладке Отслеживаются. Она есть у каждого товара, чтобы вы всегда могли посмотреть, на основе цен каких конкурентов получаете отчеты. Возьмем для примера другой товар, с меньшим количеством магазинов на отслеживании:
Если найденных системой продавцов недостаточно, можно добавить ссылки на карточки товаров нужных конкурентов, кликнув на кнопку Добавить конкурентов:
В открывшемся окне каждую ссылку на карточки товаров конкурентов нужно вводить с новой строчки. После завершения процесса загрузки товаров нажимаем кнопку Сохранить конкурентов:
По разным товарам есть возможность мониторить цены абсолютно разных продавцов. Ограничений по количеству магазинов нет. При этом количество отслеживаемых конкурентов для каждого из ваших товаров тоже может отличаться: для одного товара 30 продавцов, а другого — всего 5.
Добавление конкурентов к отслеживанию это единоразовая работа. При следующих парсингах сбор их цен будет автоматическим. Но мы советуем периодически использовать Автоподбор конкурентов, чтобы оценивать конкуренцию по каждой позиции и вовремя выявлять новых продавцов.
Отчет по парсингу — это таблица с конкурентным анализом, которая содержит следующие метрики:
— средняя цена
— минимальная цена
— максимальная цена
— диапазон цен конкурентов
— медианная цена
— ценовая позиция и другие.
Вот как выглядит отчет для добавленных нами в тестовом периоде товаров:
Еще одна важная метрика — Рекомендованная цена. Она позволяет автоматизировать переоценку своих товаров с учетом цен конкурентов. По умолчанию сервис предлагает оптимальную цену отталкиваясь от медианной цены, но вы можете выбрать другую стратегию или настроить свои правила. Сделать это можно на странице Ценовая стратегия:
В течение тестового периода зарегистрированным пользователям бесплатно начисляться по 100 кредитов ежедневно. По окончанию 7-дневного периода бесплатные кредиты обнуляются, поэтому обязательно используйте эту возможность, чтобы оценить работу сервиса и принять правильное решение.
Если подытожить, то главные плюсы SaaS-решений это актуальная информация с наглядной визуализацией и наличие рекомендаций по ценообразованию, в зависимости от полученных результатов.
По стоимости этот вариант может показаться дороже, чем предыдущие два. В какой-то мере так и есть, качество всегда стоит денег. Но если считать, за что вы платите, то в случае с написанием собственного профессионального SaaS-сервиса вы теряете время и деньги без гарантий результата. А в случае с простыми дешевыми парсерами и десктопными программами получаете информацию, которую невозможно эффективно использовать.
4. Использование специализированной десктопной программы для парсинга цен
Использование специальной программы по мониторингу цен конкурентов не нуждается в разработке, но отсутствие удобного интерфейса и необходимость выполнения настройки тоже займет немало времени. К слову, и в этом случае придется самостоятельно покупать прокси для работы программы и контролировать их работоспособность. А еще работа таких программ часто терпит сбои при больших количествах данных, проблемах с интернетом и других нестандартных ситуациях.
Из положительных моментов стоит отметить, что этот вариант по скорости реализации лучше чем первый, но хуже чем третий.
Вот еще несколько преимуществ:
— это самый дешевый метод парсинга;
— возможность мониторинга цен по заданному расписанию;
— результат можно получить относительно быстро, в отличии от самостоятельного написания;
— зачастую нет зависимости стоимости от количества отслеживаемых конкурентов.
Но есть и минусы:
- небольшой выбор таких программ;
- нет функционала для анализа полученных данных;
- нет рекомендаций по цене;
- самостоятельная настройка парсера для каждого отдельного сайта конкурента;
- отсутствие возможности подключения по API;
- необходимо самостоятельно настраивать и поддерживать работоспособность прокси;
- необходимость перенастройки парсера после изменений на сайте конкурента;
- во время парсинга компьютер должен быть включен;
- необходим бесперебойный доступ к интернету с хорошей скоростью.
Бесспорно, главный недостаток — отсутствие функционала для анализа собранной информации. Для этого у таких программ нет никаких инструментов, и сопоставление информации по тысячам товаров (это в среднем интернет-магазине), снова придется делать вручную. При этом сотрудник, занимающийся этим делом, должен не только хорошо ориентироваться в товарном ассортименте, но и самостоятельно определять цену на товары. А это очень нелегкая и ответственная задача, особенно учитывая объем анализируемых данных.
Как видите, десктопные программы для мониторинга цен конкурентов оптимизируют процессы сбора необходимой информации, но их использование никак не упрощает дальнейшую обработку данных и изменение своих цен (как итог такого анализа).
В общем парсинг цен с помощью таких программ может быть действенным методом для интернет-магазинов с небольшим ассортиментом товаров, перечень которых тоже постоянный. В частности в сферах с несколькими конкурентами и без резких ценовых колебаний.
5. Самостоятельная разработка парсера мониторинга цен конкурентов
Этот вариант подойдет вам лучше всего, если:
— вы можете написать четкое техническое задание и хорошо понимаете, какая информация вам будет нужна от парсера, и в каком виде;
— у вас есть проверенные разработчики, которые смогут поддерживать и долгосрочно развивать проект.
Здесь сразу стоит сказать, что многие продавцы научились защищать свои сайты от парсинга. Чтобы при сборе данных сайт не забанил ваш IP-адрес за большое количество запросов, необходимо покупать прокси. При парсинге информации они будут заменять ваш IP-адрес на другие IP-адреса, что позволит вам относительно безопасно собирать нужную информацию.
Но есть и много других способов защиты сайта от парсеров, более хитрых. Например, система безопасности распознает сбор цен на сайте, и автоматически их заменяет на другие (неправильные). В этом случае конкуренты могут “позволять парсить” не просто заведомо ложные цены, но такие, которые дадут конкурентное преимущество им самим (сильно завышенные, например).
Еще одна мера для ограждения сайта от парсера — фиксирование движений курсора, наведений на элементы, запуск видео, прокрутка страницы и т.д. Все это мешает алгоритмам четко определять структуру html-элементов и парсить данные.
Также часто код сайта интернет-магазина разработчики намеренно делают не по общепринятой структуре или “динамичным”. Из креативных методов можно выделить создание страниц, на которые никогда не зайдут пользователи, но обязательно “заглянут” парсеры. IP адреса таких “любопытных пользователей” потом вносятся в черный список.
При этом в серьезных крупных компаниях зачастую используется многоуровневый подход к защите своих сайтов, когда одновременно применяется несколько способов защиты. Регулярно появляются и новые методы, так что будьте начеку, чтобы вовремя их заметить и научиться нейтрализовывать (для чего в любой момент может понадобится целая команда специалистов).
Таким образом, есть очень много факторов, требующих постоянной технической поддержки и внесения корректировок в код парсера:
- изменения в коде сайта-источника, из которого производится парсинг информации;
- проблема с прокси, которые в любой момент могут сломаться, поэтому их работу нужно постоянно контролировать;
- изменения в политике сайта, цены из которого вы парсите. Например, начнут появлятся капчи или поменяется тип капчи на которую ваш парсер не рассчитан;
- не подойдет хостинг, так как задача парсинга довольно ресурсозатратная. Если отслеживать цены хотя бы на 3000 товаров, может потребоваться выделенный сервер. А если у вас будет собственный сервер, значит точно понадобится и системный администратор для поддержания его работоспособности.
6. Анализ получаемых данных из парсера цен
Предположим, что все идет гладко, и вы получили спарсеную информацию в формате Excel или CSV. Что дальше? Теперь осталось осуществить то, ради чего вообще эти данные были собраны — проанализировать полученные сведения. Поэтому вторая важная половина задачи при самостоятельной разработке парсинга — предусмотреть наличие всех необходимых инструментов для обработки получаемой информации. Можно конечно работать и с таблицами, но это сильно неудобно и очень долго.
У всех программ, с которыми мы работаем каждый день, есть хорошо продуманный веб-интерфейс. И это не только интуитивно понятный визуал, но и удобная реализация массы функций, которыми мы так привыкли пользоваться, что даже не замечаем их.
А чтобы работать из самостоятельно спарсеными данными в веб-интерфейсе, его сначала нужно разработать. И это непростая задача. В первую очередь, необходимо написать подробное техническое задание, а также найти дизайнера и верстальщика, которые справятся с этими задачами. При этом вам нужно четко представлять, что и как необходимо выводить в плане визуального интерфейса.
7. Инструменты для анализа цен конкурентов
Если же вы полагаете, что интерфейс для вас не важен, то вы просто не считаете стоимость рабочего времени своих сотрудников. Без наличия необходимых инструментов для анализа данных на обработку результатов парсинга будут уходить недели и месяцы, а актуальность данных будет потеряна.
Например, у вас 1000 товаров, на которые нужно проверить цены на актуальность, а при необходимости поменять их на конкурентные. При этом требуется выполнить следующие пункты:
- сопоставить цены нескольких конкурентов с собственными;
- проверить свою закупочную цену;
- учесть желаемую наценку;
- определить новую оптимальную цену на каждый товар;
- заменить все цены на сайте.
Также учтите, что стоимость закупки часто указывается в другой валюте, отличной от валюты цены на сайте. Что еще усложняет задачу. Плюс у каждого товара могут добавляться или пропадать конкуренты, поэтому если ваш парсер не будет их показывать и учитывать, то и цена не будет конкурентной.
Реально ли оперативно все это выполнить, если каждый из этих пунктов будет находится в разных документах (окнах), а товаров 1000? Объективно — нет. А с учетом скорости появления новых продавцов и частой смены цен у конкурентов, такая работа вообще бессмысленна.
8. Стоимость разработки парсера цен и сроки
В общем вся разработка парсера может занять от нескольких недель, до нескольких месяцев и даже лет. Сроки зависят от заложенных в парсер возможностей и сложности сайтов, которые он сможет парсить.
Возможно, вы видели стоимость написания парсера в рамках 100$-500$. Кажется, вполне доступно. Но такие цены вам предложат только начинающие специалисты низкого уровня. Связавшись с ними вы получите “продукт”, который в итоге сможет использовать только сам программист. Многие задачи, которые вы ему будете ставить, он не сможет реализовать из-за неопытности.
Также учитывайте, что полученной при парсинге информации будет слишком много, и придется дополнительно заниматься оптимизацией базы данных. Так как на больших объемах информации все будет работать очень медленно. Особенно, если архитектура базы будет плохо спроектирована. Возможно, что под эту задачу придется искать отдельного специалиста, который занимается оптимизацией баз данных.
Стоимость часа специалистов, которые будут заниматься оптимизацией базы данных под ваши потребности, может обойтись в 40$ за час. И это при условии, что вы будете писать грамотное ТЗ и вовремя отвечать на возникающие вопросы. В ином случае эта задача может сильно затянутся. В данной ситуации вы должны точно знать, что вам нужно, чтобы не потратить деньги впустую, так и не получив результата.
Например, одна из проблем, с которой вы можете столкнуться, это медленная загрузка страниц в только что созданном веб-интерфейсе. Представьте, что страница с данными по каждому товару будет загружаться по 30 секунд. Низкая скорость вызвана большим объемом данных и плохой оптимизацией кода. Даже если товаров всего 1000, загрузка страниц займет 500 минут — это около 8 часов времени, которое вы или ваш сотрудник будете тратить впустую.
В итоге написание самого парсера — это 20% от всей работы, а написание интерфейса, в котором вам будет удобно работать — это 80% времени и 90% денег. Также очень вероятно, что один и тот же человек не сможет самостоятельно и написать парсер, и визуально его оформить (а также сверстать страницы, разработать удобный интерфейс с учетом UX и т.д). Ведь редко один и тот же специалист еще и знаком с базами данных, и умеет писать на php и т.д. Соответственно, придется задействовать других специалистов, которых тоже нужно будет отдельно посвящать в проект. Скорее всего, вам понадобится Frontend-разработчик, администратор web-серверов и, возможно, backend-разработчик.
Таким образом, хорошо написанный и продуманный собственный парсер цен конкурентов это дорогое удовольствие, требующее постоянных денежных вложений и модернизации в дальнейшем. А “простенький” вариант не справится с поставленными задачами в полном объеме, поскольку никак не упростит процесс переоценки. В итоге на него можно потратить деньги, а потом вообще и не использовать.
Выводы
Количество интернет-магазинов растет, как грибы после дождя. Поэтому мониторинг цен конкурентов это одна из самых актуальных задач для проектов e-commerce. Для ее решения можно написать парсер самостоятельно, воспользоваться готовой программой или специализированным SaaS сервисом.
При выборе первого и второго варианта нужно самостоятельно продумать сотни моментов, без которых парсер будет бесполезной программой, которая не дает ответа на основной вопрос: какую цену поставить на товар? При этом написание собственного парсера для мониторинга цен конкурентов это долго и дорого, а готовый вариант — это много текущих проблем и отсутствие какого-либо функционала.
Золотая середина — использование SaaS сервиса. В этом случае вы получите точные, структурированные и проанализированные алгоритмами данные о ценах своих конкурентов. А еще рекомендации по лучшей цене для достижения своих бизнес-целей: повышение продаж, дохода и рентабельности инвестиций в рекламу. Подтверждением эффективности использования SaaS сервисов служат успешные кейсы.
Вас также могут заинтересовать следующие материалы:
Мониторинг цен конкурентов в интернете
