22 года разрабатываем
и продвигаем сайты в РФ
Екатеринбург:
+7 (343) 351-74-32
Москва:
+7 (499) 322-77-02
Связаться с нами
Режим редакторавыключить

Парсинг данных с сайтов

Соберем данные в таблицу или каталог вашего сайта

Проверим открытый источник, согласуем поля, напишем скрипт и очистим результат. Вы получите файл в нужной структуре или данные, загруженные в каталог вашего сайта.

Прислать источникЧто можно собрать
Работаем с 2004 года1600 клиентов80 тематик

Какие данные собираем и откуда

Скрипт открывает страницы источника, находит согласованные поля и складывает их в таблицу. Одна строка — один объект сбора: товар, организация, публикация или отзыв; один столбец — одно поле.

Товары поставщика для вашего каталога

Если поставщик не дает готовую выгрузку, собираем данные с открытых карточек. Результат готовим как таблицу для проверки или как структуру для загрузки на ваш сайт.

  • Название, артикул и бренд
  • Цена и наличие
  • Категории и характеристики
  • Ссылка на фото и исходную карточку

Парсинг или другая работа

Правильный способ зависит от того, где сейчас лежат данные и что должно происходить после.

Нужен парсинг

  • Готового файла нет: товары, цены или характеристики есть только на открытых страницах внешнего сайта.
  • Нужен разовый срез цен и наличия для анализа.
  • Данные со страниц нужно собирать по расписанию в таблицу или каталог.
  • Нужно обойти собственный каталог и получить таблицу карточек с пустыми полями, дублями или битыми ссылками.

Нужна другая работа

  • Прайс или таблица поставщика уже есть — нужна загрузка товаров из XLSX, от 20 000 руб.
  • Данные уже есть на вашем сайте, и их нужно передать площадке — нужна выгрузка YML-фида.
  • У системы есть API, то есть официальный интерфейс для передачи данных, и нужен постоянный обмен — нужна интеграция.
  • Нужно вручную разместить немного карточек — нужно наполнение контентом.
  • Нужны выводы о конкурентах, а не таблица исходных данных — нужно маркетинговое исследование.

Какие задачи берем и какие нет

Работаем с открытыми страницами и заранее проверяем, как сбор затронет источник, чужие материалы и данные людей.

Берем или оцениваем отдельно

  • Берем: товары, цены, наличие, артикулы и характеристики с открытых страниц.
  • Берем: собственный сайт и каталог поставщика, с которым вы работаете.
  • Берем: открытые справочники организаций без данных людей.
  • Оцениваем отдельно: регулярный сбор всего каталога, несколько источников и разные шаблоны карточек.
  • Оцениваем отдельно: страницы, где данные загружаются скриптом после открытия страницы.
  • Оцениваем отдельно: фото и авторские описания для публикации — нужны права на их использование.
  • Оцениваем отдельно: загрузку результата в каталог вашего сайта.

Не берем

  • Вход в аккаунты, обход авторизации, капчи и защиты от роботов.
  • Телефоны, email, профили людей и базы для обзвона или рассылки.
  • Копирование чужих текстов и фотографий для публикации без прав.
  • Сбор, который мешает работе сайта-источника.
  • Платный или закрытый доступ без разрешения владельца.

Сбор открытых данных сам по себе не запрещен, но закон ограничивает перенос чужих баз, использование чужих фото и текстов и работу с данными людей. Поэтому до оценки смотрим источник и цель и говорим, возьмемся или нет.

Сколько стоит парсинг данных

Сначала смотрим источник, число шаблонов и полей, затем называем стоимость и срок.

Разовый сбор

от 30 000 руб. Срок после осмотра источника

Собираем данные с одного или нескольких согласованных источников, очищаем их и передаем таблицу в нужной структуре.

ПодойдетДанные нужны один раз, а готового файла у поставщика или владельца источника нет.

Сбор с загрузкой на сайт

от 45 000 руб. Срок после осмотра источника и каталога

Собираем данные, сопоставляем столбцы со свойствами каталога, загружаем и проверяем карточки после загрузки.

ПодойдетДанные должны оказаться не только в таблице, но и в каталоге вашего сайта.

Регулярный сбор

от 60 000 руб. плюс сопровождение от 6 000 руб./⁠мес.

Настраиваем запуск по расписанию, журнал ошибок и правила обновления данных. Отдельно фиксируем, что происходит, если источник меняется.

ПодойдетЦены, наличие или ассортимент нужно повторно собирать со страниц.

Цены на парсинг

  • Разовый сбор — от 30 000 руб.
  • Сбор с загрузкой на сайт — от 45 000 руб.
  • Регулярный сбор — от 60 000 руб.
  • Сопровождение регулярного сбора — от 6 000 руб./⁠мес.

В каждом варианте сбора

  • Осмотр согласованного источника
  • Список полей и формат результата
  • Скрипт под согласованные страницы
  • Тестовая выборка до полного сбора
  • Очистка и проверка
  • Итоговый файл и сводка

Изменение верстки, полей, адресов или доступа у внешнего источника после сдачи дорабатываем отдельно: 3 000 руб./⁠час, минимум один час. Новые поля, новые источники, ручную вычитку всего массива и написание описаний также оцениваем отдельно.

От чего зависит стоимость

На оценку влияют число шаблонов карточек и источников, способ загрузки данных, количество полей и строк, необходимость работы с фотографиями, загрузка в каталог и регулярность. Сбор названий и цен с одного источника и сбор категорий, характеристик и фотографий с нескольких сайтов — задачи разного состава.

Что входит и что оценивается отдельно

Точный состав фиксируем в смете до разработки скрипта.

Оцениваем отдельно

Источник изменился

Диагностируем изменение и правим правила сбора по 3 000 руб./⁠час или по отдельной смете, если изменилась логика.

Появились новые поля или источники

Дополняем скрипт после отдельной оценки нового объема.

Нужна ручная вычитка всего массива

Автоматическая проверка находит типовые ошибки; сплошную вычитку человеком считаем отдельно.

Нужны тексты карточек

Написание и редактура описаний не входят в парсинг и оцениваются отдельно.

Нужно постоянное сопровождение

Частоту запуска, контроль ошибок и объем работ после запуска фиксируем отдельным составом.

По окончании передаем таблицу и сводку по сбору. Передачу скрипта, инструкцию по запуску и размещение регулярного сбора на сервере фиксируем в смете.

Как выглядит результат

Одна карточка товара проходит три состояния — источник, строка таблицы и проверка.

Карточка товара на сайте поставщика
Открыть картинку крупно

Карточка товара на сайте поставщика

На странице видны название, артикул, цена, наличие, категория, фото, характеристики и адрес карточки. Перед сбором фиксируем, какие из этих полей нужны в результате.

Посмотрим источник и назовем стоимость

Пришлите ссылку на источник, список нужных полей и напишите, куда должны попасть данные. Скажем, можно ли выполнить задачу, и назовем стоимость и срок.

  • Посмотрим источник
  • Согласуем поля и формат
  • Назовем стоимость и срок до начала работ
Напишите нам в удобный мессенджер
Написать в Telegram Написать в MAX Написать в ВК

Как идет работа

Семь этапов от ссылки на источник до файла или данных в каталоге сайта.

  1. 01

    Смотрим источник

    Проверяем, видны ли данные без входа в аккаунт, сколько у сайта шаблонов карточек, как устроены категории и страницы списков, подгружаются ли поля после открытия и какие правила сайт задает роботам.

    Результат: понятно, можно ли собрать данные и что повлияет на работу.

  2. 02

    Согласуем поля и результат

    Фиксируем список полей, формат файла, разовый или регулярный режим и необходимость загрузки в каталог. После этого называем стоимость и срок.

    Результат: согласованы структура результата, состав работ, стоимость и срок.

  3. 03

    Пишем скрипт

    Настраиваем правила для каждого шаблона карточки и паузы между запросами, чтобы сбор не мешал работе сайта-источника.

    Результат: готов скрипт для согласованных страниц и полей.

  4. 04

    Собираем тестовую выборку

    После начала проекта собираем небольшую часть данных. Вы проверяете поля, порядок столбцов и формат до полного запуска.

    Результат: структура проверена на реальных данных и подтверждена вами.

  5. 05

    Запускаем полный сбор

    Обходим согласованные страницы с заданными паузами и сохраняем найденные значения.

    Результат: собран полный массив в пределах согласованного источника.

  6. 06

    Чистим и проверяем

    Приводим цены к числам, убираем дубли, находим пустые обязательные поля и битые ссылки, сомнительные строки выносим на ручную проверку.

    Результат: готова проверенная таблица и сводка по сбору.

  7. 07

    Передаем файл или загружаем данные

    Отдаем файл в согласованном формате. Если нужна загрузка, сопоставляем столбцы со свойствами каталога, готовим структуру, загружаем данные и проверяем результат.

    Результат: данные находятся у вас в файле или в каталоге сайта.

Если сайт-источник изменился

Скрипт работает с той структурой страниц, под которую он написан. Условия проверки и доработки фиксируем до начала.

Фиксируем исходные условия

Записываем в смете источник, список полей, формат результата и стоимость. По этому составу принимаем работу.

Проверяем на выборке

После начала проекта собираем часть реальных данных. Вы подтверждаете поля и формат, затем запускаем полный сбор.

Три месяца на наши ошибки

Если после сдачи находится ошибка в нашей работе, исправляем ее бесплатно в течение трех месяцев. Это относится к согласованному источнику, который не изменился.

Изменения источника — отдельно

Если владелец сайта поменял верстку, поля, адреса или доступ, сначала определяем, что изменилось. Затем адаптируем скрипт по 3 000 руб./⁠час или по смете.

Что прислать для оценки

Для первого разговора достаточно ссылки, списка нужных полей и понимания, куда должны попасть данные.

нужно

Ссылка на источник

Адрес сайта или список сайтов, с которых нужно собрать данные.

нужно

Разделы и категории

Какие страницы, категории или карточки нужно обработать.

нужно

Список полей

Например: название, артикул, цена, наличие, категория, характеристики и ссылка на фото.

нужно

Формат результата

XLSX, CSV, JSON, XML или загрузка в каталог вашего сайта.

нужно

Разовый или регулярный сбор

Один запуск либо расписание, по которому данные нужно обновлять.

если есть

Пример таблицы

Если у вас есть желаемая структура столбцов, приложите ее.

если есть

Цель сбора

Напишите, для чего нужны данные. Это помогает сразу проверить границы задачи.

Пример сообщения: «Источник: сайт поставщика, раздел каталога. Собрать: товары, цены, наличие, характеристики. Формат: XLSX. Загрузка на сайт: да. Регулярность: разово».

Почему Меноком

Шесть оснований поручить нам сбор данных и загрузку в каталог сайта.

Работаем с 2004 года

За это время с нами работали более 1600 клиентов из 80 тематик.

Делаем сайты и каталоги

Готовим таблицу в структуре, которую можно проверить и загрузить в каталог. Если нужна загрузка на сайт, сопоставляем поля и проверяем карточки после нее.

Официальный партнер 1С-Битрикс

Знаем, как устроены инфоблоки и свойства каталога. Перед загрузкой готовим структуру: сам файл CSV ее не создает.

Сначала смотрим источник

До разработки проверяем страницы, шаблоны карточек, способ загрузки данных и ограничения доступа. После этого называем состав, стоимость и срок.

Проверяем границы задачи

Не обходим аккаунты и защиту, не собираем базы контактов людей и не переносим чужие материалы для публикации без прав. Границу называем до оценки.

Гарантия на нашу работу

Если ошибка в нашей работе, исправляем ее бесплатно в течение трех месяцев. Если изменился внешний источник, диагностируем причину и оцениваем доработку отдельно.

Частые вопросы

01Парсинг открытых данных законен?

Сбор открытых данных сам по себе не запрещен. Закон отдельно ограничивает перенос чужих баз целиком или большими частями, использование чужих фотографий и текстов и работу с данными людей. Поэтому перед оценкой смотрим источник, объем и цель. Страница не заменяет юридическое заключение по вашей ситуации.

02Можно собрать телефоны и email для обзвона?

Нет. Телефон и email человека остаются персональными данными, даже если они видны на открытой странице. Можем собрать открытые сведения об организациях: название, адрес, регион, сайт и вид деятельности. Общие контакты организаций обсуждаем отдельно по источнику и цели.

03Можно пройти капчу или войти в аккаунт?

Нет. Мы не обходим авторизацию, капчу и защиту от роботов. Если данные доступны только после входа, запросите у владельца источника готовую выгрузку или официальный интерфейс для передачи данных.

04Чем парсинг отличается от загрузки прайса?

Загрузка начинается с готового файла поставщика. Парсинг нужен, когда файла нет и данные сначала нужно собрать со страниц. Если файл уже есть, его загрузка стоит от 20 000 руб.

05Можно сразу загрузить данные на сайт?

Да. Сопоставим поля таблицы со свойствами каталога, подготовим структуру, загрузим данные и проверим карточки после загрузки. Стоимость называем после осмотра источника и вашего каталога.

06Можно обновлять данные регулярно?

Да, по смете. Согласуем частоту, объем, журнал ошибок и действия при изменении источника. Если владелец данных дает официальный интерфейс, а нужен постоянный обмен двух систем, вместо парсинга подойдет интеграция.

07Что будет, если сайт-источник изменится?

Скрипт может перестать видеть часть данных или начнет ошибаться. Сначала определим, что изменилось, затем адаптируем правила сбора по 3 000 руб./⁠час или по смете. Это не относится к ошибке нашей работы на неизменившемся источнике: ее исправляем бесплатно в течение трех месяцев.

08Можно сначала посмотреть результат?

Да. После начала проекта собираем небольшую выборку до полного запуска. Вы проверяете поля, порядок столбцов и формат результата.

09Сколько времени займет работа?

Срок зависит от числа шаблонов страниц, полей и источников, объема данных и необходимости загрузки на сайт. Называем его после осмотра источника.

10Можно собрать фотографии и описания товаров?

Ссылки на фотографии и тексты для анализа собрать можно. Для публикации чужих фотографий и описаний в своем каталоге нужны права на их использование, например разрешение поставщика. Проверяем это до включения материалов в задачу.

11Почему не взять программу или исполнителя на бирже?

Для небольшой разовой задачи, результат которой вы проверите глазами, программа или биржа может подойти лучше. Заказная разработка подходит, когда полей или источников много, данные надо подготовить к загрузке в каталог, проверить типовые ошибки и заранее определить порядок доработки при изменении источника.

12Что вы передаете в конце?

Передаем таблицу в согласованном формате и сводку по сбору: что обработано, какие типовые ошибки найдены и что вынесено на ручную проверку. Передачу скрипта, инструкцию по запуску и размещение регулярного сбора на сервере фиксируем в смете.

Пришлите источник и список полей — оценим сбор

Укажите сайт, разделы, нужные поля, формат результата и необходимость загрузки в каталог. Посмотрим источник, скажем, можно ли выполнить задачу, и назовем стоимость и срок.

Написать в Telegram Написать в MAX Написать в ВК