0.1альфа
Данные лежат на сайтах, но собирать их руками невозможно
Собираем открытые данные в таблицу или прямо в вашу систему: цены, каталоги, справочники, объявления. Разовый сбор от 18 000 руб.
От 18 000 руб.Только открытые данныеРезультат в удобном формате
[object Object]
0.1альфа
Зачем это нужно
Мониторинг цен
Видеть, по чем продают те же позиции конкуренты.
Наполнение каталога
Забрать характеристики у поставщика вместо ручного ввода.
Сбор объявлений
Собрать предложения по рынку в одну таблицу.
Справочники и реестры
Выгрузить открытые данные для анализа.
Проверка своего сайта
Найти битые страницы, пустые карточки, разнобой в данных.
Аналитика рынка
Собрать выборку для исследования вместо ручного обхода.
0.1альфа
Границы: что мы делаем и чего не делаем
Парсинг бывает законным и незаконным. Мы работаем только в первой части.
Может
- Собираем данные, открытые для любого посетителя
- Соблюдаем нагрузку, чтобы не мешать чужому сайту
- Работаем с сайтами, где сбор не запрещен правилами
- Отдаем результат вам и не оставляем копий
Не может
- Обходить авторизацию и закрытые разделы
- Собирать персональные данные людей
- Обходить защиту, если владелец сайта явно ее поставил
- Копировать чужие тексты и фотографии для публикации у вас
0.1альфа
Важно
Про ответственность
Открытость данных не означает, что их можно перепечатывать. Цены и характеристики для внутреннего анализа — обычная практика. Копирование описаний и фотографий в свой каталог — нарушение авторских прав, и мы такое не делаем.
0.1альфа
Как устроен сбор
Источниксайт или список страниц
Сборобход с ограничением нагрузки
Разборвыделяем нужные поля
Проверкаотсеиваем битое и пустое
Результаттаблица, файл или база
0.1альфа
В каком виде отдаем результат
| Формат | Когда удобен | Особенность |
|---|---|---|
| Google Таблица | нужно смотреть и фильтровать глазами | обновляется автоматически при регулярном сборе |
| Файл Excel | разовая задача, дальше работа руками | самый простой вариант |
| Файл для импорта | данные пойдут в каталог сайта | формат под вашу систему |
| Прямо в базу | сбор регулярный и данные нужны системе | настраивается отдельно |
0.1альфа
Что может пойти не так
| Что может пойти не так | Чем это грозит | Что делаем |
|---|---|---|
| Сайт поменял верстку | сбор ломается | уведомление и починка, в сопровождении бесплатно |
| На сайте защита от роботов | сбор невозможен или дорог | проверяем до начала и говорим честно |
| Данные неполные в источнике | дыры в результате | помечаем пропуски, а не выдумываем |
| Сайт медленный | сбор идет долго | растягиваем во времени, чтобы не создавать нагрузку |
0.1альфа
Цена
| Вариант | Цена | Подходит | Что входит |
|---|---|---|---|
| Разовый сбор | от 18 000 руб. | Данные нужны один раз | Обход, разбор, проверка, таблица |
| Регулярный сбор | от 30 000 руб. | Мониторинг цен и наличия | То же плюс расписание и хранение истории |
| Сбор в вашу систему | от 45 000 руб. | Данные должны попадать в каталог | То же плюс загрузка и правила |
| Сопровождение | от 6 000 руб./мес. | Регулярный сбор | Починка при изменениях источника |
Цена зависит от числа источников, объема и сложности защиты. После разбора называем точную сумму.
0.1альфа
Что нужно от вас
- Ссылки на источники или описание, откуда брать
- Список нужных полей: что именно собирать
- Как часто нужны данные
- В каком виде удобно получать
- Подтверждение, что данные нужны для внутреннего использования
0.1альфа
Процесс работы
1
Разбор задачи Смотрим источники и оцениваем сложность. 1-2 дня
2
Пробный сбор Собираем небольшую выборку и показываем вам. 2-3 дня
3
Полный сбор Запускаем на всем объеме. от 3 дней
4
Проверка Сверяем выборочно с источником. 1-2 дня
5
Передача Отдаем результат в согласованном виде. 1 день
0.1альфа
Если задача звучит иначе
| Если задача звучит так | Это услуга | Почему |
|---|---|---|
| «Есть файл от поставщика» | Импорт прайса | Собирать нечего, файл уже есть |
| «Хочу понять, что делают конкуренты» | Исследование конкурентов | Нужны выводы, а не таблица |
| «Нужны позиции в поиске» | SEO-аудит | Это не парсинг, а съем позиций |
| «Данные из чужой системы по интерфейсу» | Интеграции | Надежнее и законнее парсинга |
0.1альфа
Расскажите про задачу
Откуда собирать
Какие поля нужны
Как часто
В каком виде нужен результат
Примерный объем
Куда написать
0.1альфа
Частые вопросы
Это законно?
Сбор открытых данных для внутреннего анализа — да. Обход авторизации, сбор персональных данных и копирование чужих текстов в свой каталог — нет, и мы такого не делаем.
Сколько стоит?
Разовый сбор от 18 000 руб., регулярный от 30 000 руб., сбор прямо в вашу систему от 45 000 руб. Точная сумма после разбора источников.
А если на сайте стоит защита?
Проверяем это до начала работ. Если владелец явно закрыл данные, мы за такую задачу не беремся и скажем сразу.
Что будет, если источник поменяет верстку?
Сбор сломается — это нормально для парсинга. При сопровождении чиним бесплатно и уведомляем сразу, а не через месяц.
Можно собрать описания товаров у конкурента?
Собрать для сравнения можно. Опубликовать у себя нельзя: это чужой текст. Для своего каталога нужны свои описания.
Сколько времени займет?
Разовый сбор обычно неделя. Регулярный — полторы-две недели вместе с настройкой расписания.
0.1альфа
Обсудим сбор данных?
Расскажите, откуда и что нужно собрать. Посмотрим источники и назовем цену.
Отвечаем по будням с 12:00 до 21:00. Екатеринбург +7 (343) 351-74-32, Москва +7 (499) 322-77-02.
