Парсинг текста с сайтов для статей, обзоров и новостных постов
Соберите тексты по ссылкам для статей, обзоров и новостей. Как подключить парсинг к поиску, передать материалы ИИ и проверить недоступные страницы.
На этой странице6
Используйте статьи из блогов, обзоры и страницы компаний как исходные материалы для собственного контента. «Парсинг страниц» извлекает тексты по вашим ссылкам. Их можно сравнить, изучить или передать ИИ для подготовки статьи с собственными выводами и примерами.
В автоматизации парсинг связывает найденные ссылки с написанием текста. Например, поиск находит новости, парсинг получает подробности событий, а следующий шаг пишет пост для вашего канала. Шаги передают материалы друг другу, и не нужно вручную копировать текст каждой страницы.
Как собрать материалы для обзора или сравнения
Допустим, вы готовите обзор трёх сервисов доставки для интернет-магазинов. Для каждого нужны география работы, сроки, ограничения и условия возврата. Эти сведения находятся на разных страницах сайтов компаний.
В Kotia можно передать ссылки на выбранные страницы в «Парсинг страниц». Полученные тексты передаются шагу анализа, который сравнивает условия. Вам останется проверить результат и использовать его в обзоре.
- Выберите источники. Возьмите страницы с условиями нужных услуг. Ссылка на конкретный раздел полезнее главной страницы, если именно там опубликованы сроки и ограничения.
- Соберите текст через парсинг. Добавьте адреса в карточку «Парсинг страниц». Как её настроить, описано ниже.
- Задайте критерии сравнения. Подключите шаг анализа, перечислите сведения, которые нужно найти в текстах, и укажите формат результата, например таблицу для обзора.
Пример задания шагу анализа:
Сравни сервисы доставки по переданным материалам. Сделай таблицу: сервис, география, сроки, ограничения отправлений, возврат товара. Сохрани ссылки на источники. Если условие не указано, напиши «нет данных», не делай предположений. После таблицы перечисли различия, которые важны небольшому интернет-магазину.
Так вы получаете основу для статьи: сведения по одним и тем же критериям, ссылки на источники и список вопросов, на которые источники не ответили. По этой таблице можно написать обзор самостоятельно или поручить написание следующему шагу в Kotia.
Парсинг отвечает только за извлечение текста, а сравнение и написание выполняются отдельными шагами. Поэтому одну подборку можно использовать для разных задач: достаточно изменить задание для обработки, а страницы заново собирать не нужно.
Как подготовить новость по публикациям источников
В результатах поиска обычно есть заголовок, дата и ссылка. Для новости этого мало: важные условия, цифры и объяснения находятся в самой публикации. Парсинг получает эти подробности до написания текста.
Например, для блога об интернет-торговле можно настроить такую последовательность:
- «Поиск новостей» находит публикации по теме.
- Шаг отбора выбирает событие и сохраняет ссылки на подходящие источники.
- «Парсинг страниц» извлекает тексты публикаций.
- Шаг написания объясняет, что произошло, кого это касается и что меняется для читателя.
- Готовая новость сохраняется в документ или отправляется черновиком в WordPress.
В задании на написание укажите аудиторию, нужные подробности и требование сохранить ссылки. Например: «Объясни новые условия доставки для владельцев небольших магазинов: когда они вступают в силу, какие заказы затронут и какие есть исключения. Используй только сведения из переданных текстов».
Для регулярной работы добавьте «Пропустить повторы» после отбора событий, перед парсингом. Так уже обработанные новости не будут снова поступать на написание. Фильтр запоминает событие уже до парсинга. Поэтому, если дальнейшая обработка не удалась, проверьте список, который ведёт этот фильтр, перед повторным запуском.
Как настроить парсинг в Kotia
- Откройте автоматизацию на компьютере. В меню добавления шага выберите «Парсинг страниц» в разделе сервисов.
- Откройте параметры карточки и вставьте ссылки в поле «Адреса страниц». Удобнее указывать по одному адресу на строке.
- Если парсинг должен начинать работу с вашими ссылками, соедините его с началом автоматизации. Если адреса приходят из другого шага, подключите текстовый выход этого шага, а поле адресов можно оставить пустым.
- Подключите результат парсинга к шагу анализа или написания. Чтобы сохранить исходные тексты, используйте «Документ» и выберите документ для записи.
- Запустите автоматизацию и откройте результат парсинга. Проверьте, какие страницы обработаны, прежде чем использовать сведения из них в публикации.
В поле «Адреса страниц» указываются только ссылки. Инструкции вроде «сравни условия» или «напиши обзор» задаются шагу, который получает собранный текст.
Как передавать ссылки и работать с большой подборкой
Адреса можно хранить в настройках парсинга, получать из другого шага или использовать оба способа одновременно. Kotia объединит ссылки из поля и входящего текста, удалит одинаковые и обработает до 20 адресов за шаг.
Это удобно, когда часть источников постоянная, а часть меняется. Например, условия выбранных компаний можно указать в поле, а новые публикации о них получать из поиска. Оба источника ссылок учитываются в общем лимите.
Правила ввода:
- В поле адресов ссылки можно вставлять без
https://. - Во входящем тексте используйте полный адрес или адрес с
www., чтобы ссылка распознавалась однозначно. Домен без протокола тоже подойдёт, если занимает отдельную строку. - В списке со ссылками можно оставить заголовки и описания: удалять их вручную не нужно. Кириллические домены тоже поддерживаются.
Если ссылок больше лимита, обрабатываются первые 20, и в результате появляется сообщение об этом. Для большого обзора заранее выберите нужные страницы или разделите адреса на группы.
Парсинг обрабатывает указанные страницы, а не весь сайт, даже если вы указали один адрес. Если нужно выбрать статьи из блога, сначала получите список статей сайта. Если источники ещё предстоит найти по теме, используйте «Сбор источников».
Как проверить собранный текст и исправить ошибки
Результат карточки включает тексты обработанных страниц. Этот же результат передаётся следующему шагу. В конце указаны адреса, которые не удалось обработать, и причины ошибок.
Успешный статус означает, что получен текст хотя бы одной страницы. Перед сравнением нескольких компаний убедитесь, что данные есть по каждой из них. Если один сайт недоступен, следующий шаг получит неполную подборку.
У длинных страниц и общего результата есть ограничения по объёму. Если текст сокращён из-за лимита, Kotia сообщает об этом. Если задача требует полного документа, проверьте это сообщение до анализа.
| Что произошло | Как продолжить работу |
|---|---|
| Не найдено ни одной ссылки | Проверьте «Адреса страниц» и результат предыдущего шага: нужны URL, а не только названия публикаций |
| Вместо материала получена лента или оглавление | Укажите адрес конкретной статьи или раздела с нужными условиями |
| Страница пустая или текста слишком мало | Проверьте ссылку и найдите другой источник с нужными сведениями |
| Сайт требует входа или показывает проверку на робота | Используйте доступный источник либо передайте текст вручную через «Данные» |
| Площадка не поддерживается | Найдите публикацию на обычном сайте: эта карточка не обрабатывает соцсети, видеосервисы и мессенджеры |
| Сайт не ответил или произошла временная ошибка связи | Повторите парсинг позже, используя уже найденные ссылки |
Текст готовой статьи Kotia не подходит в качестве входа для этой карточки: в неё передаются адреса. Если нужно доработать уже написанную статью, используйте её текст в шаге редактирования.
Большая подборка может обрабатываться несколько минут. Подробный прогресс по карточке не отображается. Состояние и результат можно посмотреть в журнале запусков.
Сколько стоит парсинг и повторная обработка
Парсинг стоит 1 токен за шаг, независимо от числа адресов в пределах лимита. Поиск, анализ и написание оплачиваются отдельно.
Если не удалось обработать ни одной страницы, плата за парсинг возвращается. Если получен текст хотя бы одной страницы, шаг оплачивается полностью.
При повторном запуске ссылки обрабатываются заново, и оплачивается новый шаг парсинга. Если источники уже собраны и нужно изменить только сравнение или текст статьи, повторите соответствующий шаг обработки, а не парсинг. Повторный парсинг нужен, когда вы хотите заново получить содержимое страниц.