Yahoo Pipes

Сделал пайп, который парсит выдачу по заданному кею и ищет в результатах ссылки на "знакомые" сайты. Материалы по полученным ссылкам обрабатываются пайпами-заготовками и, в конечном итоге, на выходе имеем RSS, содержащий заголовок, дату публикации и полный материал статьи. Что с полученным RSS я делаю дальше догадаться не сложно.

После наполнения сплога необходимым контентом при  помощи Yahoo Pipes у нас возникает необходимость обновлять его автоматически.

Так, используя автоматическое обновление сплога при помощи FeedWordPress, движку приходится проверять соответствие постов в пайпе и уже опубликованных записей в блоге, для исключения дублей. При большом количестве постов в исходной трубе, во время обновления мы создаем приличную нагрузку на сервер.

Я использую следующую надстройку для пайпа, дабы облегчить исходный фид. Так и пайп генерируется быстрее и нагрузка на сервер при обновлении меньше.

Давайте подробнее разберем что происходит с трубой при использовании такого модуля.

При создании труб, работающих с большим количеством item' ов, неминуемо возникают следующие ошибки при отладке:

• Preview Failed Bad Gateway

Данное сообщение означает что пайп не ожет обработать такое количество записей (item'ов). По моим ощущениям, для работоспособности yahoo pipes необходимо, чтобы пайп содержал не больше 140-160 записей (зависит от количества и качества Regex'ов).

Итак, как ограничить число записей в трубе? Правильно, мы будем использовать операторы Tail и Truncate.

При работе с пайпами столкнулся с такой неприятностью при импорте фида в блог при помощи FeedWordPress:

1 new posts were syndicated and ( N ) existing posts were updated

Данная проблема возникала в следствии отсутствия даты пубикации для каждой записи в импортируемом фиде.