News-Bot — автоматизация новостей для Telegram, VK и Битрикс24

Наша команда реализовала продукт с нуля: систему автоматизации сбора, перевода, обработки и публикации новостного контента. News Bot получает материалы из RSS, X (Twitter) и TikTok, проверяет их на дубли, при необходимости переводит и перерабатывает с помощью LLM и публикует в Telegram, VK и Битрикс24.

Спроектировали архитектуру полного цикла обработки новостей и выпустили работающий MVP всего за три дня.

Задача

Поддержание тематических сообществ требует постоянной ручной работы: мониторинга источников, отбора материалов, перевода, редактирования, проверки дублей и публикации. Требовалось автоматизировать этот цикл и быстро проверить идею на работающем MVP.

По мере развития проекта задача расширилась: появились несколько тематических потоков, разные правила обработки материалов, дополнительные каналы публикации и источники за пределами RSS. При этом новые возможности не должны были нарушать уже работающие процессы

Архитектура

News Bot может работать самостоятельно или совместно с централизованным News Hub.

Система собирает материалы из нескольких тематических потоков. Для публикаций из X, TikTok и RSS-источников реализованы отдельные механизмы сбора. После получения материалы проходят общую обработку: фильтрацию, перевод или редакторский рерайт, проверку дублей и публикацию.

Для разных источников можно задавать собственные правила обработки, расписания и каналы. Например, короткие публикации из X можно переводить и оформлять иначе, чем большие статьи из RSS.

News Bot сохраняет состояние обработки и умеет восстанавливаться после перезапуска и временных ошибок внешних сервисов. Проверка дублей помогает избежать повторной публикации одного инфоповода, даже если он пришёл из разных источников.

При необходимости подготовленные материалы могут передаваться в News Hub — централизованный сервис для хранения, модерации и управления ручными, отложенными и автоматическими публикациями.

Технологии

Python, APScheduler, SQLite, Laravel, Filament, PostgreSQL, Redis, Docker, systemd, REST API, OpenAI-compatible LLM API, Search API, twscrape, yt-dlp, Telegram API, VK API и Bitrix24 REST API.

LLM используется для перевода, саммари и редакторской обработки материалов по настраиваемым промптам. Для разных источников могут использоваться разные правила и терминология. Поддерживаются ссылки, изображения и публикация нескольких фотографий из X одним постом VK.

Результат

News Bot вырос из инструмента автоматизации RSS в систему, которая может собирать и обрабатывать контент из разных типов источников.

Сейчас система позволяет:

• снижать количество повторных публикаций;

• публиковать материалы в VK, Telegram и Битрикс24;

• использовать разные правила обработки для разных источников;

• подключать новые источники без переделки уже работающей системы;

• сохранять работу системы при сбоях отдельных источников.

NEWS BOT

Новости и обновления: https://msk.onl/blog?tag=news-bot