Собственный продукт (open source)
News-Bot — автоматизация новостей для Telegram, VK и Битрикс24
Наша команда реализовала продукт с нуля: систему автоматизации перевода, модерации и публикации новостного контента для соцсетей — от RSS-источников до Telegram, VK и Битрикс24.
Спроектировали архитектуру полного цикла обработки новостей и выпустили работающий MVP всего за три дня.
Open source
код на GitHub
Задача
Поддержание тематического канала отнимает часы ручной работы: мониторинг источников, перевод, сокращение и публикация. Требовалось автоматизировать весь цикл и уложиться в минимальные сроки для проверки гипотезы.
RSS
→ фильтрация → перевод → публикация
Низкая
себестоимость публикации
Архитектура
Система разделена на news-bot и news-hub. news-bot собирает новости из нескольких тематических потоков, фильтрует, обогащает данные первоисточниками и Search API, переводит и подготавливает публикации. news-hub централизованно хранит материалы, выполняет дедупликацию, предоставляет очередь модерации и управляет ручными, отложенными и автоматическими публикациями.
Дедупликация выполняется по URL, хешу источника, семантическому сходству, токенам событий и character n-grams. Планировщик поддерживает отдельные расписания, лимиты и временные окна для потоков и каналов. REST API использует идемпотентные ключи, а масштабирование достигается запуском независимых экземпляров или нескольких потоков в одном экземпляре.
Технологии
Python, APScheduler, SQLite для локальной истории и PostgreSQL для централизованного Hub, Laravel, Filament, Redis, Docker, REST API, OpenAI-compatible LLM API, Search API, Telegram API, VK API и Bitrix24 REST API.
LLM используется для перевода, саммари и редакторского рерайта новостей по настраиваемым промптам. Публикации поддерживают текст, ссылки, предпросмотр источника и изображения.
Технологии
Python
Laravel (Filament)
PostgreSQL
Docker
REST API
LLM API
Telegram API
VK API