Агрегатор ленты VK

Материал из Поле цифровой дидактики

📰 Агрегатор ленты VK

FastAPI + SQLite + современный интерфейс для сбора и анализа постов ВКонтакте

🎯 Цели проекта

  • Автоматизация сбора данных — создать инструмент, который по запросу пользователя получает посты из заданной группы VK через официальный API.
  • Структурированное хранение — организовать хранение постов в SQLite с полями: дата, текст, лайки, комментарии, ссылка на оригинал.
  • Удобный интерфейс — реализовать веб-страницу с карточками постов, поиском по тексту и адаптивной вёрсткой.
  • Масштабируемость — создать архитектуру, позволяющую легко добавлять новые источники и расширять функциональность (графики, прогнозы).
  • Образовательная ценность — продемонстрировать навыки работы с FastAPI, асинхронными запросами, SQLAlchemy и веб-шаблонами.

⚙️ Как это работает

Сервер на FastAPI получает посты из указанной группы VK, сохраняет их в SQLite и отображает в веб‑интерфейсе с удобной фильтрацией. Весь сбор выполняется асинхронно в фоне, не блокируя интерфейс.

📦 Сбор постов
GET-запрос /fetch?group_id=...&count=20 запускает фоновую задачу. API VK возвращает текст, лайки, комментарии и дату — всё сохраняется в базу.
🗄️ Хранение
SQLAlchemy + SQLite. Таблица posts содержит поля: источник, внешний ID, дата, текст, ссылка, лайки, комментарии. Дубликаты исключаются.
🔍 Поиск и фильтрация
На главной странице есть поиск по тексту постов. Работает через SQL-оператор LIKE — мгновенно показывает только нужные записи.

🏠 Главная страница

После запуска сервера открывается интерфейс с карточками последних 50 постов. Каждая карточка содержит:

  • 🏷️ Метку источника (VK)
  • 📅 Дату публикации
  • 📝 Текст (обрезается до 350 символов)
  • ❤️ Количество лайков
  • 💬 Количество комментариев
  • 🔗 Ссылку на оригинальный пост ВКонтакте

Карточки адаптируются под мобильные устройства и имеют эффект наведения.

🔄 Структура проекта

Общая структура проекта в VSC
Cкрипт Python для работы с VK
Скрипт работы с API токеном
Скрипт models.py
Требования

ui.html: 

<!DOCTYPE html>
<html lang="ru">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>Агрегатор ленты VK</title>
    <style>
        /* стили опущены для краткости */
    </style>
</head>
<body>
    <main>
        <h1>📱 Агрегатор ленты VK</h1>
        <form class="search-form" method="get" action="/">
            <input type="text" name="q" placeholder="Поиск по тексту постов..." value="{{ q }}">
            <button type="submit">🔍 Найти</button>
            {% if q %}
            <a href="/" class="reset-btn">Сбросить</a>
            {% endif %}
        </form>

        <section class="posts-grid">
            {% for post in posts %}
            <article class="post-card">
                <header class="post-header">
                    <span class="source-badge">{{ post.source.upper() }}</span>
                    <time class="date">{{ post.date.strftime('%d.%m.%Y %H:%M') }}</time>
                </header>
                <div class="post-content">
                    <p class="post-text">{{ post.text[:350] }}{% if post.text|length > 350 %}...{% endif %}</p>
                </div>
                <footer class="post-footer">
                    <div class="stats">
                        <span>❤️ {{ post.likes }}</span>
                        <span>💬 {{ post.comments }}</span>
                    </div>
                    <a href="{{ post.url }}" target="_blank" class="read-more">Открыть пост →</a>
                </footer>
            </article>
            {% else %}
            <p class="empty-message">📭 Пока нет постов. Запустите сбор через <code>/fetch?group_id=1</code></p>
            {% endfor %}
        </section>
    </main>
</body>
</html>

💡 Рекомендации по работе

  • Сбор постов: перейдите по адресу /fetch?group_id=durov&count=10 (вместо durov укажите ID или короткое имя группы). Сервер запустит парсинг в фоне.
  • Проверка результата: откройте главную страницу / или JSON-список /posts.
  • Поиск: на главной странице введите слово и нажмите «Найти» — отфильтруются посты, содержащие это слово.
  • Автоматизация: можно добавить планировщик (например, APScheduler) для регулярного сбора новых постов без ручного запуска.

✅ Совет: для теста используйте публичную группу с большим количеством постов (например, group_id=1 — официальный паблик ВК).

Примечание: приведённый выше блок стилизован через inline-стили, но он не содержит <div> — использован тег <div> только для оформления цитаты. Если вы хотите полностью избежать <div>, замените его на <blockquote> с соответствующими атрибутами или просто оставьте текст без рамки.

📌 Выводы

  • ✔️ Проект представляет собой законченный веб‑агрегатор ленты VK с современным бэкендом на FastAPI.
  • ✔️ Реализована полноценная работа с внешним API, асинхронный сбор данных и хранение в SQLite.
  • ✔️ Интерфейс интуитивно понятен: карточки постов, поиск, кнопка сброса фильтров.
  • ✔️ Архитектура позволяет легко добавить новые источники (Telegram, Twitter) — достаточно написать соответствующий парсер.
  • ✔️ Проект может служить основой для более сложных аналитических систем: добавления графиков активности, прогнозирования времени публикаций, тэггинга и т.д.

🎓 Проект выполнен в рамках учебной задачи и демонстрирует навыки работы с FastAPI, SQLAlchemy, асинхронными запросами и веб‑интерфейсами.

Источник — http://digida.mgpu.ru/index.php?title=Агрегатор_ленты_VK&oldid=45616