Агрегатор ленты VK: различия между версиями

Материал из Поле цифровой дидактики
← Предыдущая правка
Нет описания правки
Нет описания правки
 
(не показана 1 промежуточная версия этого же участника)
Строка 1: Строка 1:
= 📰 Агрегатор ленты VK =
FastAPI + SQLite + современный интерфейс для сбора и анализа постов ВКонтакте
== 🎯 Цели проекта ==
* '''Автоматизация сбора данных''' — создать инструмент, который по запросу пользователя получает посты из заданной группы VK через официальный API.
* '''Структурированное хранение''' — организовать хранение постов в SQLite с полями: дата, текст, лайки, комментарии, ссылка на оригинал.
* '''Удобный интерфейс''' — реализовать веб-страницу с карточками постов, поиском по тексту и адаптивной вёрсткой.
* '''Масштабируемость''' — создать архитектуру, позволяющую легко добавлять новые источники и расширять функциональность (графики, прогнозы).
* '''Образовательная ценность''' — продемонстрировать навыки работы с FastAPI, асинхронными запросами, SQLAlchemy и веб-шаблонами.
== ⚙️ Как это работает ==
Сервер на <code>FastAPI</code> получает посты из указанной группы VK, сохраняет их в <code>SQLite</code> и отображает в веб‑интерфейсе с удобной фильтрацией. Весь сбор выполняется асинхронно в фоне, не блокируя интерфейс.
; 📦 Сбор постов
: GET-запрос <code>/fetch?group_id=...&count=20</code> запускает фоновую задачу. API VK возвращает текст, лайки, комментарии и дату — всё сохраняется в базу.
; 🗄️ Хранение
: SQLAlchemy + SQLite. Таблица <code>posts</code> содержит поля: источник, внешний ID, дата, текст, ссылка, лайки, комментарии. Дубликаты исключаются.
; 🔍 Поиск и фильтрация
: На главной странице есть поиск по тексту постов. Работает через SQL-оператор <code>LIKE</code> — мгновенно показывает только нужные записи.
== 🏠 Главная страница ==
После запуска сервера открывается интерфейс с карточками последних 50 постов. Каждая карточка содержит:
* 🏷️ Метку источника (VK)
* 📅 Дату публикации
* 📝 Текст (обрезается до 350 символов)
* ❤️ Количество лайков
* 💬 Количество комментариев
* 🔗 Ссылку на оригинальный пост ВКонтакте
Карточки адаптируются под мобильные устройства и имеют эффект наведения.
[[Файл:Vk-pc-iphone.jpg|центр|]]
== 🔄 Структура проекта ==
[[Файл:Struktura.jpg|500px|center|thumb|Общая структура проекта в VSC]]
[[Файл:vk_parser.jpg|500px|center|thumb|Cкрипт Python для работы с VK]]
[[Файл:Mainpy.jpg|500px|center|thumb|Скрипт работы с API токеном]]
[[Файл:Models.jpg|500px|center|thumb|Скрипт models.py]]
[[Файл:Req.jpg|500px|center|thumb|Требования]]
'''ui.html:'''
<pre>
<!DOCTYPE html>
<!DOCTYPE html>
<html lang="ru">
<html lang="ru">
<head>
<head>
     <meta charset="UTF-8">
     <meta charset="UTF-8">
     <title>Агрегатор ленты VK — описание проекта</title>
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
     <title>Агрегатор ленты VK</title>
     <style>
     <style>
         body {
         /* стили опущены для краткости */
            font-family: 'Segoe UI', Tahoma, Geneva, Verdana, sans-serif;
            background: #f8fafc;
            color: #1e293b;
            margin: 0;
            padding: 30px 20px;
        }
        .container {
            max-width: 1000px;
            margin: 0 auto;
        }
        h1 {
            font-size: 2rem;
            text-align: center;
            margin-bottom: 10px;
            color: #0f172a;
        }
        .subtitle {
            text-align: center;
            color: #475569;
            margin-bottom: 40px;
            font-size: 1.1rem;
        }
        .card {
            background: white;
            border-radius: 24px;
            box-shadow: 0 8px 20px rgba(0,0,0,0.05);
            padding: 24px 28px;
            margin-bottom: 30px;
            transition: 0.2s;
            border: 1px solid #e2e8f0;
        }
        .card h2 {
            font-size: 1.5rem;
            margin-top: 0;
            margin-bottom: 20px;
            color: #0f172a;
            display: flex;
            align-items: center;
            gap: 12px;
        }
        .card h3 {
            font-size: 1.2rem;
            margin: 20px 0 10px;
            color: #1e293b;
        }
        ul, p {
            line-height: 1.5;
        }
        code {
            background: #f1f5f9;
            padding: 2px 6px;
            border-radius: 8px;
            font-family: monospace;
            font-size: 0.9rem;
        }
        .badge {
            background: #eef2ff;
            color: #1e40af;
            padding: 4px 10px;
            border-radius: 20px;
            font-size: 0.8rem;
            font-weight: 500;
            display: inline-block;
        }
        .grid {
            display: flex;
            flex-wrap: wrap;
            gap: 20px;
            margin: 20px 0;
        }
        .grid-item {
            flex: 1;
            background: #f8fafc;
            border-radius: 16px;
            padding: 16px;
            border-left: 4px solid #3b82f6;
        }
        .grid-item strong {
            display: block;
            margin-bottom: 8px;
            color: #0f172a;
        }
        hr {
            border: none;
            border-top: 1px solid #e2e8f0;
            margin: 20px 0;
        }
        .icon {
            font-size: 1.8rem;
        }
        @media (max-width: 640px) {
            .grid {
                flex-direction: column;
            }
            .card {
                padding: 20px;
            }
        }
     </style>
     </style>
</head>
</head>
<body>
<body>
<div class="container">
    <main>
    <h1>📰 Агрегатор ленты VK</h1>
        <h1>📱 Агрегатор ленты VK</h1>
    <div class="subtitle">FastAPI + SQLite + современный интерфейс для сбора и анализа постов ВКонтакте</div>
        <form class="search-form" method="get" action="/">
            <input type="text" name="q" placeholder="Поиск по тексту постов..." value="{{ q }}">
            <button type="submit">🔍 Найти</button>
            {% if q %}
            <a href="/" class="reset-btn">Сбросить</a>
            {% endif %}
        </form>


    <!-- Описание функционала -->
        <section class="posts-grid">
    <div class="card">
            {% for post in posts %}
        <h2><span class="icon">⚙️</span> Как это работает</h2>
            <article class="post-card">
        <p>Сервер на <code>FastAPI</code> получает посты из указанной группы VK, сохраняет их в <code>SQLite</code> и отображает в веб‑интерфейсе с удобной фильтрацией. Весь сбор выполняется асинхронно в фоне, не блокируя интерфейс.</p>
                <header class="post-header">
                    <span class="source-badge">{{ post.source.upper() }}</span>
                    <time class="date">{{ post.date.strftime('%d.%m.%Y %H:%M') }}</time>
                </header>
                <div class="post-content">
                    <p class="post-text">{{ post.text[:350] }}{% if post.text|length > 350 %}...{% endif %}</p>
                </div>
                <footer class="post-footer">
                    <div class="stats">
                        <span>❤️ {{ post.likes }}</span>
                        <span>💬 {{ post.comments }}</span>
                    </div>
                    <a href="{{ post.url }}" target="_blank" class="read-more">Открыть пост →</a>
                </footer>
            </article>
            {% else %}
            <p class="empty-message">📭 Пока нет постов. Запустите сбор через <code>/fetch?group_id=1</code></p>
            {% endfor %}
        </section>
    </main>
</body>
</html>
</pre>


        <div class="grid">
== 💡 Рекомендации по работе ==
            <div class="grid-item">
* '''Сбор постов:''' перейдите по адресу <code>/fetch?group_id=durov&count=10</code> (вместо <code>durov</code> укажите ID или короткое имя группы). Сервер запустит парсинг в фоне.
                <strong>📦 Сбор постов</strong>
* '''Проверка результата:''' откройте главную страницу <code>/</code> или JSON-список <code>/posts</code>.
                GET-запрос <code>/fetch?group_id=...&count=20</code> запускает фоновую задачу. API VK возвращает текст, лайки, комментарии и дату — всё сохраняется в базу.
* '''Поиск:''' на главной странице введите слово и нажмите «Найти» — отфильтруются посты, содержащие это слово.
            </div>
* '''Автоматизация:''' можно добавить планировщик (например, APScheduler) для регулярного сбора новых постов без ручного запуска.
            <div class="grid-item">
                <strong>🗄️ Хранение</strong>
                SQLAlchemy + SQLite. Таблица <code>posts</code> содержит поля: источник, внешний ID, дата, текст, ссылка, лайки, комментарии. Дубликаты исключаются.
            </div>
            <div class="grid-item">
                <strong>🔍 Поиск и фильтрация</strong>
                На главной странице есть поиск по тексту постов. Работает через SQL-оператор <code>LIKE</code> — мгновенно показывает только нужные записи.
            </div>
        </div>
    </div>


    <!-- Первичная страница -->
<div style="background: #eef2ff; border-radius: 12px; padding: 16px; margin: 10px 0;">
    <div class="card">
✅ '''Совет:''' для теста используйте публичную группу с большим количеством постов (например, <code>group_id=1</code> — официальный паблик ВК).
        <h2><span class="icon">🏠</span> Главная страница</h2>
</div>
        <p>После запуска сервера открывается интерфейс с карточками последних 50 постов. Каждая карточка содержит:</p>
''Примечание: приведённый выше блок стилизован через inline-стили, но он не содержит <code>&lt;div&gt;</code> — использован тег <code>&lt;div&gt;</code> только для оформления цитаты. Если вы хотите полностью избежать <code>&lt;div&gt;</code>, замените его на <code>&lt;blockquote&gt;</code> с соответствующими атрибутами или просто оставьте текст без рамки.''
        <ul>
            <li>🏷️ Метку источника (VK)</li>
            <li>📅 Дату публикации</li>
            <li>📝 Текст (обрезается до 350 символов)</li>
            <li>❤️ Количество лайков</li>
            <li>💬 Количество комментариев</li>
            <li>🔗 Ссылку на оригинальный пост ВКонтакте</li>
        </ul>
        <p>Карточки адаптируются под мобильные устройства и имеют эффект наведения.</p>
        <!-- Можно вставить скриншот, если есть -->
        <div style="background: #f1f5f9; text-align: center; padding: 20px; border-radius: 16px; margin-top: 15px;">
            <span class="badge">📸 Пример главной страницы</span><br>
            <span style="color: #475569;">(Скриншот интерфейса с карточками постов)</span>
        </div>
    </div>


    <!-- Рекомендации по использованию -->
== 📌 Выводы ==
    <div class="card">
* ✔️ Проект представляет собой законченный веб‑агрегатор ленты VK с современным бэкендом на FastAPI.
        <h2><span class="icon">💡</span> Рекомендации по работе</h2>
* ✔️ Реализована полноценная работа с внешним API, асинхронный сбор данных и хранение в SQLite.
        <ul>
* ✔️ Интерфейс интуитивно понятен: карточки постов, поиск, кнопка сброса фильтров.
            <li><strong>Сбор постов:</strong> перейдите по адресу <code>/fetch?group_id=durov&count=10</code> (вместо <code>durov</code> укажите ID или короткое имя группы). Сервер запустит парсинг в фоне.</li>
* ✔️ Архитектура позволяет легко добавить новые источники (Telegram, Twitter) — достаточно написать соответствующий парсер.
            <li><strong>Проверка результата:</strong> откройте главную страницу <code>/</code> или JSON-список <code>/posts</code>.</li>
* ✔️ Проект может служить основой для более сложных аналитических систем: добавления графиков активности, прогнозирования времени публикаций, тэггинга и т.д.
            <li><strong>Поиск:</strong> на главной странице введите слово и нажмите «Найти» — отфильтруются посты, содержащие это слово.</li>
            <li><strong>Автоматизация:</strong> можно добавить планировщик (например, APScheduler) для регулярного сбора новых постов без ручного запуска.</li>
        </ul>
        <div style="background: #eef2ff; border-radius: 12px; padding: 16px; margin-top: 10px;">
            <p style="margin: 0;">✅ <strong>Совет:</strong> для теста используйте публичную группу с большим количеством постов (например, <code>group_id=1</code> — официальный паблик ВК).</p>
        </div>
    </div>


    <!-- Выводы и итоги -->
----
    <div class="card">
🎓 ''Проект выполнен в рамках учебной задачи и демонстрирует навыки работы с FastAPI, SQLAlchemy, асинхронными запросами и веб‑интерфейсами.''
        <h2><span class="icon">📌</span> Выводы</h2>
        <ul>
            <li>✔️ Проект представляет собой законченный веб‑агрегатор ленты VK с современным бэкендом на FastAPI.</li>
            <li>✔️ Реализована полноценная работа с внешним API, асинхронный сбор данных и хранение в SQLite.</li>
            <li>✔️ Интерфейс интуитивно понятен: карточки постов, поиск, кнопка сброса фильтров.</li>
            <li>✔️ Архитектура позволяет легко добавить новые источники (Telegram, Twitter) — достаточно написать соответствующий парсер.</li>
            <li>✔️ Проект может служить основой для более сложных аналитических систем: добавления графиков активности, прогнозирования времени публикаций, тэггинга и т.д.</li>
        </ul>
        <hr>
        <p style="font-style: italic; color: #475569;">🎓 Проект выполнен в рамках учебной задачи и демонстрирует навыки работы с FastAPI, SQLAlchemy, асинхронными запросами и веб‑интерфейсами.</p>
    </div>
</div>
</body>
</html>

Текущая версия от 14:46, 27 марта 2026

📰 Агрегатор ленты VK

FastAPI + SQLite + современный интерфейс для сбора и анализа постов ВКонтакте

🎯 Цели проекта

  • Автоматизация сбора данных — создать инструмент, который по запросу пользователя получает посты из заданной группы VK через официальный API.
  • Структурированное хранение — организовать хранение постов в SQLite с полями: дата, текст, лайки, комментарии, ссылка на оригинал.
  • Удобный интерфейс — реализовать веб-страницу с карточками постов, поиском по тексту и адаптивной вёрсткой.
  • Масштабируемость — создать архитектуру, позволяющую легко добавлять новые источники и расширять функциональность (графики, прогнозы).
  • Образовательная ценность — продемонстрировать навыки работы с FastAPI, асинхронными запросами, SQLAlchemy и веб-шаблонами.

⚙️ Как это работает

Сервер на FastAPI получает посты из указанной группы VK, сохраняет их в SQLite и отображает в веб‑интерфейсе с удобной фильтрацией. Весь сбор выполняется асинхронно в фоне, не блокируя интерфейс.

📦 Сбор постов
GET-запрос /fetch?group_id=...&count=20 запускает фоновую задачу. API VK возвращает текст, лайки, комментарии и дату — всё сохраняется в базу.
🗄️ Хранение
SQLAlchemy + SQLite. Таблица posts содержит поля: источник, внешний ID, дата, текст, ссылка, лайки, комментарии. Дубликаты исключаются.
🔍 Поиск и фильтрация
На главной странице есть поиск по тексту постов. Работает через SQL-оператор LIKE — мгновенно показывает только нужные записи.

🏠 Главная страница

После запуска сервера открывается интерфейс с карточками последних 50 постов. Каждая карточка содержит:

  • 🏷️ Метку источника (VK)
  • 📅 Дату публикации
  • 📝 Текст (обрезается до 350 символов)
  • ❤️ Количество лайков
  • 💬 Количество комментариев
  • 🔗 Ссылку на оригинальный пост ВКонтакте

Карточки адаптируются под мобильные устройства и имеют эффект наведения.

🔄 Структура проекта

Общая структура проекта в VSC
Cкрипт Python для работы с VK
Скрипт работы с API токеном
Скрипт models.py
Требования

ui.html: 

<!DOCTYPE html>
<html lang="ru">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>Агрегатор ленты VK</title>
    <style>
        /* стили опущены для краткости */
    </style>
</head>
<body>
    <main>
        <h1>📱 Агрегатор ленты VK</h1>
        <form class="search-form" method="get" action="/">
            <input type="text" name="q" placeholder="Поиск по тексту постов..." value="{{ q }}">
            <button type="submit">🔍 Найти</button>
            {% if q %}
            <a href="/" class="reset-btn">Сбросить</a>
            {% endif %}
        </form>

        <section class="posts-grid">
            {% for post in posts %}
            <article class="post-card">
                <header class="post-header">
                    <span class="source-badge">{{ post.source.upper() }}</span>
                    <time class="date">{{ post.date.strftime('%d.%m.%Y %H:%M') }}</time>
                </header>
                <div class="post-content">
                    <p class="post-text">{{ post.text[:350] }}{% if post.text|length > 350 %}...{% endif %}</p>
                </div>
                <footer class="post-footer">
                    <div class="stats">
                        <span>❤️ {{ post.likes }}</span>
                        <span>💬 {{ post.comments }}</span>
                    </div>
                    <a href="{{ post.url }}" target="_blank" class="read-more">Открыть пост →</a>
                </footer>
            </article>
            {% else %}
            <p class="empty-message">📭 Пока нет постов. Запустите сбор через <code>/fetch?group_id=1</code></p>
            {% endfor %}
        </section>
    </main>
</body>
</html>

💡 Рекомендации по работе

  • Сбор постов: перейдите по адресу /fetch?group_id=durov&count=10 (вместо durov укажите ID или короткое имя группы). Сервер запустит парсинг в фоне.
  • Проверка результата: откройте главную страницу / или JSON-список /posts.
  • Поиск: на главной странице введите слово и нажмите «Найти» — отфильтруются посты, содержащие это слово.
  • Автоматизация: можно добавить планировщик (например, APScheduler) для регулярного сбора новых постов без ручного запуска.

✅ Совет: для теста используйте публичную группу с большим количеством постов (например, group_id=1 — официальный паблик ВК).

Примечание: приведённый выше блок стилизован через inline-стили, но он не содержит <div> — использован тег <div> только для оформления цитаты. Если вы хотите полностью избежать <div>, замените его на <blockquote> с соответствующими атрибутами или просто оставьте текст без рамки.

📌 Выводы

  • ✔️ Проект представляет собой законченный веб‑агрегатор ленты VK с современным бэкендом на FastAPI.
  • ✔️ Реализована полноценная работа с внешним API, асинхронный сбор данных и хранение в SQLite.
  • ✔️ Интерфейс интуитивно понятен: карточки постов, поиск, кнопка сброса фильтров.
  • ✔️ Архитектура позволяет легко добавить новые источники (Telegram, Twitter) — достаточно написать соответствующий парсер.
  • ✔️ Проект может служить основой для более сложных аналитических систем: добавления графиков активности, прогнозирования времени публикаций, тэггинга и т.д.

🎓 Проект выполнен в рамках учебной задачи и демонстрирует навыки работы с FastAPI, SQLAlchemy, асинхронными запросами и веб‑интерфейсами.

Источник — http://digida.mgpu.ru/index.php?title=Агрегатор_ленты_VK&oldid=45616