Агрегатор ленты VK: различия между версиями

Материал из Поле цифровой дидактики
Новая страница: «test»
 
Нет описания правки
 
(не показаны 2 промежуточные версии этого же участника)
Строка 1: Строка 1:
test
= 📰 Агрегатор ленты VK =
 
FastAPI + SQLite + современный интерфейс для сбора и анализа постов ВКонтакте
 
== 🎯 Цели проекта ==
* '''Автоматизация сбора данных''' — создать инструмент, который по запросу пользователя получает посты из заданной группы VK через официальный API.
* '''Структурированное хранение''' — организовать хранение постов в SQLite с полями: дата, текст, лайки, комментарии, ссылка на оригинал.
* '''Удобный интерфейс''' — реализовать веб-страницу с карточками постов, поиском по тексту и адаптивной вёрсткой.
* '''Масштабируемость''' — создать архитектуру, позволяющую легко добавлять новые источники и расширять функциональность (графики, прогнозы).
* '''Образовательная ценность''' — продемонстрировать навыки работы с FastAPI, асинхронными запросами, SQLAlchemy и веб-шаблонами.
 
== ⚙️ Как это работает ==
Сервер на <code>FastAPI</code> получает посты из указанной группы VK, сохраняет их в <code>SQLite</code> и отображает в веб‑интерфейсе с удобной фильтрацией. Весь сбор выполняется асинхронно в фоне, не блокируя интерфейс.
 
; 📦 Сбор постов
: GET-запрос <code>/fetch?group_id=...&count=20</code> запускает фоновую задачу. API VK возвращает текст, лайки, комментарии и дату — всё сохраняется в базу.
; 🗄️ Хранение
: SQLAlchemy + SQLite. Таблица <code>posts</code> содержит поля: источник, внешний ID, дата, текст, ссылка, лайки, комментарии. Дубликаты исключаются.
; 🔍 Поиск и фильтрация
: На главной странице есть поиск по тексту постов. Работает через SQL-оператор <code>LIKE</code> — мгновенно показывает только нужные записи.
 
== 🏠 Главная страница ==
После запуска сервера открывается интерфейс с карточками последних 50 постов. Каждая карточка содержит:
* 🏷️ Метку источника (VK)
* 📅 Дату публикации
* 📝 Текст (обрезается до 350 символов)
* ❤️ Количество лайков
* 💬 Количество комментариев
* 🔗 Ссылку на оригинальный пост ВКонтакте
 
Карточки адаптируются под мобильные устройства и имеют эффект наведения.
 
[[Файл:Vk-pc-iphone.jpg|центр|]]
 
== 🔄 Структура проекта ==
[[Файл:Struktura.jpg|500px|center|thumb|Общая структура проекта в VSC]]
[[Файл:vk_parser.jpg|500px|center|thumb|Cкрипт Python для работы с VK]]
[[Файл:Mainpy.jpg|500px|center|thumb|Скрипт работы с API токеном]]
[[Файл:Models.jpg|500px|center|thumb|Скрипт models.py]]
[[Файл:Req.jpg|500px|center|thumb|Требования]]
 
'''ui.html:'''
<pre>
<!DOCTYPE html>
<html lang="ru">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>Агрегатор ленты VK</title>
    <style>
        /* стили опущены для краткости */
    </style>
</head>
<body>
    <main>
        <h1>📱 Агрегатор ленты VK</h1>
        <form class="search-form" method="get" action="/">
            <input type="text" name="q" placeholder="Поиск по тексту постов..." value="{{ q }}">
            <button type="submit">🔍 Найти</button>
            {% if q %}
            <a href="/" class="reset-btn">Сбросить</a>
            {% endif %}
        </form>
 
        <section class="posts-grid">
            {% for post in posts %}
            <article class="post-card">
                <header class="post-header">
                    <span class="source-badge">{{ post.source.upper() }}</span>
                    <time class="date">{{ post.date.strftime('%d.%m.%Y %H:%M') }}</time>
                </header>
                <div class="post-content">
                    <p class="post-text">{{ post.text[:350] }}{% if post.text|length > 350 %}...{% endif %}</p>
                </div>
                <footer class="post-footer">
                    <div class="stats">
                        <span>❤️ {{ post.likes }}</span>
                        <span>💬 {{ post.comments }}</span>
                    </div>
                    <a href="{{ post.url }}" target="_blank" class="read-more">Открыть пост →</a>
                </footer>
            </article>
            {% else %}
            <p class="empty-message">📭 Пока нет постов. Запустите сбор через <code>/fetch?group_id=1</code></p>
            {% endfor %}
        </section>
    </main>
</body>
</html>
</pre>
 
== 💡 Рекомендации по работе ==
* '''Сбор постов:''' перейдите по адресу <code>/fetch?group_id=durov&count=10</code> (вместо <code>durov</code> укажите ID или короткое имя группы). Сервер запустит парсинг в фоне.
* '''Проверка результата:''' откройте главную страницу <code>/</code> или JSON-список <code>/posts</code>.
* '''Поиск:''' на главной странице введите слово и нажмите «Найти» — отфильтруются посты, содержащие это слово.
* '''Автоматизация:''' можно добавить планировщик (например, APScheduler) для регулярного сбора новых постов без ручного запуска.
 
<div style="background: #eef2ff; border-radius: 12px; padding: 16px; margin: 10px 0;">
✅ '''Совет:''' для теста используйте публичную группу с большим количеством постов (например, <code>group_id=1</code> — официальный паблик ВК).
</div>
''Примечание: приведённый выше блок стилизован через inline-стили, но он не содержит <code>&lt;div&gt;</code> — использован тег <code>&lt;div&gt;</code> только для оформления цитаты. Если вы хотите полностью избежать <code>&lt;div&gt;</code>, замените его на <code>&lt;blockquote&gt;</code> с соответствующими атрибутами или просто оставьте текст без рамки.''
 
== 📌 Выводы ==
* ✔️ Проект представляет собой законченный веб‑агрегатор ленты VK с современным бэкендом на FastAPI.
* ✔️ Реализована полноценная работа с внешним API, асинхронный сбор данных и хранение в SQLite.
* ✔️ Интерфейс интуитивно понятен: карточки постов, поиск, кнопка сброса фильтров.
* ✔️ Архитектура позволяет легко добавить новые источники (Telegram, Twitter) — достаточно написать соответствующий парсер.
* ✔️ Проект может служить основой для более сложных аналитических систем: добавления графиков активности, прогнозирования времени публикаций, тэггинга и т.д.
 
----
🎓 ''Проект выполнен в рамках учебной задачи и демонстрирует навыки работы с FastAPI, SQLAlchemy, асинхронными запросами и веб‑интерфейсами.''

Текущая версия от 14:46, 27 марта 2026

📰 Агрегатор ленты VK

FastAPI + SQLite + современный интерфейс для сбора и анализа постов ВКонтакте

🎯 Цели проекта

  • Автоматизация сбора данных — создать инструмент, который по запросу пользователя получает посты из заданной группы VK через официальный API.
  • Структурированное хранение — организовать хранение постов в SQLite с полями: дата, текст, лайки, комментарии, ссылка на оригинал.
  • Удобный интерфейс — реализовать веб-страницу с карточками постов, поиском по тексту и адаптивной вёрсткой.
  • Масштабируемость — создать архитектуру, позволяющую легко добавлять новые источники и расширять функциональность (графики, прогнозы).
  • Образовательная ценность — продемонстрировать навыки работы с FastAPI, асинхронными запросами, SQLAlchemy и веб-шаблонами.

⚙️ Как это работает

Сервер на FastAPI получает посты из указанной группы VK, сохраняет их в SQLite и отображает в веб‑интерфейсе с удобной фильтрацией. Весь сбор выполняется асинхронно в фоне, не блокируя интерфейс.

📦 Сбор постов
GET-запрос /fetch?group_id=...&count=20 запускает фоновую задачу. API VK возвращает текст, лайки, комментарии и дату — всё сохраняется в базу.
🗄️ Хранение
SQLAlchemy + SQLite. Таблица posts содержит поля: источник, внешний ID, дата, текст, ссылка, лайки, комментарии. Дубликаты исключаются.
🔍 Поиск и фильтрация
На главной странице есть поиск по тексту постов. Работает через SQL-оператор LIKE — мгновенно показывает только нужные записи.

🏠 Главная страница

После запуска сервера открывается интерфейс с карточками последних 50 постов. Каждая карточка содержит:

  • 🏷️ Метку источника (VK)
  • 📅 Дату публикации
  • 📝 Текст (обрезается до 350 символов)
  • ❤️ Количество лайков
  • 💬 Количество комментариев
  • 🔗 Ссылку на оригинальный пост ВКонтакте

Карточки адаптируются под мобильные устройства и имеют эффект наведения.

🔄 Структура проекта

Общая структура проекта в VSC
Cкрипт Python для работы с VK
Скрипт работы с API токеном
Скрипт models.py
Требования

ui.html: 

<!DOCTYPE html>
<html lang="ru">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>Агрегатор ленты VK</title>
    <style>
        /* стили опущены для краткости */
    </style>
</head>
<body>
    <main>
        <h1>📱 Агрегатор ленты VK</h1>
        <form class="search-form" method="get" action="/">
            <input type="text" name="q" placeholder="Поиск по тексту постов..." value="{{ q }}">
            <button type="submit">🔍 Найти</button>
            {% if q %}
            <a href="/" class="reset-btn">Сбросить</a>
            {% endif %}
        </form>

        <section class="posts-grid">
            {% for post in posts %}
            <article class="post-card">
                <header class="post-header">
                    <span class="source-badge">{{ post.source.upper() }}</span>
                    <time class="date">{{ post.date.strftime('%d.%m.%Y %H:%M') }}</time>
                </header>
                <div class="post-content">
                    <p class="post-text">{{ post.text[:350] }}{% if post.text|length > 350 %}...{% endif %}</p>
                </div>
                <footer class="post-footer">
                    <div class="stats">
                        <span>❤️ {{ post.likes }}</span>
                        <span>💬 {{ post.comments }}</span>
                    </div>
                    <a href="{{ post.url }}" target="_blank" class="read-more">Открыть пост →</a>
                </footer>
            </article>
            {% else %}
            <p class="empty-message">📭 Пока нет постов. Запустите сбор через <code>/fetch?group_id=1</code></p>
            {% endfor %}
        </section>
    </main>
</body>
</html>

💡 Рекомендации по работе

  • Сбор постов: перейдите по адресу /fetch?group_id=durov&count=10 (вместо durov укажите ID или короткое имя группы). Сервер запустит парсинг в фоне.
  • Проверка результата: откройте главную страницу / или JSON-список /posts.
  • Поиск: на главной странице введите слово и нажмите «Найти» — отфильтруются посты, содержащие это слово.
  • Автоматизация: можно добавить планировщик (например, APScheduler) для регулярного сбора новых постов без ручного запуска.

✅ Совет: для теста используйте публичную группу с большим количеством постов (например, group_id=1 — официальный паблик ВК).

Примечание: приведённый выше блок стилизован через inline-стили, но он не содержит <div> — использован тег <div> только для оформления цитаты. Если вы хотите полностью избежать <div>, замените его на <blockquote> с соответствующими атрибутами или просто оставьте текст без рамки.

📌 Выводы

  • ✔️ Проект представляет собой законченный веб‑агрегатор ленты VK с современным бэкендом на FastAPI.
  • ✔️ Реализована полноценная работа с внешним API, асинхронный сбор данных и хранение в SQLite.
  • ✔️ Интерфейс интуитивно понятен: карточки постов, поиск, кнопка сброса фильтров.
  • ✔️ Архитектура позволяет легко добавить новые источники (Telegram, Twitter) — достаточно написать соответствующий парсер.
  • ✔️ Проект может служить основой для более сложных аналитических систем: добавления графиков активности, прогнозирования времени публикаций, тэггинга и т.д.

🎓 Проект выполнен в рамках учебной задачи и демонстрирует навыки работы с FastAPI, SQLAlchemy, асинхронными запросами и веб‑интерфейсами.

Источник — http://digida.mgpu.ru/index.php?title=Агрегатор_ленты_VK&oldid=45616