Агрегатор ленты VK: различия между версиями

Материал из Поле цифровой дидактики
← Предыдущая правка
Нет описания правки
Нет описания правки
 
Строка 1: Строка 1:
= 📰 Агрегатор ленты VK =


<div class="container">
FastAPI + SQLite + современный интерфейс для сбора и анализа постов ВКонтакте
    <h1>📰 Агрегатор ленты VK</h1>
    <div class="subtitle">FastAPI + SQLite + современный интерфейс для сбора и анализа постов ВКонтакте</div>


    <!-- Цели проекта -->
== 🎯 Цели проекта ==
    <div class="card">
* '''Автоматизация сбора данных''' — создать инструмент, который по запросу пользователя получает посты из заданной группы VK через официальный API.
        <h2><span class="icon">🎯</span> Цели проекта</h2>
* '''Структурированное хранение''' — организовать хранение постов в SQLite с полями: дата, текст, лайки, комментарии, ссылка на оригинал.
        <ul>
* '''Удобный интерфейс''' — реализовать веб-страницу с карточками постов, поиском по тексту и адаптивной вёрсткой.
            <li><strong>Автоматизация сбора данных</strong> — создать инструмент, который по запросу пользователя получает посты из заданной группы VK через официальный API.</li>
* '''Масштабируемость''' — создать архитектуру, позволяющую легко добавлять новые источники и расширять функциональность (графики, прогнозы).
            <li><strong>Структурированное хранение</strong> — организовать хранение постов в SQLite с полями: дата, текст, лайки, комментарии, ссылка на оригинал.</li>
* '''Образовательная ценность''' — продемонстрировать навыки работы с FastAPI, асинхронными запросами, SQLAlchemy и веб-шаблонами.
            <li><strong>Удобный интерфейс</strong> — реализовать веб-страницу с карточками постов, поиском по тексту и адаптивной вёрсткой.</li>
            <li><strong>Масштабируемость</strong> — создать архитектуру, позволяющую легко добавлять новые источники и расширять функциональность (графики, прогнозы).</li>
            <li><strong>Образовательная ценность</strong> — продемонстрировать навыки работы с FastAPI, асинхронными запросами, SQLAlchemy и веб-шаблонами.</li>


    <!-- Описание функционала -->
== ⚙️ Как это работает ==
    <div class="card">
Сервер на <code>FastAPI</code> получает посты из указанной группы VK, сохраняет их в <code>SQLite</code> и отображает в веб‑интерфейсе с удобной фильтрацией. Весь сбор выполняется асинхронно в фоне, не блокируя интерфейс.
        <h2><span class="icon">⚙️</span> Как это работает</h2>
        <p>Сервер на <code>FastAPI</code> получает посты из указанной группы VK, сохраняет их в <code>SQLite</code> и отображает в веб‑интерфейсе с удобной фильтрацией. Весь сбор выполняется асинхронно в фоне, не блокируя интерфейс.</p>


        <div class="grid">
; 📦 Сбор постов
            <div class="grid-item">
: GET-запрос <code>/fetch?group_id=...&count=20</code> запускает фоновую задачу. API VK возвращает текст, лайки, комментарии и дату — всё сохраняется в базу.
                <strong>📦 Сбор постов</strong>
; 🗄️ Хранение
                GET-запрос <code>/fetch?group_id=...&count=20</code> запускает фоновую задачу. API VK возвращает текст, лайки, комментарии и дату — всё сохраняется в базу.
: SQLAlchemy + SQLite. Таблица <code>posts</code> содержит поля: источник, внешний ID, дата, текст, ссылка, лайки, комментарии. Дубликаты исключаются.
            </div>
; 🔍 Поиск и фильтрация
            <div class="grid-item">
: На главной странице есть поиск по тексту постов. Работает через SQL-оператор <code>LIKE</code> — мгновенно показывает только нужные записи.
                <strong>🗄️ Хранение</strong>
                SQLAlchemy + SQLite. Таблица <code>posts</code> содержит поля: источник, внешний ID, дата, текст, ссылка, лайки, комментарии. Дубликаты исключаются.
            </div>
            <div class="grid-item">
                <strong>🔍 Поиск и фильтрация</strong>
                На главной странице есть поиск по тексту постов. Работает через SQL-оператор <code>LIKE</code> — мгновенно показывает только нужные записи.
            </div>
        </div>
    </div>


    <!-- Первичная страница -->
== 🏠 Главная страница ==
    <div class="card">
После запуска сервера открывается интерфейс с карточками последних 50 постов. Каждая карточка содержит:
        <h2><span class="icon">🏠</span> Главная страница</h2>
* 🏷️ Метку источника (VK)
        <p>После запуска сервера открывается интерфейс с карточками последних 50 постов. Каждая карточка содержит:</p>
* 📅 Дату публикации
        <ul>
* 📝 Текст (обрезается до 350 символов)
            <li>🏷️ Метку источника (VK)</li>
* ❤️ Количество лайков
            <li>📅 Дату публикации</li>
* 💬 Количество комментариев
            <li>📝 Текст (обрезается до 350 символов)</li>
* 🔗 Ссылку на оригинальный пост ВКонтакте
            <li>❤️ Количество лайков</li>
            <li>💬 Количество комментариев</li>
            <li>🔗 Ссылку на оригинальный пост ВКонтакте</li>
        </ul>
        <p>Карточки адаптируются под мобильные устройства и имеют эффект наведения.</p>
       
[[Файл:Vk-pc-iphone.jpg|центр|]]


Карточки адаптируются под мобильные устройства и имеют эффект наведения.


    <div class="card">
[[Файл:Vk-pc-iphone.jpg|центр|]]
        <h2><span class="icon">🔄</span> Структура Проекта</h2>
        <ul>


== 🔄 Структура проекта ==
[[Файл:Struktura.jpg|500px|center|thumb|Общая структура проекта в VSC]]
[[Файл:Struktura.jpg|500px|center|thumb|Общая структура проекта в VSC]]
[[Файл:vk_parser.jpg|500px|center|thumb|Cкрипт Python для работы с VK]]
[[Файл:vk_parser.jpg|500px|center|thumb|Cкрипт Python для работы с VK]]
[[Файл:Mainpy.jpg|500px|center|thumb|Скрипт работы с API токеном]]
[[Файл:Mainpy.jpg|500px|center|thumb|Скрипт работы с API токеном]]
[[Файл:Models.jpg|500px|center|thumb|Скрипт models.py]]
[[Файл:Models.jpg|500px|center|thumb|Скрипт models.py]]
[[Файл:Req.jpg|500px|center|thumb|Требования]]
[[Файл:Req.jpg|500px|center|thumb|Требования]]


<p>ui.html:</p>
'''ui.html:'''
 
<pre>
<pre style="background-color:#4c4c4c; color:#fff; padding:15px; border-radius:10px; overflow-x:auto;">
<!DOCTYPE html>
<!DOCTYPE html>
<html lang="ru">
<html lang="ru">
Строка 76: Строка 49:
     <title>Агрегатор ленты VK</title>
     <title>Агрегатор ленты VK</title>
     <style>
     <style>
         * {
         /* стили опущены для краткости */
            margin: 0;
            padding: 0;
            box-sizing: border-box;
        }
        body {
            font-family: 'Segoe UI', Tahoma, Geneva, Verdana, sans-serif;
            background: #f0f2f5;
            padding: 20px;
            color: #1a1a1a;
        }
        .container {
            max-width: 1200px;
            margin: 0 auto;
        }
        h1 {
            text-align: center;
            margin-bottom: 30px;
            color: #2c3e50;
        }
        .search-form {
            background: white;
            padding: 20px;
            border-radius: 12px;
            box-shadow: 0 2px 8px rgba(0,0,0,0.1);
            margin-bottom: 30px;
            display: flex;
            gap: 10px;
            flex-wrap: wrap;
            align-items: center;
        }
        .search-form input {
            flex: 2;
            padding: 12px 16px;
            border: 1px solid #ddd;
            border-radius: 8px;
            font-size: 16px;
            transition: 0.2s;
        }
        .search-form input:focus {
            outline: none;
            border-color: #3498db;
            box-shadow: 0 0 0 2px rgba(52,152,219,0.2);
        }
        .search-form button {
            background: #3498db;
            color: white;
            border: none;
            padding: 12px 24px;
            border-radius: 8px;
            cursor: pointer;
            font-size: 16px;
            font-weight: 500;
            transition: background 0.2s;
        }
        .search-form button:hover {
            background: #2980b9;
        }
        .reset-btn {
            background: #95a5a6;
        }
        .reset-btn:hover {
            background: #7f8c8d;
        }
        .posts-grid {
            display: grid;
            grid-template-columns: repeat(auto-fill, minmax(320px, 1fr));
            gap: 24px;
        }
        .post-card {
            background: white;
            border-radius: 12px;
            overflow: hidden;
            box-shadow: 0 2px 8px rgba(0,0,0,0.1);
            transition: transform 0.2s, box-shadow 0.2s;
        }
        .post-card:hover {
            transform: translateY(-4px);
            box-shadow: 0 8px 20px rgba(0,0,0,0.12);
        }
        .post-header {
            padding: 16px;
            background: #fafbfc;
            border-bottom: 1px solid #eef2f6;
            display: flex;
            justify-content: space-between;
            align-items: center;
        }
        .source-badge {
            font-size: 12px;
            font-weight: bold;
            background: #4c75a3;
            color: white;
            padding: 4px 8px;
            border-radius: 20px;
            text-transform: uppercase;
        }
        .date {
            font-size: 12px;
            color: #6c757d;
        }
        .post-content {
            padding: 16px;
        }
        .post-text {
            font-size: 14px;
            line-height: 1.5;
            color: #2c3e50;
            margin-bottom: 16px;
            word-break: break-word;
        }
        .post-footer {
            padding: 12px 16px;
            background: #fafbfc;
            border-top: 1px solid #eef2f6;
            display: flex;
            justify-content: space-between;
            align-items: center;
            font-size: 13px;
        }
        .stats {
            display: flex;
            gap: 16px;
        }
        .stats span {
            display: flex;
            align-items: center;
            gap: 4px;
            color: #5a6874;
        }
        .read-more {
            color: #3498db;
            text-decoration: none;
            font-weight: 500;
            font-size: 13px;
        }
        .read-more:hover {
            text-decoration: underline;
        }
        .empty-message {
            text-align: center;
            padding: 60px 20px;
            background: white;
            border-radius: 12px;
            color: #7f8c8d;
            font-size: 18px;
        }
        @media (max-width: 640px) {
            .search-form {
                flex-direction: column;
                align-items: stretch;
            }
            .search-form input, .search-form button {
                width: 100%;
            }
        }
     </style>
     </style>
</head>
</head>
<body>
<body>
     <div class="container">
     <main>
         <h1>📱 Агрегатор ленты VK</h1>
         <h1>📱 Агрегатор ленты VK</h1>
        <form class="search-form" method="get" action="/">
            <input type="text" name="q" placeholder="Поиск по тексту постов..." value="{{ q }}">
            <button type="submit">🔍 Найти</button>
            {% if q %}
            <a href="/" class="reset-btn">Сбросить</a>
            {% endif %}
        </form>


         <div class="search-form">
         <section class="posts-grid">
            <form method="get" action="/" style="display: contents;">
                <input type="text" name="q" placeholder="Поиск по тексту постов..." value="{{ q }}">
                <button type="submit">🔍 Найти</button>
                {% if q %}
                <a href="/" class="reset-btn" style="background:#95a5a6; padding:12px 24px; border-radius:8px; color:white; text-decoration:none; text-align:center;">Сбросить</a>
                {% endif %}
            </form>
        </div>
 
        <div class="posts-grid">
             {% for post in posts %}
             {% for post in posts %}
             <div class="post-card">
             <article class="post-card">
                 <div class="post-header">
                 <header class="post-header">
                     <span class="source-badge">{{ post.source.upper() }}</span>
                     <span class="source-badge">{{ post.source.upper() }}</span>
                     <span class="date">{{ post.date.strftime('%d.%m.%Y %H:%M') }}</span>
                     <time class="date">{{ post.date.strftime('%d.%m.%Y %H:%M') }}</time>
                 </div>
                 </header>
                 <div class="post-content">
                 <div class="post-content">
                     <div class="post-text">
                     <p class="post-text">{{ post.text[:350] }}{% if post.text|length > 350 %}...{% endif %}</p>
                        {{ post.text[:350] }}{% if post.text|length > 350 %}...{% endif %}
                    </div>
                 </div>
                 </div>
                 <div class="post-footer">
                 <footer class="post-footer">
                     <div class="stats">
                     <div class="stats">
                         <span>❤️ {{ post.likes }}</span>
                         <span>❤️ {{ post.likes }}</span>
Строка 266: Строка 79:
                     </div>
                     </div>
                     <a href="{{ post.url }}" target="_blank" class="read-more">Открыть пост →</a>
                     <a href="{{ post.url }}" target="_blank" class="read-more">Открыть пост →</a>
                 </div>
                 </footer>
             </div>
             </article>
             {% else %}
             {% else %}
             <div class="empty-message">
             <p class="empty-message">📭 Пока нет постов. Запустите сбор через <code>/fetch?group_id=1</code></p>
                📭 Пока нет постов. Запустите сбор через <code style="background:#f1f1f1; padding:4px 8px; border-radius:4px;">/fetch?group_id=1</code>
            </div>
             {% endfor %}
             {% endfor %}
         </div>
         </section>
     </div>
     </main>
</body>
</body>
</html>
</html>
</pre>
</pre>


== 💡 Рекомендации по работе ==
* '''Сбор постов:''' перейдите по адресу <code>/fetch?group_id=durov&count=10</code> (вместо <code>durov</code> укажите ID или короткое имя группы). Сервер запустит парсинг в фоне.
* '''Проверка результата:''' откройте главную страницу <code>/</code> или JSON-список <code>/posts</code>.
* '''Поиск:''' на главной странице введите слово и нажмите «Найти» — отфильтруются посты, содержащие это слово.
* '''Автоматизация:''' можно добавить планировщик (например, APScheduler) для регулярного сбора новых постов без ручного запуска.


<!-- Рекомендации по использованию -->
<div style="background: #eef2ff; border-radius: 12px; padding: 16px; margin: 10px 0;">
    <div class="card">
✅ '''Совет:''' для теста используйте публичную группу с большим количеством постов (например, <code>group_id=1</code> — официальный паблик ВК).
        <h2><span class="icon">💡</span> Рекомендации по работе</h2>
</div>
        <ul>
''Примечание: приведённый выше блок стилизован через inline-стили, но он не содержит <code>&lt;div&gt;</code> — использован тег <code>&lt;div&gt;</code> только для оформления цитаты. Если вы хотите полностью избежать <code>&lt;div&gt;</code>, замените его на <code>&lt;blockquote&gt;</code> с соответствующими атрибутами или просто оставьте текст без рамки.''
            <li><strong>Сбор постов:</strong> перейдите по адресу <code>/fetch?group_id=durov&count=10</code> (вместо <code>durov</code> укажите ID или короткое имя группы). Сервер запустит парсинг в фоне.</li>
            <li><strong>Проверка результата:</strong> откройте главную страницу <code>/</code> или JSON-список <code>/posts</code>.</li>
            <li><strong>Поиск:</strong> на главной странице введите слово и нажмите «Найти» — отфильтруются посты, содержащие это слово.</li>
            <li><strong>Автоматизация:</strong> можно добавить планировщик (например, APScheduler) для регулярного сбора новых постов без ручного запуска.</li>
        </ul>
        <div style="background: #eef2ff; border-radius: 12px; padding: 16px; margin-top: 10px;">
            <p style="margin: 0;">✅ <strong>Совет:</strong> для теста используйте публичную группу с большим количеством постов (например, <code>group_id=1</code> — официальный паблик ВК).</p>
        </div>
    </div>


    <!-- Выводы и итоги -->
== 📌 Выводы ==
    <div class="card">
* ✔️ Проект представляет собой законченный веб‑агрегатор ленты VK с современным бэкендом на FastAPI.
        <h2><span class="icon"></span> Выводы</h2>
* ✔️ Реализована полноценная работа с внешним API, асинхронный сбор данных и хранение в SQLite.
        <ul>
* ✔️ Интерфейс интуитивно понятен: карточки постов, поиск, кнопка сброса фильтров.
            <li>✔️ Проект представляет собой законченный веб‑агрегатор ленты VK с современным бэкендом на FastAPI.</li>
* ✔️ Архитектура позволяет легко добавить новые источники (Telegram, Twitter) — достаточно написать соответствующий парсер.
            <li>✔️ Реализована полноценная работа с внешним API, асинхронный сбор данных и хранение в SQLite.</li>
* ✔️ Проект может служить основой для более сложных аналитических систем: добавления графиков активности, прогнозирования времени публикаций, тэггинга и т.д.
            <li>✔️ Интерфейс интуитивно понятен: карточки постов, поиск, кнопка сброса фильтров.</li>
 
            <li>✔️ Архитектура позволяет легко добавить новые источники (Telegram, Twitter) — достаточно написать соответствующий парсер.</li>
----
            <li>✔️ Проект может служить основой для более сложных аналитических систем: добавления графиков активности, прогнозирования времени публикаций, тэггинга и т.д.</li>
🎓 ''Проект выполнен в рамках учебной задачи и демонстрирует навыки работы с FastAPI, SQLAlchemy, асинхронными запросами и веб‑интерфейсами.''
        </ul>
        <hr>
        <p style="font-style: italic; color: #475569;">🎓 Проект выполнен в рамках учебной задачи и демонстрирует навыки работы с FastAPI, SQLAlchemy, асинхронными запросами и веб‑интерфейсами.</p>
    </div>
</div>

Текущая версия от 14:46, 27 марта 2026

📰 Агрегатор ленты VK

FastAPI + SQLite + современный интерфейс для сбора и анализа постов ВКонтакте

🎯 Цели проекта

  • Автоматизация сбора данных — создать инструмент, который по запросу пользователя получает посты из заданной группы VK через официальный API.
  • Структурированное хранение — организовать хранение постов в SQLite с полями: дата, текст, лайки, комментарии, ссылка на оригинал.
  • Удобный интерфейс — реализовать веб-страницу с карточками постов, поиском по тексту и адаптивной вёрсткой.
  • Масштабируемость — создать архитектуру, позволяющую легко добавлять новые источники и расширять функциональность (графики, прогнозы).
  • Образовательная ценность — продемонстрировать навыки работы с FastAPI, асинхронными запросами, SQLAlchemy и веб-шаблонами.

⚙️ Как это работает

Сервер на FastAPI получает посты из указанной группы VK, сохраняет их в SQLite и отображает в веб‑интерфейсе с удобной фильтрацией. Весь сбор выполняется асинхронно в фоне, не блокируя интерфейс.

📦 Сбор постов
GET-запрос /fetch?group_id=...&count=20 запускает фоновую задачу. API VK возвращает текст, лайки, комментарии и дату — всё сохраняется в базу.
🗄️ Хранение
SQLAlchemy + SQLite. Таблица posts содержит поля: источник, внешний ID, дата, текст, ссылка, лайки, комментарии. Дубликаты исключаются.
🔍 Поиск и фильтрация
На главной странице есть поиск по тексту постов. Работает через SQL-оператор LIKE — мгновенно показывает только нужные записи.

🏠 Главная страница

После запуска сервера открывается интерфейс с карточками последних 50 постов. Каждая карточка содержит:

  • 🏷️ Метку источника (VK)
  • 📅 Дату публикации
  • 📝 Текст (обрезается до 350 символов)
  • ❤️ Количество лайков
  • 💬 Количество комментариев
  • 🔗 Ссылку на оригинальный пост ВКонтакте

Карточки адаптируются под мобильные устройства и имеют эффект наведения.

🔄 Структура проекта

Общая структура проекта в VSC
Cкрипт Python для работы с VK
Скрипт работы с API токеном
Скрипт models.py
Требования

ui.html: 

<!DOCTYPE html>
<html lang="ru">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>Агрегатор ленты VK</title>
    <style>
        /* стили опущены для краткости */
    </style>
</head>
<body>
    <main>
        <h1>📱 Агрегатор ленты VK</h1>
        <form class="search-form" method="get" action="/">
            <input type="text" name="q" placeholder="Поиск по тексту постов..." value="{{ q }}">
            <button type="submit">🔍 Найти</button>
            {% if q %}
            <a href="/" class="reset-btn">Сбросить</a>
            {% endif %}
        </form>

        <section class="posts-grid">
            {% for post in posts %}
            <article class="post-card">
                <header class="post-header">
                    <span class="source-badge">{{ post.source.upper() }}</span>
                    <time class="date">{{ post.date.strftime('%d.%m.%Y %H:%M') }}</time>
                </header>
                <div class="post-content">
                    <p class="post-text">{{ post.text[:350] }}{% if post.text|length > 350 %}...{% endif %}</p>
                </div>
                <footer class="post-footer">
                    <div class="stats">
                        <span>❤️ {{ post.likes }}</span>
                        <span>💬 {{ post.comments }}</span>
                    </div>
                    <a href="{{ post.url }}" target="_blank" class="read-more">Открыть пост →</a>
                </footer>
            </article>
            {% else %}
            <p class="empty-message">📭 Пока нет постов. Запустите сбор через <code>/fetch?group_id=1</code></p>
            {% endfor %}
        </section>
    </main>
</body>
</html>

💡 Рекомендации по работе

  • Сбор постов: перейдите по адресу /fetch?group_id=durov&count=10 (вместо durov укажите ID или короткое имя группы). Сервер запустит парсинг в фоне.
  • Проверка результата: откройте главную страницу / или JSON-список /posts.
  • Поиск: на главной странице введите слово и нажмите «Найти» — отфильтруются посты, содержащие это слово.
  • Автоматизация: можно добавить планировщик (например, APScheduler) для регулярного сбора новых постов без ручного запуска.

✅ Совет: для теста используйте публичную группу с большим количеством постов (например, group_id=1 — официальный паблик ВК).

Примечание: приведённый выше блок стилизован через inline-стили, но он не содержит <div> — использован тег <div> только для оформления цитаты. Если вы хотите полностью избежать <div>, замените его на <blockquote> с соответствующими атрибутами или просто оставьте текст без рамки.

📌 Выводы

  • ✔️ Проект представляет собой законченный веб‑агрегатор ленты VK с современным бэкендом на FastAPI.
  • ✔️ Реализована полноценная работа с внешним API, асинхронный сбор данных и хранение в SQLite.
  • ✔️ Интерфейс интуитивно понятен: карточки постов, поиск, кнопка сброса фильтров.
  • ✔️ Архитектура позволяет легко добавить новые источники (Telegram, Twitter) — достаточно написать соответствующий парсер.
  • ✔️ Проект может служить основой для более сложных аналитических систем: добавления графиков активности, прогнозирования времени публикаций, тэггинга и т.д.

🎓 Проект выполнен в рамках учебной задачи и демонстрирует навыки работы с FastAPI, SQLAlchemy, асинхронными запросами и веб‑интерфейсами.

Источник — http://digida.mgpu.ru/index.php?title=Агрегатор_ленты_VK&oldid=45616