Агрегатор ленты VK
Материал из Поле цифровой дидактики
📰 Агрегатор ленты VK
FastAPI + SQLite + современный интерфейс для сбора и анализа постов ВКонтакте
🎯 Цели проекта
- Автоматизация сбора данных — создать инструмент, который по запросу пользователя получает посты из заданной группы VK через официальный API.
- Структурированное хранение — организовать хранение постов в SQLite с полями: дата, текст, лайки, комментарии, ссылка на оригинал.
- Удобный интерфейс — реализовать веб-страницу с карточками постов, поиском по тексту и адаптивной вёрсткой.
- Масштабируемость — создать архитектуру, позволяющую легко добавлять новые источники и расширять функциональность (графики, прогнозы).
- Образовательная ценность — продемонстрировать навыки работы с FastAPI, асинхронными запросами, SQLAlchemy и веб-шаблонами.
- 🏷️ Метку источника (VK)
- 📅 Дату публикации
- 📝 Текст (обрезается до 350 символов)
- ❤️ Количество лайков
- 💬 Количество комментариев
- 🔗 Ссылку на оригинальный пост ВКонтакте
- Сбор постов: перейдите по адресу
/fetch?group_id=durov&count=10(вместоdurovукажите ID или короткое имя группы). Сервер запустит парсинг в фоне. - Проверка результата: откройте главную страницу
/или JSON-список/posts. - Поиск: на главной странице введите слово и нажмите «Найти» — отфильтруются посты, содержащие это слово.
- Автоматизация: можно добавить планировщик (например, APScheduler) для регулярного сбора новых постов без ручного запуска.
- ✔️ Проект представляет собой законченный веб‑агрегатор ленты VK с современным бэкендом на FastAPI.
- ✔️ Реализована полноценная работа с внешним API, асинхронный сбор данных и хранение в SQLite.
- ✔️ Интерфейс интуитивно понятен: карточки постов, поиск, кнопка сброса фильтров.
- ✔️ Архитектура позволяет легко добавить новые источники (Telegram, Twitter) — достаточно написать соответствующий парсер.
- ✔️ Проект может служить основой для более сложных аналитических систем: добавления графиков активности, прогнозирования времени публикаций, тэггинга и т.д.
⚙️ Как это работает
Сервер на FastAPI получает посты из указанной группы VK, сохраняет их в SQLite и отображает в веб‑интерфейсе с удобной фильтрацией. Весь сбор выполняется асинхронно в фоне, не блокируя интерфейс.
📦 Сбор постов
GET-запрос /fetch?group_id=...&count=20 запускает фоновую задачу. API VK возвращает текст, лайки, комментарии и дату — всё сохраняется в базу.
🗄️ Хранение
SQLAlchemy + SQLite. Таблица posts содержит поля: источник, внешний ID, дата, текст, ссылка, лайки, комментарии. Дубликаты исключаются.
🔍 Поиск и фильтрация
На главной странице есть поиск по тексту постов. Работает через SQL-оператор LIKE — мгновенно показывает только нужные записи.
🏠 Главная страница
После запуска сервера открывается интерфейс с карточками последних 50 постов. Каждая карточка содержит:
Карточки адаптируются под мобильные устройства и имеют эффект наведения.
🔄 Структура Проекта
ui.html:
<!DOCTYPE html>
<html lang="ru">
<head>
<meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<title>Агрегатор ленты VK</title>
<style>
* {
margin: 0;
padding: 0;
box-sizing: border-box;
}
body {
font-family: 'Segoe UI', Tahoma, Geneva, Verdana, sans-serif;
background: #f0f2f5;
padding: 20px;
color: #1a1a1a;
}
.container {
max-width: 1200px;
margin: 0 auto;
}
h1 {
text-align: center;
margin-bottom: 30px;
color: #2c3e50;
}
.search-form {
background: white;
padding: 20px;
border-radius: 12px;
box-shadow: 0 2px 8px rgba(0,0,0,0.1);
margin-bottom: 30px;
display: flex;
gap: 10px;
flex-wrap: wrap;
align-items: center;
}
.search-form input {
flex: 2;
padding: 12px 16px;
border: 1px solid #ddd;
border-radius: 8px;
font-size: 16px;
transition: 0.2s;
}
.search-form input:focus {
outline: none;
border-color: #3498db;
box-shadow: 0 0 0 2px rgba(52,152,219,0.2);
}
.search-form button {
background: #3498db;
color: white;
border: none;
padding: 12px 24px;
border-radius: 8px;
cursor: pointer;
font-size: 16px;
font-weight: 500;
transition: background 0.2s;
}
.search-form button:hover {
background: #2980b9;
}
.reset-btn {
background: #95a5a6;
}
.reset-btn:hover {
background: #7f8c8d;
}
.posts-grid {
display: grid;
grid-template-columns: repeat(auto-fill, minmax(320px, 1fr));
gap: 24px;
}
.post-card {
background: white;
border-radius: 12px;
overflow: hidden;
box-shadow: 0 2px 8px rgba(0,0,0,0.1);
transition: transform 0.2s, box-shadow 0.2s;
}
.post-card:hover {
transform: translateY(-4px);
box-shadow: 0 8px 20px rgba(0,0,0,0.12);
}
.post-header {
padding: 16px;
background: #fafbfc;
border-bottom: 1px solid #eef2f6;
display: flex;
justify-content: space-between;
align-items: center;
}
.source-badge {
font-size: 12px;
font-weight: bold;
background: #4c75a3;
color: white;
padding: 4px 8px;
border-radius: 20px;
text-transform: uppercase;
}
.date {
font-size: 12px;
color: #6c757d;
}
.post-content {
padding: 16px;
}
.post-text {
font-size: 14px;
line-height: 1.5;
color: #2c3e50;
margin-bottom: 16px;
word-break: break-word;
}
.post-footer {
padding: 12px 16px;
background: #fafbfc;
border-top: 1px solid #eef2f6;
display: flex;
justify-content: space-between;
align-items: center;
font-size: 13px;
}
.stats {
display: flex;
gap: 16px;
}
.stats span {
display: flex;
align-items: center;
gap: 4px;
color: #5a6874;
}
.read-more {
color: #3498db;
text-decoration: none;
font-weight: 500;
font-size: 13px;
}
.read-more:hover {
text-decoration: underline;
}
.empty-message {
text-align: center;
padding: 60px 20px;
background: white;
border-radius: 12px;
color: #7f8c8d;
font-size: 18px;
}
@media (max-width: 640px) {
.search-form {
flex-direction: column;
align-items: stretch;
}
.search-form input, .search-form button {
width: 100%;
}
}
</style>
</head>
<body>
<div class="container">
<h1>📱 Агрегатор ленты VK</h1>
<div class="search-form">
<form method="get" action="/" style="display: contents;">
<input type="text" name="q" placeholder="Поиск по тексту постов..." value="{{ q }}">
<button type="submit">🔍 Найти</button>
{% if q %}
<a href="/" class="reset-btn" style="background:#95a5a6; padding:12px 24px; border-radius:8px; color:white; text-decoration:none; text-align:center;">Сбросить</a>
{% endif %}
</form>
</div>
<div class="posts-grid">
{% for post in posts %}
<div class="post-card">
<div class="post-header">
<span class="source-badge">{{ post.source.upper() }}</span>
<span class="date">{{ post.date.strftime('%d.%m.%Y %H:%M') }}</span>
</div>
<div class="post-content">
<div class="post-text">
{{ post.text[:350] }}{% if post.text|length > 350 %}...{% endif %}
</div>
</div>
<div class="post-footer">
<div class="stats">
<span>❤️ {{ post.likes }}</span>
<span>💬 {{ post.comments }}</span>
</div>
<a href="{{ post.url }}" target="_blank" class="read-more">Открыть пост →</a>
</div>
</div>
{% else %}
<div class="empty-message">
📭 Пока нет постов. Запустите сбор через <code style="background:#f1f1f1; padding:4px 8px; border-radius:4px;">/fetch?group_id=1</code>
</div>
{% endfor %}
</div>
</div>
</body>
</html>
💡 Рекомендации по работе
✅ Совет: для теста используйте публичную группу с большим количеством постов (например, group_id=1 — официальный паблик ВК).
Выводы
🎓 Проект выполнен в рамках учебной задачи и демонстрирует навыки работы с FastAPI, SQLAlchemy, асинхронными запросами и веб‑интерфейсами.
