Парсер учит агента работать с файлами, ошибками сети и схемой БД. Берите только открытые страницы, которые вам можно собирать.
Что собрать
- Скрипт: список URL → HTML или JSON → строки в таблицу.
- PostgreSQL: таблица с
url,title,fetched_at. - Пауза между запросами, нормальный User-Agent, обработка 429/5xx.
- Не логините агента в чужие кабинеты и не обходите защиту «чтобы получилось».
Как вести агента
«Напиши скрипт на Python: читает urls.txt, кладёт title в Postgres, секреты из .env». Потом отдельно: ретраи, идемпотентность по url.
@ на схему и сам скрипт. Если агент тянет Selenium «на всякий случай» — спросите, хватит ли обычного HTTP.
Проверка: два запуска подряд не плодят дубли.
Связанное
Контекст и узкий @ — в новости про контекст и в как начать. MCP браузера на проде с чужими кабинетами не включайте.