Что проанализируешь для разделения запросов от SEO-роботов и пользователей

Для разделения запросов от SEO-роботов и пользователей можно анализировать:

1. User-Agent – содержит информацию о боте (Googlebot, YandexBot и т.д.).
   javascript

   Копировать

   const isBot = /bot|googlebot|crawler|spider|robot|crawling/i.test(navigator.userAgent);

2. Поведение – роботы редко взаимодействуют с интерфейсом (клики, скролл).

3. Referrer – часто приходят с поисковых систем.

4. IP-адреса – поисковики публикуют диапазоны своих ботов.

5. Заголовки – например, X-Robots-Tag.

6. JavaScript-рендеринг – некоторые боты не выполняют JS.

Пример проверки в Node.js:

app.use((req, res, next) => {
  const isBot = req.headers['user-agent'].match(/bot|googlebot|crawler|spider|robot/i);
  if (isBot) { /* обработка для ботов */ }
  next();
});