# Max Haber - Robots.txt

User-agent: *
Allow: /

# Ana sayfalar
Allow: /
Allow: /son-dakika
Allow: /gundem
Allow: /spor
Allow: /teknoloji
Allow: /ekonomi
Allow: /magazin
Allow: /saglik

# Haber sayfaları
Allow: /haber/
Allow: /yazar/

# Statik dosyalar
Allow: /styles.css
Allow: /script.js
Allow: /teknoloji.js
.js

# Engellenen alanlar
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Disallow: /*.json$
Disallow: /search?*
Disallow: /temp/
Disallow: /cache/

# Crawl-delay ayarı (saniye)
Crawl-delay: 1

# Sitemap konumu
Sitemap: https://maxhaber.com/sitemap.xml
Sitemap: https://maxhaber.com/sitemap-generator.php

# Özel bot kuralları
User-agent: Googlebot
Allow: /
Crawl-delay: 1

User-agent: Bingbot
Allow: /
Crawl-delay: 2

User-agent: Yandex
Allow: /
Crawl-delay: 2

# Sosyal medya botları
User-agent: facebookexternalhit/*
Allow: /

User-agent: Twitterbot
Allow: /

User-agent: LinkedInBot
Allow: /

# Arşiv botları
User-agent: ia_archiver
Allow: /

# Haber botları
User-agent: Googlebot-News
Allow: /
Allow: /haber/
Allow: /son-dakika

# Resim botları
User-agent: Googlebot-Image
Allow: /
Allow: /*.jpg
Allow: /*.jpeg
Allow: /*.png
Allow: /*.gif
Allow: /*.webp
Allow: /*.svg

# Video botları
User-agent: Googlebot-Video
Allow: /
Allow: /*.mp4
Allow: /*.webm
Allow: /*.mov

# Mobil botlar
User-agent: Googlebot-Mobile
Allow: /

# Kötü niyetli botlar
User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MegaIndex.ru
Disallow: /

# Host bilgisi
Host: maxhaber.com