---
title: AI Crawler Allowlist
category: product
entity_type: skill
price: ₺369
canonical: https://forgehouse.ai/tr/skiller/ai-crawler-allowlist/
lang: tr
hreflang_alt: https://forgehouse.ai/skills/ai-crawler-allowlist/
last_updated: 2026-06-20
---

# AI Crawler Allowlist

> AI crawler User-Agent allowlist + robots.txt + ai.txt + Cloudflare WAF / nginx policy +…

Üç kademeli itibar matrisi üzerinde 24'ten fazla AI tarayıcısını kapsayan eksiksiz bir User-Agent izin listesi ve kenar uygulama sistemi. Ters DNS doğrulaması içeren, kullanıma hazır robots.txt, ai.txt, Cloudflare Worker ve nginx yapılandırmaları sunar; böylece doğru AI botlarına erişim verirken bant genişliği yiyenleri hız sınırlar veya engellersiniz. En önemlisi, User-Agent başlığını doğrulanmamış bir iddia olarak ele alır ve güven vermeden önce ters DNS ile resmi IP aralığı kontrollerini zorunlu kılar.

## Ne için kullanılır
- ChatGPT, Claude ve Perplexity sizi alıntılayabilsin diye robots.txt ve ai.txt açın
- Büyük bir içerik yenilemesinden sonra AI yeniden taramasını hızlandırın
- Bant genişliği yiyen ama alıntı getirmeyen agresif tarayıcıları engelleyin
- Gerçek zamanlı kullanıcı sorgu botlarının asla hız sınırına takılmasını önleyin
- Bir AI motorunun sizi neden alıntılamadığını teşhis edin (kalmış Disallow kuralları)
- Ücretli veya kullanıcı üretimi içerikte AI eğitim çıkış tercihini uygulayın

## Faydalar
- Doğrulanmış botlara temiz, hızlı erişim vererek AI aramada alıntılanabilir olun
- Zorunlu ters DNS doğrulaması ile User-Agent sahteciliğine karşı savunun
- Dört sinyali (robots.txt, ai.txt, WAF, kenar) eşleyin ki politika kendiyle çelişmesin
- Herkese aynı limit yerine botları kademeleyerek tekrar eden bant genişliği masrafını azaltın

## Ne içerir
- Kademe 1 (yüksek değer), Kademe 2 (koşullu), Kademe 3 (engelle) üzerinden 24'ten fazla bot ana listesi
- Bot başına izin/yasak ve lisans sinyalleri içeren hazır robots.txt ve ai.txt
- Kademeli jeton kovası hız sınırları ve DoH ters DNS ile Cloudflare Worker
- Aynı kademe matrisini yansıtan nginx map-block + limit_req yapılandırması
- Resmi IP aralığı çapraz kontrolü içeren ters DNS doğrulama kabuk betiği
- ChatGPT-User/Claude-User asla 429 almasın diye gerçek zamanlı kullanıcı sorgu botu atlaması

## Kimler için
Bant genişliğini sahtecilere veya değersiz tarayıcılara kaptırmadan AI arama görünürlüğü isteyen site sahipleri ve SEO ekipleri için.

## Nasıl çalışır
Skill'in AI crawler erişimi için kurduğu gerçek politika ve uygulama döngüsü şu. Kara kutu yok, yaptığı iş tam olarak bu:
1. Bilinen her AI botu 3 katmanlı itibar matrisine yerleştirir: TIER 1 yüksek değer (GPTBot, ClaudeBot, PerplexityBot, Google-Extended ve 7 bot daha), TIER 2 koşullu (CCBot, Amazonbot, AppleBot-Extended), TIER 3 düşük değer veya şüpheli (Bytespider, Diffbot), toplam 24'ten fazla bot.
2. Dört uygulama katmanını senkron yazar: robots.txt izin/yasak blokları, ai.txt eğitim opt-in/opt-out, edge worker veya nginx katman kuralları ve rate-limit bölgeleri (katmana göre dakikada 100, 30 ve 10 istek). Bir katmanın diğeriyle çelişmesi tam da önlediği klasik hatadır.
3. Her UA iddiasını reverse-DNS sorgusu ve sağlayıcının resmi IP aralığı JSON'uyla doğrular; doğrulama geçmeyen bot header'a güvenilmek yerine TIER 3'e düşürülür.
4. Gerçek zamanlı kullanıcı sorgu botlarını (ChatGPT-User, Claude-User, Perplexity-User) rate-limit'ten tamamen muaf tutar, çünkü orada bir 429 demek cevap bekleyen kullanıcının markanızı atıfta hiç görmemesi demek.
5. Bytespider gibi bant genişliği yiyen, sıfır atıf değerli crawler'ları bloklar veya kısar; hassas yolları (/admin, /staging, /customer) tüm botlara kapalı tutar.
6. Canlı doğrulamayı koşar (GPTBot UA'lı curl 200 dönmeli, Bytespider'lı curl 403 dönmeli) ve aylık DarkVisitors kayıt defteri diff'iyle yeni botlara origin'inize ulaşmadan katman ataması yapar.

## Sık sorulanlar
### robots.txt ve ai.txt dosyalarını yerleştirmem yeterli mi, yoksa fazlası var mı?
Dosyalar kullanıma hazırdır, yani ChatGPT, Claude ve Perplexity'ye erişim açmak doğrudan yerleştirmeyle olur. Agresif tarayıcılara fiilen müdahale eden kısım edge uygulama katmanıdır ve onu sitenizin önüne kurarsınız.

### robots.txt bir tarayıcının görmezden gelebileceği bir ricadır, peki bu kötü olanları nasıl durdurur?
Edge uygulama katmanı tam da bu boşluğu kapatır, kibarca rica etmek yerine isteğe müdahale eder. robots ve ai.txt dosyaları niyeti bildirir; edge kuralları onu zorunlu kılar.

### İzin listesi gerçek bir ChatGPT tarayıcısını adını taklit edenden ayırır mı?
İzin listesi üç katmanlı itibar matrisi ve User-Agent kimliğiyle çalışır. İddia edilen bir tarayıcının gerçekten o bot olduğunu, taklitçiye karşı kanıtlamak ise ayrı bir sınıflandırıcının işidir.

## Fiyat
₺369, tek seferlik, abonelik yok. KDV dahil.

İlgili rehber: [Yapay zekâ ile SEO nasıl yapılır](https://forgehouse.ai/tr/rehberler/yapay-zeka-ile-seo-nasil-yapilir/)