AI Crawler Allowlist

Üç kademeli itibar matrisi üzerinde 24'ten fazla AI tarayıcısını kapsayan eksiksiz bir User-Agent izin listesi ve kenar uygulama sistemi.

Ters DNS doğrulaması içeren, kullanıma hazır robots.txt, ai.txt, Cloudflare Worker ve nginx yapılandırmaları sunar; böylece doğru AI botlarına erişim verirken bant genişliği yiyenleri hız sınırlar veya engellersiniz. En önemlisi, User-Agent başlığını doğrulanmamış bir iddia olarak ele alır ve güven vermeden önce ters DNS ile resmi IP aralığı kontrollerini zorunlu kılar.

₺369 tek seferlik
Bir kit içine ekle →

Fiyatlara KDV (%20) dahildir. · Gerçek ajans işinden çıkarıldı · tek seferlik, kilit yok

  • Tür Skill
  • Kategori SEO & AEO
  • Teslimat E-posta · anında
  • Lisans Tek seferlik
Çalışma önizlemesi
forgehouse, ai-crawler-allowlist

Çalışmanın içinden · kara kutu yok

Satın almadan önce işin kendisini gör.

Skill'in AI crawler erişimi için kurduğu gerçek politika ve uygulama döngüsü şu. Kara kutu yok, yaptığı iş tam olarak bu:

  1. Bilinen her AI botu 3 katmanlı itibar matrisine yerleştirir: TIER 1 yüksek değer (GPTBot, ClaudeBot, PerplexityBot, Google-Extended ve 7 bot daha), TIER 2 koşullu (CCBot, Amazonbot, AppleBot-Extended), TIER 3 düşük değer veya şüpheli (Bytespider, Diffbot), toplam 24'ten fazla bot.
  2. Dört uygulama katmanını senkron yazar: robots.txt izin/yasak blokları, ai.txt eğitim opt-in/opt-out, edge worker veya nginx katman kuralları ve rate-limit bölgeleri (katmana göre dakikada 100, 30 ve 10 istek). Bir katmanın diğeriyle çelişmesi tam da önlediği klasik hatadır.
  3. Her UA iddiasını reverse-DNS sorgusu ve sağlayıcının resmi IP aralığı JSON'uyla doğrular; doğrulama geçmeyen bot header'a güvenilmek yerine TIER 3'e düşürülür.
  4. Gerçek zamanlı kullanıcı sorgu botlarını (ChatGPT-User, Claude-User, Perplexity-User) rate-limit'ten tamamen muaf tutar, çünkü orada bir 429 demek cevap bekleyen kullanıcının markanızı atıfta hiç görmemesi demek.
  5. Bytespider gibi bant genişliği yiyen, sıfır atıf değerli crawler'ları bloklar veya kısar; hassas yolları (/admin, /staging, /customer) tüm botlara kapalı tutar.
  6. Canlı doğrulamayı koşar (GPTBot UA'lı curl 200 dönmeli, Bytespider'lı curl 403 dönmeli) ve aylık DarkVisitors kayıt defteri diff'iyle yeni botlara origin'inize ulaşmadan katman ataması yapar.
Kullanım senaryoları · taktığında neler oluyor

Tek güç kaynağı. 6 hat dışarı.

ai-crawler-allowlist · çekirdek

çekirdek aktif · 6 hat

  1. ChatGPT, Claude ve Perplexity sizi alıntılayabilsin diye robots.txt ve ai.txt açın

    ✓ chatgpt, claude ve perpl…
  2. Büyük bir içerik yenilemesinden sonra AI yeniden taramasını hızlandırın

    ✓ büyük bir içerik yenilem…
  3. Bant genişliği yiyen ama alıntı getirmeyen agresif tarayıcıları engelleyin

    ✓ bant genişliği yiyen ama
  4. Gerçek zamanlı kullanıcı sorgu botlarının asla hız sınırına takılmasını önleyin

    ✓ gerçek zamanlı kullanıcı
  5. Bir AI motorunun sizi neden alıntılamadığını teşhis edin (kalmış Disallow kuralları)

    ✓ bir ai motorunun sizi ne…
  6. Ücretli veya kullanıcı üretimi içerikte AI eğitim çıkış tercihini uygulayın

    ✓ ücretli veya kullanıcı ü…
Kazanımlar · elinde kalanlar

Aldıkların sende kalır.

Zamanı ileri sar. Ne kaldığını izle.

Sonsuza dek

Sahip olmak tam olarak bu.

Kiralık yığın

yapay zekâ yazım aracı: abonelik

süresi doldu · erişim gitti

analiz paketi: abonelik

süresi doldu · erişim gitti

tasarım platformu: abonelik

süresi doldu · erişim gitti

(geriye bir şey kalmadı)

Senin ocağın

  1. Doğrulanmış botlara temiz, hızlı erişim vererek AI aramada alıntılanabilir olun

    lisans: kalıcı
  2. Zorunlu ters DNS doğrulaması ile User-Agent sahteciliğine karşı savunun

    lisans: kalıcı
  3. Dört sinyali (robots.txt, ai.txt, WAF, kenar) eşleyin ki politika kendiyle çelişmesin

    lisans: kalıcı
  4. Herkese aynı limit yerine botları kademeleyerek tekrar eden bant genişliği masrafını azaltın

    lisans: kalıcı

abonelikler biter · tapular bitmez

Ne içerir · eksiksiz manifest

Kutudaki her şey.

Bir parçayı eline al. Çalışırken izle.

Kademe 1 (yüksek değer), Kademe 2 (koşullu), Kademe 3 (engelle) üzerinden 24'ten fazla bot ana listesi

parça 01 / 06 · kutuda

6 parça · tek çalışan sistem · e-postayla anında teslim

Kimler için

Bu herkes için dövülmedi.

  • Araç kiralamayı sahip olmaya tercih ediyorsan, sana göre değil.
  • Yığınını senin yerine başkası yönetsin istiyorsan, sana göre değil.
  • Tahmin etmekten memnunsan, sana göre değil.
Hâlâ burada mısın? Güzel.

Bant genişliğini sahtecilere veya değersiz tarayıcılara kaptırmadan AI arama görünürlüğü isteyen site sahipleri ve SEO ekipleri için.

o zaman bu senin için dövüldü.

Hangi AI ile çalışır

Tasarımı gereği evrensel: her yapay zekada çalışır. Açık Agent Skills + MCP biçiminde gelir (Claude’da yerleşik); ChatGPT, Gemini, Cursor ve Copilot aynı dosyaları kendine uyarlar.

  • Claude Yerleşik biçim
  • ChatGPT Açık standartla uyarlanır
  • Gemini Açık standartla uyarlanır
  • Cursor Açık standartla uyarlanır
  • Copilot Açık standartla uyarlanır
Sorular · hâlâ havada

Aklındakini yakala.

hava temizlendi. seninle ocak arasında hiçbir şey kalmadı.
bir kıvılcım yakala: ocak cevaplar

  1. robots.txt ve ai.txt dosyalarını yerleştirmem yeterli mi, yoksa fazlası var mı?

    Dosyalar kullanıma hazırdır, yani ChatGPT, Claude ve Perplexity'ye erişim açmak doğrudan yerleştirmeyle olur. Agresif tarayıcılara fiilen müdahale eden kısım edge uygulama katmanıdır ve onu sitenizin önüne kurarsınız.

  2. robots.txt bir tarayıcının görmezden gelebileceği bir ricadır, peki bu kötü olanları nasıl durdurur?

    Edge uygulama katmanı tam da bu boşluğu kapatır, kibarca rica etmek yerine isteğe müdahale eder. robots ve ai.txt dosyaları niyeti bildirir; edge kuralları onu zorunlu kılar.

  3. İzin listesi gerçek bir ChatGPT tarayıcısını adını taklit edenden ayırır mı?

    İzin listesi üç katmanlı itibar matrisi ve User-Agent kimliğiyle çalışır. İddia edilen bir tarayıcının gerçekten o bot olduğunu, taklitçiye karşı kanıtlamak ise ayrı bir sınıflandırıcının işidir.

  4. Nasıl teslim edilir?

    Satın alımdan hemen sonra e-posta ile iletilir, kuruluma hazır, anında indirilir; bekleme yok.

  5. Tek seferlik mi, abonelik mi?

    Tek seferlik alımdır; abonelik veya gizli ücret yoktur. Fiyata KDV (%20) dahildir.

  6. İade alabilir miyim?

    Dijital ürün olduğu için indirildikten sonra iade yapılmaz. Bu yüzden ne içerdiğini ve kime uygun olduğunu burada açıkça paylaşıyoruz.