فایل llms.txt به دیده شدن در هوش مصنوعی کمک می‌کند؟ چهار تجربه، پژوهش ۳۰۰ هزار دامنه و موضع گوگل

فایل llms.txt در یک سال اخیر به یکی از داغ‌ترین بحث‌های سئو تبدیل شده است. ایده ساده است: یک فایل متنی در ریشه سایت که به مدل‌های زبانی بگوید محتوای مهم کجاست. اما آیا این فایل واقعاً سایت را در پاسخ‌های هوش مصنوعی دیده‌تر می‌کند؟

چهار گزارش عملی از لینکدین پاسخ‌های متفاوتی داده‌اند. ما آن‌ها را کنار بزرگ‌ترین پژوهش منتشرشده درباره این فایل و موضع رسمی گوگل گذاشتیم. خلاصه یافته این است: تا امروز، شاهدی از اثر فایل llms.txt بر ارجاع در پاسخ‌های AI پیدا نشده است؛ اما این به معنی بی‌فایده بودنش برای همه ایجنت‌ها هم نیست. این مطلب مرور شواهد است، نه آزمایش تخته سبز.

درس اصلی: سه پرسش را از هم جدا کنید

سه پرسش را جداگانه بیازمایید: آیا فایل درخواست می‌شود؟ آیا به کشف صفحه کمک می‌کند؟ آیا دیده‌شدن در پاسخ‌ها تغییر می‌کند؟ این‌ها سه نتیجه متفاوت هستند و یکی دیگری را ثابت نمی‌کند.

برای آشنایی با خود پیشنهاد، صفحه رسمی llms.txt را ببینید. در مقابل، گوگل در راهنمای ویژگی‌های AI جستجو می‌گوید برای AI Overviews و AI Mode الزامات معمول سئو کافی است. البته این راهنما فقط درباره جستجوی گوگل است، نه همه ایجنت‌ها.

بیشتر بخوانید: دیده‌شدن در AI فقط به سایت خودتان محدود نیست. دیده شدن در نتایج هوش مصنوعی از بیرون سایت

چهار تجربه عملی با فایل llms.txt

چهار گزارش زیر از زاویه‌های متفاوتی به این فایل نگاه کرده‌اند؛ دستور صریح، کشف خودکار، دیده‌شدن مشتری‌ها و یک نتیجه مثبت با توضیح دیگر.

لی دیویس: دستور صریح جواب داد، کشف معمولی نه

Lee Davies مسیری از llms.txt به یک مانیفست و سپس به پاسخ‌های ساخت‌یافته ساخت. وقتی صریحاً به دستیار گفت این مسیر را دنبال کند، دستیار توانست از آن استفاده کند. گزارش اصلی دیویس

اما وقتی یک پرسش معمولی مشتری بدون آن دستور پرسیده شد، دستیار فقط صفحه اصلی را خواند و متوقف شد. بنابراین نمایش موفق با راهنمایی صریح، با کشف خودجوش فرق دارد. این تفاوت برای هر کسب‌وکاری مهم است.

زوئی الیزابت بلاگ و تیم ریبوت: سه ماه بدون کشف از طریق فایل

Zoë Elizabeth Blogg آزمون دو دامنه‌ای تیم Reboot را گزارش می‌دهد. صفحه‌های تازه فقط در llms.txt ذکر شده بودند و هیچ لینک داخلی یا خارجی نداشتند. گزارش اصلی بلاگ

لاگ‌ها نشان دادند ربات‌ها در سه ماه از سایت‌ها بازدید کردند، اما نه از فایل و نه از صفحه‌های فهرست‌شده در آن. این یافته به همین شیوه کشف مربوط است. همه حالت‌های فایل لینک‌شده یا ایجنت تعاملی را نمی‌آزماید.

گروه GO MO: آزمون طولانی‌تر با مشتری‌ها، بدون افزایش قابل سنجش

GO MO Group یک آزمایش شش‌ماهه روی مشتری‌هایی از صنایع مختلف را گزارش می‌دهد. نتیجه این بود که پیاده‌سازی فایل مزیت قابل سنجشی در دیده‌شدن AI نداشت. گزارش اصلی GO MO

پست عمومی فقط نتیجه‌گیری و لینک یک گزارش مفصل‌تر را دارد. جزئیات کافی برای تخمین اثر قابل تشخیص در خود پست نیست. همچنین نمی‌توان نتیجه گرفت همه پلتفرم‌های AI این فایل را نادیده می‌گیرند.

هریستو استانچف: نتیجه مثبت با توضیح محتمل دیگر

Hristo Stanchev گزارش می‌دهد در دو سایت، راه‌اندازی پویا حدود سه برابر راه‌اندازی ایستا ارجاع AI گرفت. گزارش اصلی استانچف

او خودش صریحاً می‌گوید ثابت نشده که فایل علت بوده است. همان خط تولید، نقشه سایت، مدیریت آدرس‌های قدیمی و محتوای قابل خزش محصول را هم بهتر کرده بود. پس این یک مداخله ترکیبی تازگی محتواست، نه آزمایش خالص llms.txt.

داده بزرگ و موضع رسمی چه می‌گویند؟

چهار تجربه بالا کوچک‌اند و روش‌های متفاوتی دارند. یک پژوهش بزرگ و اظهارات دو کارشناس گوگل تصویر روشن‌تری می‌دهند.

SE Ranking؛ ۳۰۰ هزار دامنه، بدون رابطه با ارجاع

SE Ranking در ۷ نوامبر ۲۰۲۵ حدود ۳۰۰ هزار دامنه را بررسی کرد. فقط ۱۰٫۱۳ درصد دامنه‌ها فایل llms.txt داشتند و نرخ پذیرش در سایت‌های کم‌ترافیک و پرترافیک تقریباً یکسان بود. پژوهشگران با همبستگی اسپیرمن و مدل یادگیری ماشین XGBoost رابطه این فایل و تعداد ارجاع در پاسخ‌های AI را سنجیدند. پژوهش اصلی SE Ranking

نتیجه: هیچ رابطه‌ای پیدا نشد. جالب‌تر اینکه حذف متغیر llms.txt از مدل، دقت آن را بیشتر کرد؛ یعنی این متغیر فقط نویز اضافه می‌کرد. از ۵۰ دامنه‌ای که بیشترین ارجاع را داشتند، فقط یکی این فایل را داشت. البته این پژوهش همبستگی است و اثر فایل روی ایجنت‌های تعاملی را نمی‌سنجد.

گوگل؛ «ابتکار ما نیست»

گری ایلیس از گوگل در رویداد Search Central Live آسیا و اقیانوسیه در ۲۳ ژوئیه ۲۰۲۵ در بانکوک گفت llms.txt ابتکار گوگل نیست و قصد پذیرش آن را ندارند؛ به گزارش Search Engine Journal. او robots.txt را استاندارد اصلی کنترل خزنده‌ها دانست.

پیش‌تر هم جان مولر گفته بود هیچ سرویس AI اعلام نکرده از این فایل استفاده می‌کند و در لاگ سرور هم دیده می‌شود که حتی آن را درخواست نمی‌کنند. او آن را با متاتگ keywords مقایسه کرد؛ به گزارش Search Engine Journal. این موضع درباره جستجوی گوگل است؛ ابزارهای برنامه‌نویسی و ایجنت‌های دیگر ممکن است رفتار متفاوتی داشته باشند.

وجه مشترک تجربه‌ها و داده‌ها

درس مشترک این است که وجود فایل، دسترسی، کشف و انتخاب شدن مرحله‌های جداگانه‌ای هستند. دریافت موفق فایل فقط دسترسی را ثابت می‌کند. ثابت نمی‌کند دستیار خودش فایل را پیدا می‌کرد، از لینک‌هایش استفاده می‌کرد یا کسب‌وکار را توصیه می‌کرد.

گزارش مثبت استانچف پرسش را دقیق‌تر می‌کند، نه اینکه حلش کند. وقتی چند تغییر مفید هم‌زمان اتفاق بیفتد، یک نام فایل جذاب اعتبار بهبودهای معمولی جای دیگر سایت را می‌گیرد. جدول زیر شاهد لازم برای هر مرحله را نشان می‌دهد.

این شواهد چه چیزی را ثابت نمی‌کنند؟

تجربه‌ها آزمون‌های مشاهده‌ای کوچک یا ناقص توصیف‌شده هستند، با ربات‌ها، پرامپت‌ها و نقطه‌های پایانی متفاوت. علاوه بر این، رشته user-agent در لاگ سرور به‌تنهایی هویت خزنده را قطعی تأیید نمی‌کند.

پژوهش SE Ranking هم نبود رابطه با ارجاع را نشان می‌دهد، نه بی‌فایده بودن فایل برای هر کاربرد. در نتیجه شواهد نه از افزایش تضمینی دیده‌شدن پشتیبانی می‌کنند و نه از این ادعای کلی که هیچ ایجنتی هرگز از فایل استفاده نمی‌کند.

بیشتر بخوانید: سنجش دیده‌شدن در AI خودش روش دارد. رصد پاسخ‌های هوش مصنوعی؛ چرا یک پاسخ کافی نیست

آزمون پیشنهادی برای فایل llms.txt

اگر می‌خواهید اثر فایل llms.txt را در سایت خودتان بسنجید، این مراحل را دنبال کنید. روش پیشنهادی است و نتیجه‌ای از اجرای آن ادعا نمی‌کنیم:

1. یک فرضیه: فقط یک فرضیه را بیان کنید؛ کشف یک مجموعه صفحه کنترل‌شده، انجام کار توسط ایجنت یا تغییر در ارجاع. هر سه را در یک نمره موفقیت ترکیب نکنید.
2. خط پایه: لاگ‌های پایه و پاسخ‌های تکراری برای مجموعه ثابتی از پرامپت‌های مرتبط را ثبت کنید. درخواست خزنده، دریافت با درخواست کاربر و ابزارهای رصد را جدا کنید.
3. ثابت نگه داشتن بقیه: هنگام افزودن فایل، HTML، نقشه سایت، تناوب انتشار و تغییرهای دیگر را ثابت نگه دارید. اگر تازگی محتوا را هم می‌آزمایید، آن را مداخله جداگانه‌ای علامت بزنید.
4. سنجش جدا: درخواست فایل و بازدید بعدی صفحه‌ها را جدا از ارجاع و ترافیک ارجاعی دنبال کنید. پرامپت‌های با راهنمایی صریح را در گروه آزمون جداگانه نگه دارید.
5. گزارش صادقانه: یافته خنثی را هم با تعداد سایت، مدت و محدودیت‌های مشاهده گزارش کنید. تغییر مثبت را تا تکرار با کنترل مناسب موقت بدانید.

این آزمون به دسترسی به لاگ سرور نیاز دارد. اگر هاست اشتراکی دارید، معمولاً لاگ دسترسی از طریق کنترل پنل در دسترس است. نمودار زیر مراحل را نشان می‌دهد.

نکته کاربردی برای مدیران سایت

پیاده‌سازی یک فایل و اثبات مزیت آن دو کار متفاوت‌اند. ساختن llms.txt چند دقیقه طول می‌کشد، اما ادعای اثر آن به داده نیاز دارد و داده موجود تا امروز این اثر را نشان نداده است.

پس اگر فایل را ساختید، آن را جایگزین سئوی معمولی ندانید. صفحه‌های قابل خزش، ساختار روشن و محتوای مفید همچنان پایه کار هستند؛ چه برای گوگل، چه برای دستیارهای هوش مصنوعی.

این مطلب را چطور آماده کردیم؟

این مطلب یک مرور است، نه آزمایشی روی سایت‌های تخته سبز. چهار گزارش عمومی لینکدین را خواندیم و کنار پژوهش SE Ranking، مستندات گوگل و گزارش اظهارات کارشناسان گوگل گذاشتیم. منابع آخرین بار در ۴ مهر ۱۴۰۵ (۲۶ سپتامبر ۲۰۲۶) بررسی شدند.

به لاگ‌ها و داده خام گزارش‌دهندگان دسترسی نداشتیم؛ پس نتایج آن‌ها منتسب به خودشان است. پژوهش SE Ranking را مستقیم بررسی کردیم. اظهارات ایلیس و مولر را از گزارش Search Engine Journal نقل کرده‌ایم، نه از ویدیو یا پست اصلی.

سخن پایانی

فایل llms.txt معجزه نیست و داده‌های موجود هم اثری از آن بر ارجاع در پاسخ‌های AI نشان نمی‌دهند. با این حال، حکم قطعی «بی‌فایده برای همه» هم هنوز زود است. چهار تجربه و داده‌ها بیشتر از هر چیز یک درس روش‌شناسی دارند: دسترسی، کشف و انتخاب را جدا بسنجید.

پس اگر تصمیم به ساختن این فایل گرفتید، همراهش یک خط پایه هم بسازید. چند ماه بعد، داده خودتان بهتر از هر پست لینکدینی به شما می‌گوید ارزشش را داشت یا نه.