عدم ایندکس یا دیر ایندکس شدن مطالب و صفحات وبسایت یا وبلاگ در گوگل همواره یکی از مشکلات اصلی مدیران وبسایتها، سئو مسترها و دیجیتال مارکترها می باشد.
راههای بسیاری وجود دارد که با رعایت آنها می توان شانس ایندکس شدن صفحات در گوگل را افزایش داد ولی با این حال بعضا عملی نمی باشد یا با تاخیر بسیاری همراه است.
در این مقاله علاوه بر معرفی نکات مورد نیازی که باید رعایت کنید تا وبسایت شما قابل کراول و ایندکس باشد، ابزار Google Indexing Api را نیز معرفی می کنیم.
برای استفاده از ابزار Google Indexing Api نیاز به برنامه نویسی اختصاصی دارید، اما شما می توانید با استفاده از پلتفرم ایندکس یار، به Api گوگل متصل شوید و صفحات خود را با سرعت بالا ایندکس نمایید.
فرآیند ظاهر شدن محتوا در نتایج جستجو
بعد از اینکه اقدام به ایجاد صفحه ای در سایت یا وبلاگ خود کردید، برای اینکه صفحه مورد نظر شما در نتایج جستجو ظاهر شود، باید 3 مرحله مهم را طی کند. این 3 مرحله به صورت زیر می باشند.
- کراول وبسایت یا صفحه (Crawling): در مرحله اول، ربات های گوگل اقدام به بررسی صفحه یا صفحات وبسایت شما میکنند که در اصطلاح به این عمل، خزیدن رباتهای گوگل میگوییم.
اگر وبسایت شما دارای اشکالات ساختاری نباشد، این مرحله با موفقیت طی خواهد شد. (در ادامه اشکالات ساختاری که ممکن است وجود داشته باشد را توضیح میدهیم.) - ایندکس صفحه (Indexing): بعد از اینکه صفحه مورد نظر با موفقیت کراول (Crawl) شد، فرآیند ثبت وبسایت یا همان ایندکس صفحه آغاز و انجام میشود. در این مرحله نیز اگر شما از محتوای کپی استفاده نکردهاید، یا اجازه ایندکس را مسدود نکرده باشید، صفحه با موفقیت ایندکس خواهد شد.
- نمایش در نتایج جستجو: در آخرین مرحله مطالب شما برای نمایش در نتایج جستجو آماده میشوند و اگر وبسایت شما دارای اعتبار و مطالب صفحه شما کیفیت بالایی داشته باشد، صفحه مورد نظر با سرعت بیشتری در نتایج جستجو ظاهر خواهد شد و رتبه مناسبی را برای خود دریافت میکند.
چه دلایلی باعث می شود که صفحات سایت ایندکس نشود؟
باید همیشه وبسایت خود را تحت آنالیز و بررسی قرار دهید تا اشکالات ساختاری آن را برطرف کنید. یکی از مهم ترین مضرات وجود اشکالات ساختاری در سایت، عدم ایندکس وبسایت یا صفحات در گوگل یا دیگر موتورهای جستجو میباشد.
حتما با دقت تمامی موارد توضیح داده شده را بررسی کنید تا هیچکدام از آنها را در وبسایت خود نداشته باشید.
زیرا داشتن حتی 1 اشکال جزئی نیز باعث عدم ایندکس صفحات وبسایت در گوگل میشود.
محدود کردن دسترسی ربات های گوگل
در صورتی که شما دسترسی ربات های گوگل برای خزش بر روی صفحات وبسایت را بسته باشید، ربات ها نمی توانند صفحات را کراول و ایندکس کنند. بنابراین هیچ شانسی برای نمایش داده شدن صفحات وبسایت در نتایج جستجو را ندارید.
در وردپرس دقت کنید که از مسیر تنظیمات / خواندن/ گزینه نمایش به موتورهای جستجو ، دسترسی ربات ها را مسدود نکرده باشید.
در سیستم های اختصاصی و همچنین خود وردپرس نیز از طریق سورس کد و یا فایل Robots.txt باید بررسی کنید تا دسترسی ربات ها را مسدود نکرده باشید.
برای اینکه بفهمید آیا دسترسی ربات های گوگل برای صفحه ای را مسدود کرده اید یا نه، بهترین و آسان ترین روش، بررسی صفحه از طریق سرچ کنسول میباشد.
برای این کار وارد سرچ کنسول وبسایت خود شوید و در قسمت Url Inspection یا همان Inspect Element، آدرس صفحه مورد نظر را وارد کرده و Enter را بزنید تا آنالیز و بررسی انجام شود.
در صورتی که دسترسی ربات ها را بسته باشید، خطایی به رنگ قرمز با عنوان مسدود بودن دسترسی ربات های گوگل دریافت میکنید.
استفاده از تگ نو ایندکس (Noindex) در صفحات
در صورتی که به صورت دستی در کدهای وبسایت خود از تگ noindex استفاده نکرده باشید، این احتمال وجود دارد که از طریق تنظیمات افزونه های سئو مانند رنک مث (Rank Math)، یوست سئو (Yoast Seo) و … اقدام به نو ایندکس کردن یک صفحه خاص یا همه صفحات کرده باشید.
برای این منظور حتما کانفیگ این افزونه ها را به دقت انجام دهید و موقع انتشار مطالب خود، هنگامی که تنظیمات سئو برای متا تایل و متا دسکریپشن را انجام میدهید، بررسی کنید که صفحه مورد نظر در حالت noindex نباشد.
در سیستم های اختصاصی هم حتما سورس صفحه را در مرورگر باز کنید و کلمه noindex را سرچ کنید. اگر در سورس این تگ را مشاهده نکردید، یعنی مشکلی وجود ندارد.
برای بررسی این مورد، باز هم می توانید از سرچ کنسول و ابزار Inspect Element استفاده کنید و در صورتی که از تگ نوایندکس استفاده کرده باشید، با رنگ قرمز به شما اخطار داده خواهد شد.
بررسی فایل htaccess و Robots.txt
این 2 فایل وظیفه ای مهم در وبسایت را دارند که از طریق آن ها می توان دستورهای قابل اجرا برای وبسایت را صادر نمود.
حتما سعی کنید در استفاده از این فایل ها نهایت دقت را داشته باشید و کدهایی داخل آن قرار ندهید که دسترسی ربات های گوگل و یا دیگر موتورهای جستجو را مسدود کنند.
بعضا کاربران به منظور محدود کردن آی پی خاصی یا محدود کردن دسترسی رباتهای ابزارهای آنالیز مانند: Ahrefs، Moz، Semrush و …، به اشتباه دسترسی رباتهای گوگل را نیز مسدود میکنند و این دلیلی برای عدم کراول و ایندکس نشدن وبسایت میباشد.
شاید بپرسید چه دلیلی وجود دارد که بعضی از افراد اقدام به مسدود کردن رباتهای ابزارهای آنالیز میکنند، علت عدم داشتن دیتای وبسایت توسط این ابزارها میباشد تا رقبا نتوانند اطلاعاتی در مورد وبسایت بدست بیاورند.
عدم داشتن آدرس واحد
در صورتی که وبسایت شما با حالتهای مختلفی در دسترس باشد، فرآیند کراول و ایندکس با مشکل و اختلال مواجه میشود.
بعضا مشاهده میکنیم که یک وبسایت هم با www و هم بدون www در دسترس است. شما فقط باید از یک حالت استفاده کنید و برای حل این مورد باید عملیات ریدایرکت را انجام دهید.
این موضوع برای وبسایتهایی که هم با http و هم https در دسترس هستند نیز صدق میکند.
عدم داشتن نقشه سایت (Site Map)
به طور کلی نمیتوان گفت که نداشتن سایت مپ باعث عدم ایندکس میشود، ولی داشتن آن باعث شناسایی سریع و آسان صفحات وبسایت شما توسط موتورهای جستجو میشود و تاثیر زیادی در کراول و ایندکس سریع وبسایت شما را دارد.
صفحات تکراری و یا مشابه هم
در صورتی که شما بیش از یک صفحه با محتویات و کلمه کلیدی یکسان و مشابه باشید، ممکن است توسط موتورهای جستجو ایندکس نشوند.
حتما سعی کنید صفحات تکراری را به یک صفحه واحد و مهم ریدایرکت یا Canonical کنید تا مشکلی از این بابت پیش نیاید.
خطا در کدهای JavaScript و Ajax
در صورتی که این کدها داراش اشکالات ساختاری یا حجم بالایی باشد، به صورت مستقیم و غیرمستقیم باعث ایجاد بار اضافی بر روی بودجه کراول سایت شما میشود و یکی از دلایل با اهمیت متوسط در عدم کراول و ایندکس میباشد.
پنالتی شدن سایت
در صورتی که سایت شما به دلایل مختلفی توسط موتورهای جستجو به حالت Deindexed در بیاید، ایندکس شدن صفحات سایت شما در عمل غیرممکن خواهد شد و بایستی با یک متخصص سئو بسیار با تجربه مشورت کرده و علت را شناسایی و سعی در برطرف کردن آن داشته باشید.
تازه تاسیس بودن سایت
در صورتی که سایت شما تازه تاسیس باشد، مدتی طول میکشد که تا محتوا و موضوع وبسایت شما توسط موتورهای جستجو شناسایی شود.
در این مدت بهتر است مطالب و صفحات با کیفیت و جامعی تولید کنید، ایرادهای ساختاری را برطرف کرده و سپس منتظر شناسایی، کراول و ایندکس شدن صفحات باشید.
هاست و سرور
انتخاب یک هاست مطمئن و با کیفیت همیشه باید جز اولویتهای یک مدیر وبسایت باشد. زیرا بعضی هاستها دارای کانفیگ درستی نمیباشند و باعث میشود دسترسی رباتهای گوگل یا دیگر موتورهای جستجو با محدودیت همراه باشد.
همواره سعی کنید از جایی معتبر و شناخته شده که مطمئن هستید قبلا مشکلی در این مورد نداشته است، هاست و سرور تهیه کنید.
مورد بعدی قطعیهای مکرر هاست و سرور میباشد که باعث میشود بعضا در زمانی که رباتها برای کراول وبسایت مراجعه میکنند، با نبود دسترسی به محتوا مواجه شوند و سایت شما شانس کراول شدن را از دست بدهد.
حتما هاستی با آپتایم بالا انتخاب و تهیه کنید تا احتمال بروز همچین مشکلاتی را به حداقل برسانید.
راهکارهای ایندکس صفحات در گوگل و افزایش سرعت آن
در صورتی که وبسایت خود را کامل بررسی و آنالیز کردید و مشکلات احتمالی را برطرف کردید، حالا میتوان با رعایت نکاتی که توضیح داده میشود و یا استفاده از ایندکس یار برای ایندکس سریع از طریق Google indexing api، سرعت ایندکس صفحات خود را بالا ببرید.
لطفا سعی کنید همه راهکارهای توضیح داده شده را با دقت مطالعه کرده و به کار ببرید.
ایندکس سریع با پلتفرم ایندکس یار
همانطور که قبلا توضیح دادیم، ایندکس یار به سیستم Google indexing api متصل است و به عنوان رابطی بین سایت شما و api گوگل عمل میکند.
سرعت ایندکس توسط این روش بسیار بالا میباشد (درصورتی که سایت یا شبکه شما دارای اشکال ساختاری نباشد) و شما میتوانید با خیال راحت درخواست ایندکس سریع را برای صفحه مورد نظر خود ثبت کنید.
ایندکس یار قابل استفاده برای انواع وبسایتها و شبکههای مختلف داخلی و خارجی که قابل اتصال به سرچ کنسول را دارند، میباشد که در دسته بندی بازاریابی محتوا لیست کامل وبسایتهای قابل اتصال به سرچ کنسول را درج کرده و در حال بروزرسانی این لیست نیز میباشیم.
برای مشاهده توضیحات تکمیلی در مورد ایندکس سریع به صفحه اول ایندکس یار مراجعه کنید.
انتشار منظم محتوا در سایت
سعی کنید برنامه زمانی و هفتگی مشخصی برای انتشار محتوا و همچنین بروزرسانی آنها در سایت خود داشته باشید.
رباتهای خزنده بسیار هوشمند هستند و متوجه بروزرسانیهای روزانه و حتی ساعت مشخص آنها نیز میشوند.
پس به این نظم و استمرار حتما اهمیت دهید تا شاهد ایندکس سریع تر محتوا و صفحات به صورت طبیعی باشید. (هرچند باز هم به پای سرعت ایندکس بالای api گوگل نمیرسد)
تولید محتوای یونیک و اختصاصی
بارها مشاهده میکنیم که بعضی افراد فعال در حوزه وبمستری و سئو، ادعا میکنند که گوگل وب فارسی را به حال خود رها کرده است.
اما این ادعا بیشتر برای سواستفاده از عدم اطلاعات کافی کاربران میباشد و شما حتما باید به کیفیت و اختصاصی بودن محتواهای خود توجه کامل داشته باشید.
گوگل برای محتوای جدید و یا بروز شده اهمیت بسیاری قائل است و امتیاز ویژهای برای همچین وبسایتهایی در نظر میگیرد.
لینک به نقشه سایت یا همان سایت مپ
در صورتی که بررسی کردید و سایت مپ سایتتان بدون ارور بود، لینک آن را در فوتر سایت خود درج کنید تا موتورهای جستجو آن را شناسایی کنند.
همیشه سئوکارهای مطرح، این روش را برای ایندکس سریع توصیه میکنند و در وبسایتهای تحت مدیریت خود از آن استفاده میکنند.
همچنین در سرچ کنسول و پیشخوانهای مدیریت وبسایت در موتورهای جستجو، آدرس نقشه سایت خود را ثبت کنید تا به صورت خودکار نیز شناسایی شود.
انتشار لینک صفحات در شبکههای اجتماعی
قدرت، کیفیت و اهمیت شبکههای اجتماعی قوی بر هیچکس پوشیده نیست. سعی کنید لینک صفحه مورد نظر خود را با یک توضیح کوتاه، هشتگهای مرتبط با کلمه کلیدی صفحه و هشتگ اختصاصی برند (نام سایت)، در شبکههای اجتماعی با ارزش منتشر یا همان شئر (Share) کنید.
یکی دیگر از ترفندهای بسیار خاص، درج لینک صفحات خود با یک توضیح 1 سطری در کامنت پیجهای مرتبط و مشهور توئیتر، فیسبوک و دیگر شبکههای مهم میباشد.
مطالب ترند مرتبط با موضوع خود را پیدا کنید و در کامنتهای آنها به درج لینک صفحه بپردازید. همه این روشها در ایندکس سریع صفحات، میتوانند تاثیر بالایی داشته باشند.
افزایش سرعت لود وبسایت
سعی کنید وبسایت خود را از لحاظ طراحی در بهترین حالت ممکن و سرعت لود زیر 3 ثانیه قرار دهید. این کار نیاز به دانش برنامه نویسی دارد که باید از برنامه نویس خود کمک بخواهید.
گوگل و موتورهای جستجو به 2 دلیل به سرعت لود اهمیت میدهند که هر دو دلیل، تاثیر بالایی در ایندکس سریع محتوا دارند.
1- به دلیل بودجه خزشی که موقع کراول کردن برای هر وبسایت اختصاص داده میشود. (در قسمت Settings/Crawl stats در سرچ کنسول گوگل میتوانید گزارشهای این مورد را مشاهده کنید.)
2- رضایت کاربران و بازدیدکنندگان وبسایت که اگه سرعت لود بالا باشد، منتظر نمانده و وبسایت شما را ترک میکنند که این اقدام آنها یک امتیاز منفی برای سایت میباشد.
درج فید سایت در فوتر
لینک صفحات مهم سایت مانند دسته بندیها و برچسبهای پربازدید و … را همراه با آخرین مقالات یا محصولات منتشر شده، در فوتر سایت درج کنید تا قابل شناسایی و کراول از طریق همه صفحات در دسترس سایت باشد.
چون رباتها با مشاهده لینک به صفحهای دیگر، آن را دنبال کرده و در اصطلاح کراول میکنند.
به همین خاطر اگر صفحه شما قابل ایندکس باشد یا مانعی برای ایندکس نباشد، خیلی سریع شناسایی و ایندکس سریع انجام میشود.
نسخه موبایل سالم و بهینه
با گسترش استفاده از تلفنهای هوشمند و درصد بالای بازدید از وبسایتها با موبایل و تبلت، داشتن نسخه موبایل سالم و بهینه از لحاظ ظاهری (اندازهها و چینش استاندارد) و سرعت لود بسیار مناسب، حیاطی و بسیار مهم است و موتورهای جستجو ترجیح میدهند ابتدا برای سایتهای بهینه برای موبایل، ایندکس سریع را انجام دهند.
افزایش اعتبار سایت
اعتبار سایت تنها با محتوای با کیفیت افزایش پیدا نمیکنه و نیاز است که برای وبسایت خود لینک سازی نیز انجام دهید.
در شبکههای معتبر داخلی و خارجی به ایجاد پروفایل بپردازید و لینک سایت خود را در آن درج کنید.
در سایتهای بزرگ و معتبر اقدام به درج رپورتاژ دائمی با لینک به وبسایت خود کنید و با دریافت اعتبار بیشتر از طریق لینک سازی، سرعت ایندکس را افزایش داده و همچنین رتبه گوگل خود را نیز بهبود ببخشید.
نتیجهگیری و توصیه مهم برای ایندکس سریع
در این مقاله جامع سعی کردیم تمامی بایدها و نبایدهای ایندکس در گوگل و دیگر موتورهای جستجو را توضیح دهیم.
در صورتی که تمام نکات را رعایت کرده باشید، به صورت طبیعی با توجه به معیارهای موتورهای جستجو، صفحات شما سریعا ایندکس میشوند.
یکی مهمترین دلایلی که مدیران وبسایتها تمایل به ایندکس سریع صفحات خود دارند، جلوگیری از کپی محتوا توسط وبسایتها و افراد سودجو میباشد.
با این کار شما با سرعت بالایی ایندکس صفحه را انجام میدهید و در صورتی که محتوای صفحه شما کپی گردید، میتوانید فورا آن را گزارش کنید و به حق خود برسید.
همچنین با ایندکس سریع، شما میتوانید سرعت بالایی در ارائه محتوا و محصولات خود به بازدیدکنندگان داشته باشید.
چون بعضی مطالب و محصولات جز ترندهای وب هستند و نیاز است که هرچه سریع تر نسبت به رقبای دیگر، صفحه خود را ایندکس کنید تا بعد از آن در صورت صلاحدید موتورهای جستجو، قابل مشاهده در نتایج جستجو باشد.
امیدواریم این مقاله که به صورت اختصاصی توسط تیم تحریریه ایندکس یار نگراش و آماده شده است مورد رضایت شما کاربران عزیز قرار بگیرد.
ما همواره سعی خواهیم کرد تا محتوای این صفحه را بروز نگه داشته و راهنماییهای مناسبی برای حل مشکل ایندکس نشدن وبسایت و همچنین ایندکس سریع وبسایت و شبکههای شما ارائه کنیم.
2 پاسخ
مقاله خیلی خوبی بود، من همیشه سعی میکنم سرعت سایت رو بهینه کنم و با همین ترفند اکثرا مشکل ایندکسم حل میشه اما یکی از توضیحات خوبتون هم مربوط به شبکه های اجتماعی بود که تو کلاسای مخفی سئو فقط یاد میدن که شما اینو رایگان در اختیار کاربرا گذاشتید که واقعا باید تشکر کرد از این حسن نیت مجموعه شما
عالی هستید واقعا
از مقاله خوبتون ممنونم.