عدم دسترسی ربات گوگل به بعضی از فایل های js

[sir1]

با سلام
در گوگل وبمستر هر چند روز بخش blocked resources چند تا فایل جدید از پوشه wp-includes را نشان می دهد که بهش دسترسی ندارد و بعضی از ادرس های سایت برای گوگل بلوکه می شود.
حدود 400 ادرس توسط امارگیر histats بلاک شده بود که مجبور شدم امارگیر را بردارم. در قسمت robots.txt اصلا دسترسی ربات را به پوشه wp-includes و wp-content محدود نکردم ولی در تصویر زیر می بینید که به بعضی از فایل های js گیر داده.
1.png
محتویات robots.txt:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/dynamic_avia/enfold.css

Allow: /$
Sitemap: https://www.acgih.ir/sitemap_index.xml
Sitemap: https://www.acgih.ir/post-sitemap1.xml
Sitemap: https://www.acgih.ir/post-sitemap2.xml
Sitemap: https://www.acgih.ir/post-sitemap3.xml
Sitemap: https://www.acgih.ir/page-sitemap.xml
Sitemap: https://www.acgih.ir/attachment-sitemap1.xml
Sitemap: https://www.acgih.ir/attachment-sitemap2.xml
Sitemap: https://www.acgih.ir/attachment-sitemap3.xml
Sitemap: https://www.acgih.ir/category-sitemap.xml
Sitemap: https://www.acgih.ir/post_tag-sitemap1.xml
Sitemap: https://www.acgih.ir/post_tag-sitemap2.xml
Sitemap: https://www.acgih.ir/post_tag-sitemap3.xml
Sitemap: https://www.acgih.ir/post_tag-sitemap4.xml
Sitemap: https://www.acgih.ir/post_tag-sitemap5.xml
Sitemap: https://www.acgih.ir/post_tag-sitemap6.xml
Sitemap: https://www.acgih.ir/post_tag-sitemap7.xml
Sitemap: https://www.acgih.ir/post_tag-sitemap8.xml
Sitemap: https://www.acgih.ir/product-sitemap.xml
Sitemap: https://www.acgih.ir/product_cat-sitemap.xml 
Sitemap: https://www.acgih.ir/product_tag-sitemap.xml

[AtrafNet]

سلام
افزونه امنیتی در وردپرس نصب ندارید؟ پیشنهاد میکنم فایل htaccess. هم یه بررسی کنید.
حدسی که من میزنم اینه که افزونه امنیتی Crawl گوگل رو به اشتباه مشکوک شناسایی میکنه و اخطار عدم دسترسی 403 براش میفرسته.

بعد این لاین Allow برای چیه؟

Allow: /wp-content/uploads/dynamic_avia/enfold.css

اگر فکر میکنید که بعضی بخش ها با اینکه Disallow نشدن نیاز به Allow شدن دارن خب چرا کلاً پوشه wp-content و wp-includes رو Allow نکردید؟

Allow: /wp-content/*
Allow: /wp-includes/*

[sir1]

سلام
افزونه امنیتی در وردپرس نصب ندارید؟ پیشنهاد میکنم فایل htaccess. هم یه بررسی کنید.
حدسی که من میزنم اینه که افزونه امنیتی Crawl گوگل رو به اشتباه مشکوک شناسایی میکنه و اخطار عدم دسترسی 403 براش میفرسته.

بعد این لاین Allow برای چیه؟

Allow: /wp-content/uploads/dynamic_avia/enfold.css

اگر فکر میکنید که بعضی بخش ها با اینکه Disallow نشدن نیاز به Allow شدن دارن خب چرا کلاً پوشه wp-content و wp-includes رو Allow نکردید؟

Allow: /wp-content/*
Allow: /wp-includes/*

از هیچ افزونه امنیتی استفاده نمیکنم و هر چی هست بر میگرده به فایل های js قالب و js وردپرس.
من در فایل روبوت تعریف نکردم که حتما پوشه wp-content و wp-includes باید allow باشه. و به صورت پیشفرش اگه dissallow نباشه, ربات ها اون مسیرو allow میدانند.
در گوگل وبمستر برای فایل enfold.css هم خطا داده و حدود 600 ادرس سایت را بلاک کرده بود. اگه تویه فایل روبوت به صورت زیر تعریف کنم ارورها کم میشه و مشکلی نداره.

Allow: /wp-content/uploads/dynamic_avia/enfold.css

والان میبینید که برای فایل های js فایل wp-includes هم خطای عدم دسترسی به وسیله فایل ربات داده در حالی که من این مسیرو برای ربات های گوگل نبستم.
ینی اگر من این دو مسیر wp-content , wp-includes را کلا allow کنم این مشکلات حل میشه؟ در هیچ سایتی ندیدم که حتما باید این مسیرها را حتما براش تعریف کنی که allow باشه.

[AtrafNet]

از هیچ افزونه امنیتی استفاده نمیکنم و هر چی هست بر میگرده به فایل های js قالب و js وردپرس.
من در فایل روبوت تعریف نکردم که حتما پوشه wp-content و wp-includes باید allow باشه. و به صورت پیشفرش اگه dissallow نباشه, ربات ها اون مسیرو allow میدانند.
در گوگل وبمستر برای فایل enfold.css هم خطا داده و حدود 600 ادرس سایت را بلاک کرده بود. اگه تویه فایل روبوت به صورت زیر تعریف کنم ارورها کم میشه و مشکلی نداره.

Allow: /wp-content/uploads/dynamic_avia/enfold.css

والان میبینید که برای فایل های js فایل wp-includes هم خطای عدم دسترسی به وسیله فایل ربات داده در حالی که من این مسیرو برای ربات های گوگل نبستم.
ینی اگر من این دو مسیر wp-content , wp-includes را کلا allow کنم این مشکلات حل میشه؟ در هیچ سایتی ندیدم که حتما باید این مسیرها را حتما براش تعریف کنی که allow باشه.

منم می دونم نیاز به Allow کردن آدرس هایی که Disallow نشدن نیست و پیش فرض Allow هستن اما این مورد شما یکم عجیبه.

می خواین همین Allow کردن wp-content و wp-includes رو چند روز تست کنید ببینید بازم گوگل اخطار عدم دسترسی میده یا نه.

یا می تونید به صورت RegEx تمامی فایل های js و css رو Allow کنید:

Allow: /*.js$
Allow: /*.css$

[sir1]

منم می دونم نیاز به Allow کردن آدرس هایی که Disallow نشدن نیست و پیش فرض Allow هستن اما این مورد شما یکم عجیبه.

می خواین همین Allow کردن wp-content و wp-includes رو چند روز تست کنید ببینید بازم گوگل اخطار عدم دسترسی میده یا نه.

یا می تونید به صورت RegEx تمامی فایل های js و css رو Allow کنید:

Allow: /*.js$
Allow: /*.css$

این دو حالتی که گفتن را تست میکنم و نتیجه را اعلام میکنم