成都seo博客

蔡江博客

CDN源站屏蔽搜索引擎爬蟲

作者:choi 日期:2020-03-18 23:55 瀏覽:

  前言

  自從全站使用阿里云CDN之后,網站訪問速度得到了很明顯的提升,同時阿里云CDN的穩定性也很棒。但最近這段時間發現,百度和谷歌的爬蟲開始爬我的源站了。這就有點麻煩了,要是不趕緊解決,給主站降權就不好了。

  思路

  因為蜘蛛爬了不該爬的東西,解決思路自然是限制蜘蛛的爬取。

  大概有三種方法可以限制蜘蛛的抓?。?.robots.txt文件

  robots文件用于限制搜索引擎蜘蛛的行為,在源站屏蔽蜘蛛主要是為了限制蜘蛛對同程序下不同域名的抓取。但是robots.txt文件沒有可以限制域名相關的參數,只能限制蜘蛛對當前域名下文件的抓取,此路不通。2.設置META標簽

  當訪客訪問的域名不是主站域名時,在網頁的<meta>標簽中植入限制蜘蛛活動的內容,實現起來比較簡單,只用修改一下模板中的header文件即可。3.識別蜘蛛的UA,在網站程序上做限制

  獲取訪客的User-Agent,如果是搜索引擎蜘蛛的UA,則跳轉至主站。也有一個問題,就是要去網上收集各家搜索引擎蜘蛛的UA,想著就累。

  人懶,就選擇設置META標簽的方法。

  實踐

  第一步,在程序中獲取訪客訪問的域名。這一歩就不做多介紹了,不同語言和環境有不同的方法獲取,PHP可以通過如下語句獲取訪問者當前訪問的域名:

  $_SERVER[‘SERVER_NAME’];

  第二步,如果不為主站域名,則輸出HEAD中的META標簽限制蜘蛛的活動:

  if ($_SERVER['SERVER_NAME'] != 'www.kungg.com' {

  echo '<META NAME="robots" CONTENT="noindex,nofollow">';


文章來源:未知
文章標題:CDN源站屏蔽搜索引擎爬蟲
本文地址:http://www.5837392.live/seo/11192.html
相關文章
操作TF-IDF算法提升關鍵詞排名 操作TF-IDF算法提升關鍵詞排名

很多做SEO的朋友應該都傳聞過TF-IDF算法,網上大部門的介紹都是圍繞算法的公式和介紹,他們文章雖然很專業,但對付SEO優化

淺析詞頻位置加權排序算法 淺析詞頻位置加權排序算法

詞頻位置加權排序算法:是一種通過關鍵詞出現的位置和頻率進行排序的方法,它是搜索引擎最基礎的排序算法之一。當用戶

百度颶風算法3.0,針對跨領域采集及站群問題 百度颶風算法3.0,針對跨領域采集及站群問題

百度站長平臺在2019年8月8日這天發布了颶風算法3.0,本次算法的更新主要為了維護健康的移動生態,保障用戶體驗,包管優質

刷百度相關參數詳解,刷相關搜索的實現方法 刷百度相關參數詳解,刷相關搜索的實現方法

百度相關搜索詞可以為我們帶來精準的流量,同時也可以為我們引流,因此需要做相關詞的人很多,今天就來聊聊關于如何刷

淺談:個人的影視站怎么做SEO優化 淺談:個人的影視站怎么做SEO優化

這幾天有個朋友建了一個電影網站,于是找到表哥,問個人的電影網站怎么做SEO。下面表哥就總結幾點經驗跟大家聊聊,希望

搜索用戶建議專區上線公告 搜索用戶建議專區上線公告

近期,百度搜索資源平臺上線了搜索用戶建議專區,該專區收集展示了搜索用戶在使用您網站時,對網站內容和體驗等方面提

百度APP移動搜索落地頁體驗白皮書5.0 百度APP移動搜索落地頁體驗白皮書5.0

1.導言 2.面向對象 3.名詞解釋 4.落地頁體驗規范 4.1. 信息獲取規范 4.1.1 加載速度 4.2.頁面瀏覽規范 4.2.1 排版布局 4.2.2 字號間

程序員:我終于知道post和get的區別 程序員:我終于知道post和get的區別

IT界知名的程序員曾說:對于那些月薪三萬以下,自稱IT工程師的碼農們,其實我們從來沒有把他們歸為我們IT工程師的隊伍。

企業網站建設如何選擇企業cms建站系統 企業網站建設如何選擇企業cms建站系統

企業網站主要用于向外界展示企業產品和形象,如果網站內容豐富,頁面美觀,用戶體驗好,將會為企業帶來潛在的用戶,現

網站建設之常用CMS系統的SEO優化功能分析 網站建設之常用CMS系統的SEO優化功能分析

小編是CMS建站老司機,有多年的經驗也總結出了不少的優化經驗,現在大部分的網站,尤其是單位性質的網站基本都是采用

  • 精彩推薦
  • 最近發布
分享到:
Copyright © 2016-2021 「蔡江博客」版權所有
蜀ICP備15028159號-6  
網站地圖 | 技術支持:點瑞網絡
多人扑克牌玩法大全 gpk钱龙捕鱼技巧 香港多多宝精选资料 广西南宁麻将群1元2元的 李逵劈鱼下载地址 二分彩先 闲来麻将源码 德甲17一18赛季积分 评论赚钱2元一条 850游戏下载官方网站 趋势股票分析软件