.net 解決spider多次和重復(fù)抓取的方案
來源:易賢網(wǎng) 閱讀:693 次 日期:2015-01-28 14:49:01
溫馨提示:易賢網(wǎng)小編為您整理了“.net 解決spider多次和重復(fù)抓取的方案”,方便廣大網(wǎng)友查閱!

原因:

早期由于搜索引擎蜘蛛的不完善,蜘蛛在爬行動(dòng)態(tài)的url的時(shí)候很容易由于網(wǎng)站程序的不合理等原因造成蜘蛛迷路死循環(huán)。

所以蜘蛛為了避免之前現(xiàn)象就不讀取動(dòng)態(tài)的url,特別是帶?的url

解決方案:

1):配置路由

代碼如下:

routes.MapRoute("RentofficeList",

"rentofficelist/{AredId}-{PriceId}-{AcreageId}-{SortId}-{SortNum}.html",

new { controller = "Home", action = "RentOfficeList" },

new[] { "Mobile.Controllers" });

第一個(gè)參數(shù)是路由名稱

第二個(gè)參數(shù)是路由的Url模式,參數(shù)之間用{}-{}方式分隔

第三個(gè)參數(shù)是一個(gè)包含默認(rèn)路由的對象

第四個(gè)參數(shù)是應(yīng)用程序的一組命名空間

2):設(shè)置連接

<a href="@Url.Action("RentofficeList",new RouteValueDictionary { { "AredId",0},{"PriceId",0},{"AcreageId",0},{"SortId",0},{"SortNum",0}})">默認(rèn)排序</a>

對照上面的Url模式,依次寫入?yún)?shù)賦值

3):獲取參數(shù)

代碼如下:

int areaId = GetRouteInt("AredId");//獲取參數(shù)

/// <summary>

/// 獲得路由中的值

/// </summary>

/// <param name="key">鍵</param>

/// <param name="defaultValue">默認(rèn)值</param>

/// <returns></returns>

protected int GetRouteInt(string key, int defaultValue)

{

return Convert.ToInt32(RouteData.Values[key], defaultValue);

}

/// <summary>

/// 獲得路由中的值

/// </summary>

/// <param name="key">鍵</param>

/// <returns></returns>

protected int GetRouteInt(string key)

{

return GetRouteInt(key, 0);

}

根據(jù)上面3個(gè)步驟操作,顯示的url地址為:

這樣就可以避免靜態(tài)頁面上使用動(dòng)態(tài)參數(shù),顯示的頁面都為靜態(tài)頁面

更多信息請查看IT技術(shù)專欄

更多信息請查看網(wǎng)絡(luò)編程
易賢網(wǎng)手機(jī)網(wǎng)站地址:.net 解決spider多次和重復(fù)抓取的方案
由于各方面情況的不斷調(diào)整與變化,易賢網(wǎng)提供的所有考試信息和咨詢回復(fù)僅供參考,敬請考生以權(quán)威部門公布的正式信息和咨詢?yōu)闇?zhǔn)!

2025國考·省考課程試聽報(bào)名

  • 報(bào)班類型
  • 姓名
  • 手機(jī)號
  • 驗(yàn)證碼
關(guān)于我們 | 聯(lián)系我們 | 人才招聘 | 網(wǎng)站聲明 | 網(wǎng)站幫助 | 非正式的簡要咨詢 | 簡要咨詢須知 | 新媒體/短視頻平臺(tái) | 手機(jī)站點(diǎn) | 投訴建議
工業(yè)和信息化部備案號:滇ICP備2023014141號-1 云南省教育廳備案號:云教ICP備0901021 滇公網(wǎng)安備53010202001879號 人力資源服務(wù)許可證:(云)人服證字(2023)第0102001523號
云南網(wǎng)警備案專用圖標(biāo)
聯(lián)系電話:0871-65099533/13759567129 獲取招聘考試信息及咨詢關(guān)注公眾號:hfpxwx
咨詢QQ:1093837350(9:00—18:00)版權(quán)所有:易賢網(wǎng)
云南網(wǎng)警報(bào)警專用圖標(biāo)