大神救救小白

花哥愛吉他

小白今天使用scrapy寫的一個簡單爬蟲 發(fā)現(xiàn)返回的unicode字符串處理出現(xiàn)問題

//例子中沒有編寫item
//spider文件為
import scrapy
class DmozSpider(scrapy.Spider):
        name = "dmoz"
        allowed_domains = ["dmoz.org"]
        start_urls = ["dmoz.org/Computers/Programming/Languages/Python/Books/"]
        def parse(self, response):
                for sel in response.xpath('//ul/li'):
                        title = sel.xpath('a/text()').extract()
                        print title
結果為：
[u'Top']
[u'Computers']
[u'Programming']
[u'Languages']
[u'Python']
...
說明  
title 是一個包含一個unicode字符串的列表
問題在后面： 為了提出出字符串，而不是一個列表，我用以下兩個方法：
1. 最后一句改為  print title[0]
結果提示錯誤：
            print title[0]
        exceptions.IndexError: list index out of range
2. 使用一個for循環(huán)
for a in title:
     print a
就可以  結果為：
Top
Computers
Programming
Languages
Python
....
請大神給小白解答 ,謝謝！

substr函數(shù)

ok = [u'Top']
print ok[0] # Top

empty = []
print empty[0]  # IndexError: list index out of range

花哥愛吉他

回復 2# substr函數(shù)
是的 我也知道這兩個結果
但為什么ok[0] 這種結果對于title就出現(xiàn)錯誤提示 明明title是有內(nèi)容的呀

substr函數(shù)

回復 3# 花哥愛吉他


請試驗下

if len(title):
  print title[0]
else:
  print "============ 這時 title 為空 沒有內(nèi)容的呀 =============="


看看結果

花哥愛吉他

回復 4# substr函數(shù)


   
仔細查看xpath返回的結果，發(fā)現(xiàn)在篩選內(nèi)容的時候，有些標簽沒有<a>xx</a> 或者 內(nèi)容為空  所以title有時候就返回空
當title空的時候，就拋出異常

最后解決辦法：
把不同xpath表達式放在不同函數(shù)中，然后用列表或者字典 仿造一個switch的結構  就可以根據(jù)不同情況進行不同處理     

謝謝師兄WL 和二樓大神