Sembra che tu stia sovrascrivendo gli elenchi invece di aggiungerli quando lo fai:
for site in sites:
items = [site.select('//h2').extract()]
item = [site.select('//h3').extract()]
meta = [site.select('//meta').extract()]
Penso che potresti voler cambiarlo in:
for site in sites:
items.append(site.select('//h2').extract())
item.append(site.select('//h3').extract())
meta.append(site.select('//meta').extract())