Mysql
 sql >> Database >  >> RDS >> Mysql

Python Scrapy:popola start_urls da mysql

Un approccio migliore consiste nell'overridere start_requests metodo.

Questo può interrogare il tuo database, proprio come populate_start_urls e restituisci una sequenza di Richiesta oggetti.

Dovresti solo rinominare il tuo populate_start_urls metodo per start_requests e modificare le seguenti righe:

for row in rows:
    yield self.make_requests_from_url(row[0])