Aumenta il limite di memoria e il tempo di script del tuo php, perché stai eseguendo l'istruzione mysql tramite il server php.
Controlla il tuo file php.ini per questo vars:
memory_limit
max_execution_time
Ma comunque lo farei tramite il client mysql (terminale), controllare mysql doc
LOAD DATA LOCAL INFILE '/path/to/your/csv/file/csv_file.csv' INTO TABLE database_name.table_name FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n';
Documentazione MySQL - Carica sintassi del file di dati Documentazione PHP - Impostazioni di base di Ini