Non puoi filtrare le righe con LOAD DATA INFILE, quindi filtrale pre-elaborando il file CSV o carica i dati in una tabella temporanea e inserisci le righe pertinenti nella tabella principale, qualcosa del tipo;
CREATE TEMP TABLE import LIKE my_main_table;
LOAD DATA LOCAL INFILE 'myfile.csv' into import;
INSERT INTO my_main_table SELECT * FROM import
WHERE column_x IN(VALID1, VALID2, VALID3)