Assegna prima il valore che leggi a una variabile, quindi lavora su quella variabile. Per questo specifichi le colonne della tua tabella di destinazione, ma una variabile al posto della colonna in cui vuoi sostituire.
load data local infile 'C:/filepath.../All_Data.csv'
replace into table all_data
fields terminated by ','
enclosed by '"'
escaped by '"'
lines terminated by "\r\n"
ignore 1 rows
(column_1, column_2, @variable1, @variable2, column_5)
set
Avg_Daily_Visitors = replace(@variable1,"\N",0),
pageviews = replace(@variable2,"\N", 0)
;