Quello che probabilmente sta accadendo è che il tempo extra la prima volta che viene eseguita la query viene speso per compilare la query e sviluppare il piano di esecuzione. Questo rimane nella cache per un po' e poi succede di nuovo.
La soluzione è inserire la tua query in una stored procedure.
