Su EF la prima che viene eseguita una query deve essere compilata anche se il programma è già rispettato.
Suggerirei di leggere questo http://www.codeproject.com/Articles/38174/How-to-improve-your-LINQ-query-performance-by-X e questo https://msdn .microsoft.com/en-us/library/vstudio/bb896297%28v=vs.100%29.aspx e riprovo per vedere se questo aiuta.
Buona fortuna!
