OleDb è più generico. Se in futuro dovessi passare a un tipo di database diverso, ci sono buone probabilità che abbia un driver Ole e non dovrai modificare molto codice.
D'altra parte, il driver nativo di Sql Server dovrebbe essere più veloce come hai detto e ha un supporto per i parametri migliore (i parametri possono usare nomi e non hanno essere in ordine).
Nella mia esperienza personale, non ho mai notato la differenza di velocità; Inoltre non sono riuscito a trovare nulla a sostegno dell'affermazione. Sospetto che il vantaggio in termini di prestazioni sia reale, ma che dovresti elaborare milioni di record prima di poter iniziare a misurarlo.
Quello che ho notato ha fatto una differenza significativa sono stati i messaggi di errore. Avevo problemi con una vecchia app OleDb e l'ho passata a SqlClient per disperazione. Ovviamente, non ha funzionato ancora, ma i migliori messaggi di errore hanno fornito abbastanza nuove informazioni che sono stato in grado di risolvere il problema.