Vedere la presentazione Introduzione a SQL Server Express Local DB Runtime:offre un'ottima panoramica.
L'enorme vantaggio di LocalDB è che è un vero SQL Server:è una versione speciale di SQL Server Express, ma sostanzialmente supporta tutto ciò che ha SQL Server "reale" - tipi di dati spaziali, stored procedure - lo chiami.
SQL Server Compact Edition, d'altra parte, è una versione molto ridotta:molte funzionalità e tipi di dati non sono supportati. È più piccolo e più "agile", ma manca molto di potenza.
Personalmente sceglierei SQL Server Express con il runtime LocalDB su SQL Server CE 4, a meno che tu non abbia specificamente bisogno delle dimensioni ridotte di SQL Server CE (ad esempio su un dispositivo mobile).
Guarda anche un confronto tra SQL Server CE 3.5, CE 4.0, SQL Server Express 2008 R2 e SQL Server 2012 Express LocalDB sull'eccellente Everything SQL Server Compact di ErikEJ sito web.