Questo è un problema noto. L'utilizzo di SMO rispetto a .Net 4.0 non è stato approvato o annunciato da Microsoft.
C'è un'opzione non supportata per farlo funzionare (aggiungilo al tuo app.config):
<?xml version="1.0" encoding="utf-8" ?>
<configuration>
<startup useLegacyV2RuntimeActivationPolicy="true">
<supportedRuntime version="v4.0"/>
</startup>
</configuration>