これは既知の問題です。 .Net 4.0に対するSMOの使用は、Microsoftによって承認または発表されていません。
これを機能させるためのサポートされていないオプションがあります(これをapp.configに追加してください):
<?xml version="1.0" encoding="utf-8" ?>
<configuration>
<startup useLegacyV2RuntimeActivationPolicy="true">
<supportedRuntime version="v4.0"/>
</startup>
</configuration>