Sì, la stringa di connessione deve essere definita in <connectionStrings>
sezione del web.config proprio per questo motivo, in modo da poter modificare facilmente l'impostazione in modo che punti a un ambiente di database diverso durante la distribuzione dell'applicazione in un ambiente diverso, senza dover ricompilare il codice.