Recupera l'ultima riga inserita con Uniqueidentifier che non è IDENTITY

È un po' più di lavoro, ma per i tuoi inserti, anche se hai già un valore DEFAULT su ApplicationID, puoi farlo:

DECLARE @MyIdentity uniqueidentifier;
SET @MyIdentity = NewID();
INSERT INTO dbo.aspnet_Applications
(
    ApplicationName,
    LoweredApplicationName,
    ApplicationId, 
    Description
)
VALUES
(
    'x',
    'x',
    @MyIdentity,
    'Dummy text'
);

SELECT @MyIdentity

In sostanza, imposti il ​​GUID in anticipo, quindi sai già cosa inserirai.