laravel appartiene a molti filtri

Dovresti usare whereDoesntHave() per selezionare i modelli che non hanno un modello correlato che soddisfa determinati criteri:

$users = User::whereDoesntHave('roles', function($q){
    $q->where('role_id', 5);
})->get();