L'utilizzo della tua query non funzionerà poiché where
la clausola filtra gli user_id. Usa
SELECT * FROM participants
GROUP BY conversation_id
HAVING sum(user_id not in (1,2)) = 0
user_id not in (1,2)
restituisce 1
se un user_id
diverso da 1,2
sono in una conversazione e 0
altrimenti. Quindi usando SUM
puoi sommare tutti quei casi. Se non ne vengono trovati, la somma è 0
.