L'utilizzo della tua query non funzionerà poiché where la clausola filtra gli user_id. Usa
SELECT * FROM participants
GROUP BY conversation_id
HAVING sum(user_id not in (1,2)) = 0
user_id not in (1,2) restituisce 1 se un user_id diverso da 1,2 sono in una conversazione e 0 altrimenti. Quindi usando SUM puoi sommare tutti quei casi. Se non ne vengono trovati, la somma è 0 .