Quello che stai chiedendo è fondamentalmente di raggruppare per thread piuttosto che per mittente. I thread possono essere avviati tra due persone, indipendentemente dal fatto che siano mittente/destinatario.
A tal fine, consiglierei di modificare la struttura dei dati in modo simile a quanto discusso qui:C'è un modo più semplice per ottenere questo stile di messaggistica utente?