Hai bisogno di un modo per far sapere al browser che i dati sono stati aggiornati.
Il modo più semplice sarebbe avere una chiamata ajax che raggruppa il server per verificare se sono stati aggiunti nuovi dati. Puoi usare javascript per impostarlo in modo che venga chiamato ogni minuto o tutte le volte che vuoi. Una volta che la chiamata ajax mostra che sono stati caricati nuovi dati, puoi utilizzare javascript per aggiornare la pagina.
Questo approccio significa che avrai molte chiamate al tuo server, ma saranno piccole e tutti i dati verranno caricati solo quando necessario.