Odio sembrare un vecchio accademico scontroso, ma la teoria è davvero ciò che devi studiare, se sei determinato a costruire il tuo RDBMS. I dettagli di implementazione sono davvero solo, ehm, dettagli di implementazione. Oltre ai libri di testo, potresti anche voler studiare documenti di ricerca, che tendono a trattare l'argomento in modo più dettagliato.
Quando inizi a implementare il tuo motore di database, potresti esaminare le implementazioni open source esistenti, ma ti aspetti che la curva di apprendimento sia ripida. Come hai già scoperto, questi progetti tendono ad essere piuttosto complessi. Quando hai domande concrete su quei progetti, prova a pubblicarle nelle mailing list pertinenti. Quando hai domande concrete sulla tua implementazione, pubblicale qui :)