So che probabilmente hai rinunciato a una risposta ma...
Penso che scoprirai che la maggior parte del tempo extra è il caricamento e la compilazione dello script PHP. se la tua app precedente era un modulo apache allora è precompilata e sempre caricata, probabilmente scritta in c molto velocemente rispetto a PHP.
Prova a usare un acceleratore php come eaccelerator. che utilizza la memoria condivisa e gli script precompilati per migliorare a volte notevolmente le prestazioni delle app PHP.
DC