Sicuramente puoi farlo:
DELETE FROM `table1`, `table2` WHERE `orderId` = 500
vedere http://dev.mysql.com/doc/refman/ 5.0/it/cancella.html
[MODIFICA:]
Questo è l'intero trucco:
DELETE FROM `orders`, `orders_items`
USING `orders`
INNER JOIN `orders_items` ON `orders`.`orderId` = `orders_items`.`orderId`
WHERE `orders`.`orderId`= 500
Se orderId è un varchar, cambia l'istruzione in = '500'
.