Il ORDER BY RAND() la soluzione consigliata dalla maggior parte delle persone non si adatta a tabelle di grandi dimensioni, come già sai.
SET @r := (SELECT FLOOR(RAND() * (SELECT COUNT(*) FROM mytable)));
SET @sql := CONCAT('SELECT * FROM mytable LIMIT 1 OFFSET ', @r);
PREPARE stmt1 FROM @sql;
EXECUTE stmt1;
Tratto questa e altre soluzioni nel mio libro, SQL Antipatterns:evitare le insidie della programmazione di database .
Se vuoi farlo con PHP, puoi fare qualcosa del genere (non testato):
<?php
$mysqli->begin_transaction();
$result = $mysqli->query("SELECT COUNT(*) FROM mytable")
$row = $result->fetch_row();
$count = $row[0];
$offset = mt_rand(0, $count);
$result = $mysqli->query("SELECT * FROM mytable LIMIT 1 OFFSET $offset");
...
$mysqli->commit();
