Recupera tutte le righe in base alla query in una matrice

$result = mysql_query("SELECT * FROM $tableName");  
$arr_json = array();
while ($row = mysql_fetch_assoc($result)) {
   $json = json_encode($row);
   $arr_json[] = $json;
}

EDIT:guardando la risposta di un j08691, sembra che potrei aver frainteso.

Ad ogni modo, se non sai quante colonne hai, fai questo:

$arr = array();
while ($row = mysql_fetch_assoc($result)) {
   $arr2 = array();
   foreach ($row as $val) $arr2[] = $val;
   $arr[] = $arr2;
}