Dato che questo è più di un anno fa, potresti aver già risolto questo problema, ma forse altri (come me) hanno lo stesso problema e quindi voglio aggiungere la mia soluzione:
In qualche forum MySQL ho trovato un ragazzo che ha postato una formula e dopo averla calcolata per il mio server e il mio sistema ho scoperto che cercavo di usare 2 GB di RAM in più che il sistema non aveva. Eccolo e spero che aiuti qualcuno.
RAM = innodb_pool_buffer_size + key_buffer_size +
( (read_buffer_size + sort_buffer_size + read_rnd_buffer_size + join_buffer_size)
* max_connection )