Mi sono imbattuto in questo problema con un contenitore debian. Ciò che ha risolto è stato l'installazione di ogni pacchetto con comandi separati. Quindi invece di
RUN apt-get install -y python-pip libmysqlclient-dev
fare
RUN apt-get install -y python-pip
RUN apt-get install -y libmysqlclient-dev