La tua query attuale è contraddittoria in quanto una singola riga non può mai corrispondere alla clausola WHERE. Presumo che tu voglia qualcosa del genere.
SELECT product_id
FROM table
WHERE (key='free_shipping' and value='yes') or (key='price' and value='5')
GROUP BY product_id
HAVING COUNT(DISTINCT key) = 2
