Immagino che tu debba solo includere un numero di riga con ogni valore selezionato e limitare i risultati per il numero di righe, qualcosa del genere:(non testato)
SELECT T0.experiment_id as `id`,
(SELECT SUM(x.value) from
(SELECT value,@rownum := @rownum + 1 AS rownum
FROM data
JOIN (SELECT @rownum := 0) r
WHERE experiment_id = t0.experiment_id
ORDER BY value
) AS x
WHERE x,rownum < t0.clip_index
) AS `sum`
FROM data_clip AS t0
vedere:MySQL - Ottieni il numero di riga su select