結合を実行するときにLIMITにテーブル列の値を使用する

選択した各値に行番号を含め、次のような行数で結果を制限する必要があると思います:(テストされていません）

SELECT T0.experiment_id as `id`,   
(SELECT SUM(x.value) from       
 (SELECT value,@rownum := @rownum + 1 AS rownum           
  FROM data         
  JOIN (SELECT @rownum := 0) r
  WHERE experiment_id = t0.experiment_id         
  ORDER BY value             
 ) AS x
WHERE x,rownum < t0.clip_index
) AS `sum`
 FROM data_clip AS t0

参照：MySQL-選択時に行番号を取得