LOAD DATA INFILEを使用して行を除外することはできないため、CSVファイルを前処理してこれらを除外するか、データを一時テーブルにロードして、関連する行をメインテーブルに挿入します。
CREATE TEMP TABLE import LIKE my_main_table;
LOAD DATA LOCAL INFILE 'myfile.csv' into import;
INSERT INTO my_main_table SELECT * FROM import
WHERE column_x IN(VALID1, VALID2, VALID3)