2つ目は、選択が1つだけで済むため、より効率的だと思いますが、確かに、各クエリを説明して結果を確認する必要があります。
EXPLAIN select tasks.*
from tasks
where
some criteria
and task.project_id not in (select id from project where project.is_template = 1);
EXPLAIN select tasks.*
from tasks, project
where
some criteria
and task.project_id = project.id and project.is_template <> 1;