クエリで日付形式を使用する方法は？

'マークをエスケープする必要があります。

    DATE_FORMAT(quizSession.finished_on,'%M %d, %Y')

試してみてください

    DATE_FORMAT(quizSession.finished_on,\'%M %d, %Y\')

または、二重引用符を使用して文字列を開始および終了することもできます。