これは、オフセット制限付きの行数の総数を取得することは可能ですか？

このようにSQL_CALC_FOUND_ROWSを使用できます

SELECT SQL_CALC_FOUND_ROWS * FROM users limit 0,5;

前の行数を取得します LIMIT句を適用します。結果を取得するには別のクエリが必要ですが、そのクエリは単純に

SELECT FOUND_ROWS()

したがって、複雑なクエリを繰り返す必要はありません。