InnoDBエンジンを使用している場合は、デフォルトのIOスレッド数を増やしてみてください。 RDSのデフォルトはわずか4です。新しい値は「動的」ではないため（再起動が必要）、パラメータグループのDBインスタンスを再起動して使用する必要があります。
show variables like 'innodb_%io_threads';
+-------------------------+-------+
| Variable_name | Value |
+-------------------------+-------+
| innodb_read_io_threads | 4 |
| innodb_write_io_threads | 4 |
+-------------------------+-------+