ローカルのmysqlサーバーをAWSに移行しようとしています

私も同様の移行を行いましたが、あなたは正しい方向に進んでいると思います。

DBのmysqldumpを取得して、ファイルに保存するだけです。例：

mysqldump -h [host] -u [user] -p[password] [dbname] > dumpfilename.sql

絶対。他のMySQLインスタンスに接続するのと同じように、MySQLRDSインスタンスに接続できます。ホスト名は、AWSマネジメントコンソールでは「エンドポイント」と呼ばれます。

RDSインスタンスを作成し、セキュリティグループを設定したら、ダンプをロードする準備が整います。

mysql -h [endpoint] -u [user] -p[password] [dbname] < dumpfilename.sql