そうするためには、Railsをそのままにしておくことになっているので、Mongoidのドキュメントで一般的に提案されているようにライブラリを除外しないでください。それらを個別に構成する必要があるため、database.ymlとmongo.ymlの構成ファイルが必要であり、両方が読み込まれていることを確認する必要があります。
その後、モデルごとにARとMongoidを有効/無効にできます。
class User < ActiveRecord::Base
#this is an AR model
end
class Item
include Mongoid::Document
#this is a Mongoid model
end