フィルタでリテラルSQLを使用できます。ここを参照してください: http://www.sqlalchemy.org/docs/05/ormtutorial.html?highlight=text#using-literal-sql
例:
clause = "SQRT(POW(69.1 * (latitude - :lat),2) + POW(53.0 * (longitude - :long),2)) < 5"
query = meta.Session.query(User).filter(clause).params(lat=my_latitude, long=my_longitude)