1つの方法は、sqlalchemyの「テーブルクラス」とsession.merge(row)、session.commit()を利用することです。
次に例を示します:
for row in range(0, len(df)):
row_data = table_class(column_1=df.ix[i]['column_name'],
column_2=df.ix[i]['column_name'],
...
)
session.merge(row_data)
session.commit()