sql >> データベース >  >> RDS >> Mysql

ScrapyのMySQLデータベースへのアイテムの書き込み

    パイプラインで次のコードを試してください

    import sys
    import MySQLdb
    import hashlib
    from scrapy.exceptions import DropItem
    from scrapy.http import Request
    
    class MySQLStorePipeline(object):
        def __init__(self):
            self.conn = MySQLdb.connect('host', 'user', 'passwd', 
                                        'dbname', charset="utf8",
                                        use_unicode=True)
            self.cursor = self.conn.cursor()
    
        def process_item(self, item, spider):    
            try:
                self.cursor.execute("""INSERT INTO example_book_store (book_name, price)  
                            VALUES (%s, %s)""", 
                           (item['book_name'].encode('utf-8'), 
                            item['price'].encode('utf-8')))            
                self.conn.commit()            
            except MySQLdb.Error, e:
                print "Error %d: %s" % (e.args[0], e.args[1])
            return item
    


    1. ClusterControl1.8.2を使用したPostgreSQLv13のデプロイとスケーリング

    2. mysqlの日付フィールドと日と月のみを比較します

    3. ScrapyのMySQLデータベースへのアイテムの書き込み

    4. シェルスクリプトからMySQLコマンドを実行する方法は?