sql >> データベース >  >> RDS >> PostgreSQL

ipythonノートブックのPostgresデータベースへのPyspark接続

    上記の答えがうまくいかなかった理由はわかりませんが、jupyterノートブック(Spark 2.3.1-Python 3.6.3)からpysparkを実行したときに実際にうまくいったことを共有することもできると思いました:

    from pyspark.sql import SparkSession
    spark = SparkSession.builder.config('spark.driver.extraClassPath', '/path/to/postgresql.jar').getOrCreate()
    url = 'jdbc:postgresql://host/dbname'
    properties = {'user': 'username', 'password': 'pwd'}
    df = spark.read.jdbc(url=url, table='tablename', properties=properties)
    


    1. Dockerコンテナごとに1つまたは複数のデータベース

    2. Oracleで大量のデータを削除する

    3. 選択したデータをデータベースに挿入

    4. PostgreSQLでのAcos()のしくみ