dltを用いてOpenWeatherMap APIからDuckDBにデータを格納してみた

初めに

DuckDBとは

• OLAP：蓄積された大量のデータを高速に集計することが可能な、データ分析に適したデータベースの形式。対照的な形式は、トランザクションデータの高頻度な処理に適したOLTP。
• 組み込み型：アプリケーションの内部で動作し、別途サーバーを立ち上げる必要がない形式。

主なDuckDBの強み

1. 手軽に使用できる

1. 処理が高速

1. SQLに対応

OpenWeahterMapの前準備

import requests
import json
from pprint import pprint

url = "https://api.openweathermap.org/data/2.5/weather?q={city_name}&units=metric&appid={API_key}"

#都市名と取得したMy API keysを入力
url = url.format(city_name = "Tokyo", API_key = "My_API_keys")

jsondata = requests.get(url).json()
pprint(jsondata)

{'base': 'stations',
 'clouds': {'all': 20},
 'cod': 200,
 'coord': {'lat': 35.6895, 'lon': 139.6917},
 'dt': 1740475634,
 'id': 1850144,
 'main': {'feels_like': 5.98,
          'grnd_level': 1020,
          'humidity': 58,
          'pressure': 1022,
          'sea_level': 1022,
          'temp': 9.7,
          'temp_max': 10.44,
          'temp_min': 9.21},
 'name': 'Tokyo',
 'sys': {'country': 'JP',
         'id': 268395,
         'sunrise': 1740431819,
         'sunset': 1740472324,
         'type': 2},
 'timezone': 32400,
 'visibility': 10000,
 'weather': [{'description': 'few clouds',
              'icon': '02n',
              'id': 801,
              'main': 'Clouds'}],
 'wind': {'deg': 180, 'speed': 9.26}}

パイプラインの作成と実行

pip install "dlt[duckdb]"

import dlt
from dlt.sources.helpers import requests

url = "https://api.openweathermap.org/data/2.5/weather?q={city_name}&units=metric&appid={API_key}"

#都市名と取得したMy API keysを入力
url = url.format(city_name = "Tokyo", API_key = "My_API_keys")

#リクエストを行う
response = requests.get(url)

#パイプラインの構成
pipeline = dlt.pipeline(
    pipeline_name="weather_test",
    destination="duckdb",
    dataset_name="weather_data",
)

#実際のコードでは@を_に変えてください
load_info = pipeline.run([response.json()], table@name = "weather")

結果

dlt pipeline weather_test show

SQLの実行

import duckdb
con = duckdb.connect("weather_test.duckdb")

rel = con.sql(
    """
    select name,
    main__temp_min as min_temp, 
    main__temp_max as max_temp
    from weather_data.weather
    where name <> 'Tokyo'
    """
)    
rel.show()
con.close()

最後に

参考

• DuckDB | dlt Docs
• 【dltHub Docs】Tutorial​​
• dltでSpotifyのAPIからDuckDBにデータをロードしてみた
• pythonを使ってOpenWeatherMapから天気情報を取得

この記事の著者：大槻南央