GDAL

どのようなものか

GDALは、Geospatial Data Abstraction
Libraryの略で、GDAL/OGRともよく表記されるオープンソースのソフトウェ
アです。一つの形式の地図データを開いて別の形式へ書き出し、要求された
場合は、その過程で再投影も行います。プロジェクト自身の文書では、変換
ライブラリーと説明しています。

空間データには、二つの形があります。ラスターは、衛星画像、航空写真、
標高モデルなどの、セルの格子です。ベクターは、住所、道路、区画の境界
など、属性付きの点、線、多角形です。GDALは、呼び出すプログラムへ、形
ごとに一つの抽象モデルを提供し、その背後に、形式ごとのドライバーを置
きます。ラスターにはGeoTIFF、JPEG
2000、NetCDF、ベクターにはShapefile、GeoJSON、GeoPackage、KML、
PostgreSQLのテーブルなどがあり、どちらにも、ほかに多くあります。GDAL
向けに書いたプログラムは、同じ呼び出しで、すべてを読めます。

ベクター側は、長くOGRと呼ばれ、GDAL
2.0で統合するまで、ドライバーの構造が別でした。そのため、ベクターの
プログラムは、今も古い接頭辞を使います。`ogrinfo`がベクターデータ
セットを説明し、`ogr2ogr`が変換します。Frank
Warmerdamが、1998年の終わりごろに開発を始めました。MIT系のライセンス
で配布する、Open Source
Geospatial Foundation、OSGeoのプロジェクトです。

使い方は三つです。最初は、ラスターの`gdalinfo`、`gdal_translate`、
`gdalwarp`、ベクターの`ogrinfo`、`ogr2ogr`などのコマンドラインです。
バージョン3.11からは、`gdal
raster`や`gdal
vector`などのサブコマンドを持つ、一つの`gdal`コマンドもあり、まだ暫
定としています。二つ目は、Pythonなどのバインディングから、コードで使
う方法です。三つ目は、ほかのソフトウェアに組み込まれた形で使う方法で
す。例えばQGISは、ドライバーでベクター形式を読み、Processingツール
ボックスで、GDALのプログラムを提供します。典型的な変換は一行です。次
は、ShapefileをGeoPackageへ変え、デンマーク全体で使うUTMゾーンへ、再
投影します。

```sh
ogr2ogr -f GPKG -t_srs EPSG:25832 parcels.gpkg parcels.shp
```

執筆時の現行版は3.13.3です。この層でGDALと競合するツールは少数です。
ArcGISは自前の変換ツールを持ち、個々の形式にも、小さい専用の読み取り
ツールがあります。しかし、顧客の送るものを、何でも受け取るチームは、
GDALに依存する別のライブラリーを通す場合も含め、結局、構成へ入れるこ
とが多くなります。

なぜ重要なのか

どの地理空間システムにも、外のデータが入る境界があります。自治体の
Shapefile、測量者のGeoTIFF、協力先のGeoJSON、誰かがブラウザーで描い
たKMLなどです。GDALに関わる判断は、誰が、その境界に立つかです。デス
クトップツールをクリックする人か、毎回同じことをするスクリプトかで
す。GDALは、スクリプトを書く負担を小さくします。

`ogr2ogr`や`gdalwarp`のコマンドにした変換は、レビューで読め、バー
ジョン管理でき、次の納品でも繰り返せます。手動の変換は、手順を覚えた
人が、一度だけ行うものです。毎月、バッチで届くデータでは、その違い
が、品質を保てるかを決めます。

ライセンスも重要です。利用者数に応じた料金はかからず、販売元の承認も
必要ありません。同じツールを、ノートPC、ビルドサーバー、コンテナー内
で使えます。

三つ目の理由は、ストレージ上のデータへ直接アクセスできることです。仮
想ファイルシステムにより、ドライバーはデータをその保存先から読み取れ
ます。`/vsicurl/`なら、HTTPで必要なバイト範囲を求め、大半のドライ
バーは、リモートのデータセット全体をダウンロードせず、部分ごとに読み
取ります。`/vsis3/`は、Amazon
S3へ同じことをします。タイル化し、縮小した概観画像を持ち、要求回数を
抑えるよう配置したCloud Optimized
GeoTIFFと組み合わせれば、何ギガバイトものラスターをオブジェクトスト
レージに置いたまま、範囲を一つずつ読めます。

負担もあります。GDALは、任意で追加する依存先が多い、大きなネイティブ
ライブラリーです。入るドライバーは、コンパイルの方法によるため、同じ
く「GDALがある」二台でも、読める形式が違う場合があります。変換は忠実
で、出力に選んだ形式の限界まで、忠実に引き継ぎます。

実際の活用例

このサイトの二つのプロジェクトに、異なる役割で登場します。

2015年から2022年のGISソフトウェア開発のチームリーダーの仕事では、三
十を超えるGISプロジェクトを納品し、それぞれを本番でも支えました。空
間データは、PostGIS付きのPostgreSQLに置き、GDAL/OGRで、Shapefile、
GeoJSON、GeoTIFF、KML、ベクタータイルの間を移しました。QGISとJOSMが
データそのものの作業を担い、そのデータを使う地図はMapbox
GLとLeafletで作りました。GeoTIFFがラスター、ほかはベクターなので、ラ
イブラリーのラスターとベクターの両方の機能を使いました。仕事は、2D、
3Dのデジタル地図とLiDARの処理から、幾何補正、ベクター化、屋内地図、
ナビゲーションまでに及びました。

2022年から2024年の、大規模な地理空間分析プロジェクトのデータエンジニ
アの役割では、GDALは誤りを見つけて修正する道具の一つでした。GDAL、
QGIS、ArcGISで、空間データの誤りを診断し、修正しました。同じデータク
レンジングの処理が繰り返し必要になるため、Bashスクリプトで自動化しま
した。PostGISが空間の検索と索引を、PL/pgSQLとTransact-SQLのプロシー
ジャーが、PostgreSQLとSQL
Server内の変換を担当し、クレンジングした結果を、Mapboxで作った対話的
な可視化へ渡しました。GDALを含む道具で、1,000を超える問題を直し、空
間クエリーの実行時間が35%減った理由の一つにもなりました。

問題が起きるところ

GDALは、指示どおりに動きます。多くの問題は、意図と少し違う指示から始
まります。

点が、別の大陸へ行きます。 GDAL
3.0からは、座標系を定義する機関が定めた軸の順序に従います。緯度と経
度でおなじみのEPSG:4326は、緯度が先です。GDAL
2向けのコードとGeoJSONは、経度が先です。混ぜると座標の組がすべて逆順
になり、コペンハーゲンの点がアラビア海へ現れます。プログラムの境界で
一つに決め、明示します。経度を先にするコードでは、空間参照の
`SetAxisMappingStrategy(OAMS_TRADITIONAL_GIS_ORDER)`が、文書の示す切
り替えです。

列名が切れ、日付から時刻が消えます。
Shapefileの属性名は10文字までです。長ければ、書くときに縮め、衝突す
れば、8文字へ切り、連番を付けます。`abcdefghijkl`は`abcdefgh_1`にな
ります。この形式が保存するのは日付だけで、時刻は含まれません。他のソ
フトウェアとの相互運用のため、GDALは`.shp`と`.dbf`を2
GB以下に保つよう勧めます。コードページを示す`.cpg`がなく、文字コード
を誤認すると、デンマーク語やキリル文字が文字化けすることがあります。
受け取る側が認めるならGeoPackageを書き、Shapefile必須なら、変換前
に、列名を意図的に変えます。

リモートのラスターを、丸ごと取得します。
接頭辞なしの`https://`では、HTTP疑似ドライバーが、他のドライバーが読
む前に、全体をメモリーへ入れます。小さいものには合っても、全国のオル
ソ画像には不向きです。`/vsicurl/`を付け、必要な範囲だけを取り、大き
いラスターをCloud
Optimized
GeoTIFFで保存して、範囲の数も抑えます。その後は、変えません。COGファ
イルを直接編集すると、その内部配置が壊れます。GDAL
3.8からは、配置が壊れることを明示して許可しない限り、更新用に開くこ
とを拒みます。

CSVの数値が、文字列になります。
指示がなければ、全フィールドを文字列で読みます。人口の列が文字順に並
び、後段で合計を求めると、型エラーになります。開く際に
`AUTODETECT_TYPE=YES`を指定するか、各列の型を示す`.csvt`を、CSVの隣
へ置きます。

更新で、Pythonのインポートが壊れます。
PyPIの`gdal`は、マシン上のGDALを使ってビルドするため、版が合う必要が
あります。プロジェクトのインストール手順では、インストール済みのGDAL
に合わせてPythonパッケージのバージョンを固定します。

```sh
pip install gdal[numpy]=="$(gdal-config --version).*"
```

参考資料

  * GDALの文書 — プロジェクト自身による、変換ライブラリー、ドライ
バー、ライセンスの説明です。

  * プログラム — `gdalinfo`や`ogr2ogr`から、新しい`gdal`までの、全コ
マンドラインツールです。

  * GDALの仮想ファイルシステム — `/vsicurl/`、`/vsis3/`など、データ
のある場所で読む接頭辞です。

  * OGRの座標参照系と座標変換のチュートリアル — GDAL 3.0で変わった、
軸順についての節を含みます。

  * COG：Cloud Optimized GeoTIFF生成ツール —
ファイルの内部配置と縮小画像、ファイルを直接編集するとそれらが崩れる
理由を説明します。

hこのページのウェブ版	URL:https://engineer.company/ja/glossary/gdal/	engineer.company	70
