Перейти до вмісту
Engineer
Меню
Дизайн
Українська

Engineer / Словник

ArcGIS

комерційна ГІС-платформа від Esri

Що це таке

ArcGIS — це назва, яку Esri дає цілій родині геопросторових програм, а не одній програмі, і частини цієї родини найпростіше розрізняти за тим, де кожна з них працює.

На робочому столі актуальна програма — ArcGIS Pro, і в її системних вимогах значиться лише Microsoft Windows. До Pro була ArcMap, яку продавали як частину ArcGIS Desktop. Сторінка життєвого циклу продукту в Esri позначає ArcMap як застарілу, що перебуває на етапі «mature support», а 10.8.x — як її останню серію випусків.

На сервері центр платформи — портал: місце, де створюють і поширюють вміст, користувачів, групи та сервіси даних. Esri розміщує один такий портал як ArcGIS Online, продукт за моделлю software-as-a-service із передплатою, а організація може запустити власний за допомогою ArcGIS Enterprise. Дані в порталі публікують як сервіси, кожен зі своєю кінцевою точкою REST. Сервіс об’єктів (feature service) дає доступ до просторових і непросторових даних у шарах об’єктів і таблицях і дозволяє клієнту додавати, оновлювати, видаляти об’єкти та робити до них запити. Сервіси векторних плиток і плиток карти зберігають і віддають плитки, а сервіс зображень обробляє растрові дані й складає з них мозаїку на льоту. Кожен шар має власну адресу виду …/FeatureServer/0 і операцію query, яка приймає умову where, список полів і формат виводу: HTML за замовчуванням, JSON, GeoJSON або Protocol Buffers.

На боці клієнта Esri випускає Maps SDK для JavaScript, Kotlin, Swift, Flutter, .NET, Qt і Java, а також плагіни для Unity та Unreal Engine. Та сама документація для розробників охоплює й відкриті бібліотеки, які вміють малювати сервіси ArcGIS: Leaflet, MapLibre GL JS, OpenLayers і CesiumJS. Для скриптів є ArcPy, пакет Python для інструментів геообробки й автоматизації карт усередині ArcGIS Pro, а поруч із ним ArcGIS API for Python і ArcGIS REST JS для роботи з порталами й сервісами ззовні. Доступ до всього непублічного йде через ключі API, OAuth 2.0 або користувача, який увійшов у систему.

На диску разом із даними ArcGIS мандрує формат file geodatabase: каталог, назва якого закінчується на .gdb, а кожна таблиця в ньому зберігається як файли .gdbtable. Поза програмами Esri вбудований драйвер OpenFileGDB у GDAL читає file geodatabase, з GDAL 3.6 записує й оновлює їх, а з 3.7 працює і з растровими шарами в них.

Чому це важливо

Коли організація вже працює з ArcGIS, питання рідко полягає в тому, чи впроваджувати платформу. Питання в тому, де проходить її межа: які дані лишаються в порталі як сервіси, які копіюють у базу даних під контролем решти стеку і в якому напрямку між ними рухаються правки.

Усередині цієї межі багато чого вже готове. Редагування, символіка, спільний доступ для іменованих користувачів і груп, аналітичні сервіси й конструктори застосунків, що потребують мінімуму коду, працюють з одним і тим самим порталом, а співробітники, які знають ArcGIS Pro, далі працюють так, як звикли. Публікація шару як сервісу об’єктів дає кожній іншій системі адресу, звідки його можна читати.

Межу можна перетнути з обох боків, і саме тому вибір справжній, а не прив’язка до постачальника. Сервіс об’єктів говорить JSON і GeoJSON через звичайний HTTP. Драйвер ESRIJSON у GDAL читає URL сервісу як файл і сам гортає сторінки результату, тож ogr2ogr копіює розміщений шар у PostGIS або GeoPackage однією командою. Власна документація Esri показує, як Leaflet і MapLibre GL JS малюють її сервіси. У зворотному напрямку GDAL сам записує file geodatabase з версії 3.6, тож дані можна повернути у власному форматі Esri.

Зусиль вимагає все, що живе по обидва боки одночасно. Шар, скопійований із порталу, — це друга копія, а другій копії потрібні розклад, власник і спосіб помітити, коли вона розійшлася з першою. Настільна програма працює лише на Windows і має комерційну ліцензію, і це визначає, хто в змішаній команді може відкрити проєкт. А ArcPy постачається з ArcGIS Pro та ArcGIS Server; навіть встановлений в інше середовище Python, він однаково потребує ArcGIS Pro на машині, тож конвеєр, побудований на ньому, працює лише там, де встановлено ArcGIS.

Як це виглядає на практиці

ArcGIS з’являється у двох проєктах на цьому сайті, і в обох він лише одна частина ширшого стеку.

У 2015–2022 роках роль керівника команди розробки GIS-програмного забезпечення охоплювала понад тридцять GIS-проєктів від розробки й розгортання до підтримки, і ArcGIS стояв поруч із їхнім стеком як набір API, до яких могли звертатися карти. Самі карти будували на Mapbox GL і Leaflet, часом із викликами API ArcGIS чи HERE; рівень застосунку писали на JavaScript, Python, PHP і SQL, просторові дані лежали в PostgreSQL із PostGIS, а саму роботу з даними вели в QGIS і JOSM.

Пізніша посада, інженер даних у масштабному проєкті геопросторової аналітики у 2022–2024 роках, відвела ArcGIS місце серед інструментів для виправлень. Просторові помилки діагностували й виправляли за допомогою GDAL, QGIS та ArcGIS у поєднанні, а повторювані завдання з очищення автоматизували на Bash. Процедури на PL/pgSQL і Transact-SQL керували географічними й часовими даними в PostgreSQL та SQL Server і трансформували їх, а PostGIS відповідав за просторові запити й індексацію. Усунених проблем набралося понад 1 000, і ця робота доклалася до скорочення часу виконання просторових запитів на 35%.

Де виникають проблеми

Більшість проблем лежить на межі між ArcGIS і всім іншим, де кожна сторона вважає, що інша поводиться так само, як вона сама.

Завантаження шару зупиняється на круглому числі. Сервіс об’єктів повертає щонайбільше maxRecordCount об’єктів на запит, і цю межу задають для кожного сервісу окремо. Коли під запит підпадає більше, відповідь виставляє exceededTransferLimit у true, і клієнт, який читає об’єкти й ігнорує цей прапорець, отримує неповний шар, що виглядає повним. Якщо шар повідомляє supportsPagination, клієнт гортає сторінки через resultOffset і resultRecordCount або через resultPaginationToken, доки прапорець не повернеться як false. Документація GDAL додає, що пагінація надійна лише із сортуванням за полем на кшталт OBJECTID:

url='https://gis.example.org/arcgis/rest/services/Dilianky/FeatureServer/0'
q='query?where=1=1&outFields=*&orderByFields=OBJECTID+ASC&f=json'
ogr2ogr -f GPKG dilianky.gpkg "ESRIJSON:$url/$q"

Координати приходять у метрах там, де чекали градусів. Без параметра outSR запит повертає геометрію в просторовій системі відліку карти сервісу, а це може бути проєкційна система в метрах. Щодо виводу GeoJSON довідник каже, що з версії 10.8 результат узгоджується з RFC 7946 лише тоді, коли outSR пропущено або встановлено в 4326. Будь-яке інше значення дає проєктовані координати у файлі, який досі називає себе GeoJSON, і вебкарта, що його читає, поставить об’єкти далеко від їхнього місця. Просіть outSR=4326 щоразу, коли споживач чекає довготу й широту.

Скрипт для ArcMap перестає працювати в ArcGIS Pro. ArcGIS Desktop, до якого входить ArcMap, використовував версії Python 2, а ArcGIS Pro працює на Python 3, гілці, яку Esri описує як лише частково сумісну. У самому ArcPy модуль arcpy.mapping прибрали й замінили на arcpy.mp. Оскільки ArcMap застаріла, скрипти для неї рано чи пізно доведеться переносити. Інструмент Analyze Tools For Pro в ArcGIS Pro позначає проблеми, які завадили б запуску коду Python або інструментів геообробки на основі Python, і краще пройти цей етап свідомо, ніж виявити все в день заміни машини.

File geodatabase відкривається лише для читання. GDAL до 3.6 читав file geodatabase через OpenFileGDB, а записував лише через окремий драйвер FileGDB, якому під час збирання GDAL потрібна бібліотека FileGDB API від Esri. Растрові шари в .gdb потребують GDAL 3.7 або новішого. Коли конвеєр записує .gdb на одній машині й падає на іншій, порівняйте версії GDAL і списки драйверів, перш ніж звинувачувати дані.

Що почитати далі

Контакти

Ще визначаєтесь, що саме вам потрібно?

Розкажіть, що йде не так або що ви намагаєтесь побудувати. Ми скажемо, що для цього потрібно, скільки це приблизно коштуватиме і чи ми ті люди, які вам потрібні.

Від 1 400 DKK за годину, без ПДВ — і дешевша година на довшому замовленні.

welcome@engineer.company +45 50 10 61 84 Копенгаген, Данія