Відкриття даних: як 107 мільйонів рядків витрат місцевих рад Великобританії стали доступними

Автор ·

Сьогодні ми розглянемо вражаючий проект, в рамках якого було зібрано та проаналізовано понад 107 мільйонів рядків даних про витрати місцевих рад Великобританії. Цей проект не тільки демонструє потужність сучасних технологій, але й підкреслює важливість відкритих даних.

Автор проекту вирішив дослідити, яку інформацію про витрати місцевих рад можна знайти і як її можна представити для зручності користувачів. Використовуючи інструменти автоматизації та обробки даних, були зібрані дані про витрати, які кожна рада публікує, якщо сума перевищує 500 фунтів стерлінгів. У результаті, з'явився інтерфейс, схожий на Apple Maps, що дозволяє користувачам легко переглядати витрати.

Як це працювало

Процес збору даних був складним і вимагав використання декількох агентів для обробки інформації, що розташована на сайтах рад у різних форматах. В результаті було зібрано дані з 31 офіційного джерела, що дозволило створити єдину базу даних з 1,8 мільйона рядків та 9 мільярдами фунтів витрат.

Для візуалізації даних були розроблені прототипи, які включали різні формати, такі як картки порівняння, графіки та інтерактивні карти. Однією з ключових особливостей став «Money Map», що дозволяє візуально відстежувати витрати за категоріями та радами.

Чому це важливо

Проект має значний потенціал для підвищення прозорості та доступності даних про витрати публічних коштів. Ось кілька причин, чому це важливо:

  • Прозорість: Громадяни можуть бачити, як витрачаються їхні податки, що сприяє підвищенню довіри до місцевих органів влади.
  • Дослідження: Дослідники та аналітики можуть використовувати ці дані для вивчення витрат у різних сферах, що може допомогти в ухваленні рішень.
  • Інновації: Відкриття даних стимулює розвиток нових сервісів та інструментів, які можуть полегшити доступ до інформації.

На мою думку, подібні ініціативи є надзвичайно важливими для розвитку суспільства, адже вони не лише надають цінну інформацію, але й залучають громадськість до активної участі у процесах ухвалення рішень.

Джерело: Ben's Bites (https://www.bensbites.com/p/scraping-107m-rows-of-data-to-build)