P = Prototyp, K = Konzept, I = Infrastruktur, M = Mashup, Gov = Beteiligung von Regierungsseite

Wie jeden Mittwoch treffen sich ein paar Open-Data-Enthusiasten im Betahaus in Berlin zum Arbeitskreis Open Data & Open Knowledge. Diesen Mittwoch wollten wir uns eigentlich in Vorbereitung für das nächste Everything Open Meeting am 5. August und den nächsten Open Data Hackday am 7./8. August mit Berliner Datenquellen beschäftigen. Aber dazu kam es nicht. Stattdessen haben wir einmal versucht einen Überblick über die verschiedenen Aktivitäten und Projekte zu visualisieren, die im Umfeld des Open Data Network laufen oder geplant sind (siehe Grafik oben).

Es sind schon eine ganze Menge an interessanten Projekten die da gerade am entstehen sind. Diese Infografik ist eine Momentaufnahme, ich erhebe keinen Anspruch auf Vollständigkeit noch auf Verhältnismässigkeit. Viel interessanter als die Grafik waren die Diskussionen die sich an das gemeinsame “brain storming” anschlossen. Zum Beispiel hinsichtlich der Ausrichtung und der Verbindungen der einzelnenProjekte.

Am Nachmittag hatten wir dann Christian Heise und Tobias Escher, die Entwickler von “meine Demokratie” eingeladen, um uns einen Einblick hinter die Kulissen dieses ambitionierten Projektes zu geben, das – nach mehreren Verzögerungen – doch dieses Jahr online gehen wird. Vielleicht auch mit etwas Hilfe der im ODN versammelten Kompetenzen.

Alles in allem ein wirklich guter Arbeitstag: Ihr seid alle eingeladen nächstes mal dabei zu sein: Jeden Mittwoch, von 10 bis 16 Uhr in Berlin im Betahaus.

Sehr aktiv im Hinblick auf die Bereitstellung dererlei Programmierschnittstellen (APIs) ist die Weltbank, über dessen Open Data-Aktivitäten wir hier im Blog schon zweimal in den letzten Wochen berichtet haben. Diese bietet seit einiger Zeit unter http://data.worldbank.org eine Schnittstelle an, über die unzählige – für den Entwicklungszustand der Welt relevante – Indikatoren wie Geburtsraten, CO2- Emissionslevel, Daten zu Bildungsausgaben, usw. für unterschiedliche Länder abgerufen werden können. In diesem Artikel soll einmal aufgezeigt werden, wie man solche Daten nutzen und z.B. mit Hilfe von Google Maps auf einer Karte visualisieren kann. So zeigt die folgende Karte das Einkommensniveau unterschiedlicher Länder anhand farbiger Pins, beim Klick auf einen Pin erhält man zusätzlich die Hauptstadt des Landes und die inhaltliche Bedeutung der jeweiligen Farbmarkierung angezeigt. Die Beschreibung ist (hoffentlich) nicht zu technisch gehalten, so dass sie auch für Nicht-Informatiker in den Grundzügen nachvollziehbar seien sollte. Ganz ohne Programmierkenntnisse wird man bei einer Umsetzung dennoch nicht auskommen, der Aufwand sollte sich allerdings auf max. 2-3 Std. beschränken.

Größere Kartenansicht

Folgende drei Schritte sind notwendig auf dem Weg zum eigenen Weltbank-Open Data-Mashup:

1. Weltbank-API – Indikator(en) auswählen und Anfrage stellen

Die API der Weltbank kann direkt per URL im Browser abgefragt werden. Über die Angabe entsprechender Parameter wird dann z.B. gesteuert, welcher Indikator abgerufen werden soll oder über welches Land man Daten erhalten möchte. So liefert die Abfrage http://open.worldbank.org/countries?per_page=100&incomeLevel=LIC eine Liste aller Länder mit einem niedrigen Einkommenslevel (LIC = “Low income”) (eine strukturiertere Ansicht des Ergebnisses erhält man u.U., wenn man sich im Browser direkt den ausgegebenen Quelltext anzeigen lässt). Eine detailliertere Dokumentation von Möglichkeiten zur API-Nutzung findet sich direkt auf der Weltbank-Seite. Durch die direkte Abrufbarkeit der API im Browser kann man auch gut ein wenig mit unterschiedlichen Parametern der API herumspielen, um ein Gefühl dafür zu bekommen, wie die Benutzung funktioniert und was die API zu leisten vermag. Die so zusammengebaute API-URL (in unserem Beispiel: http://open.worldbank.org/countries?format=json&per_page=500) kann man dann über den entsprechenden Programmier-Befehl (für die im Beispiel verwendete Programmiersprache PHP z.B. cURL) für die weitere Verarbeitung und Umwandlung auslesen.

2. Ergebnis in ein für Google Maps lesbares Format umwandeln

Jetzt müssen die ausgelesenen Daten noch in ein für Google Maps lesbares Format umgewandelt werden. Hier bietet sich der Standard KML an, einer Beschreibungssprache für Geo-Daten, mit der man z.B. Orte auf einer Karte auszeichnen und mit ergänzenden Informationen versehen kann.  Alternativ kann auch die von Google bereitgestellte Google Maps-API direkt verwendet werden, um die Daten zu visualisieren. Die KML-Variante bietet jedoch den Vorteil, dass sie als Endresultat ein per Copy-and-Paste übertragbaren Code-Schnipsel hervorbringt, der sich einfach in Weblogs oder Content-Management-Systeme übertragen lässt, weshalb dieser Variante hier der Vorzug gegeben werden soll.

Die Daten aus der API der Weltbank werden in den Formaten XML oder JSON bereitgestellt, jeweils strukturierten Textdateien, die dazu geeignet sind, einzelne Datensätze und ihre Eigenschaften zu erfassen. Für diese Formate gibt es in den unterschiedlichen Web-Programmiersprachen in der Regel Befehle um diese einlesen und weiterverarbeiten zu können, für PHP ist dies z.B. der Befehl “json_decode()” zum Einlesen von Dateien im JSON-Format. Die so erhaltenen Datensätze (bzw. Objekte) kann man jetzt einzeln durchlaufen, und Eigenschaften, die auch auf einer Karte eingetragen werden sollen, in einen entsprechenden KML-String schreiben, eine Auflistung, was dies so alles seien kann, findet sich bei Google in der KML-Dokumentation. In unserem Beispiel waren dies im Wesentlichen der Name des Landes, der Einkommenslevel, der dann auf den PINs in der Google Maps-Karte erscheinen soll, sowie die Längen- und Breitengrade von der Hauptstadt des jeweiligen Landes (siehe Abb. unten). Im Zuge dieser Umwandlung kann man dann auch entsprechende grafische Formatierungen vornehmen, und z.B. allen Ländern mit niedrigem Einkommenslevel einen roten PIN verpassen. Die so erzeugte Datei speichert man dann als KML-Datei auf seinem Web-Server, so dass diese über das Internet erreichbar ist.

3. In eigenem Blog/Artikel einbinden

Puh, zugegebenermaßen: Punkt 2 war wirklich etwas technisch! Das gute ist: jetzt ist man quasi schon fertig! Google Maps kann KML-Dateien direkt verarbeiten, indem man die zugehörige URL direkt ins Suchfeld bei Google Maps kopiert. Hat man alles richtig gemacht, erscheinen die von der Weltbank-API übernommenen Daten dann direkt auf der entsprechenden Karte. Wer dies ausprobieren möchte, kann dafür die für dieses Beispiel verwendete KML-Datei verwenden (http://www.opendata-network.org/wp-content/uploads/2010/07/Worldbank_Data-API_GoogleMaps_IncomeLevel.kml), einfach den Link kopieren, ins Suchfeld einfügen und schauen, was passiert! Über “Link” -> “Eingebette Karte anpassen und Vorschau anzeigen” kann man dann noch einen gewünschten Kartenausschnitt und Zoom-Level wählen. Und: Fertig! Der so erzeugte HTML-Code kann jetzt in den eigenen Artikel oder die eigene Webseite kopiert werden, die Karte mit dem Daten-Overlay wird dann automatisch von Google nachgeladen!

Fazit: Dieser Artikel zeigt hoffentlich ein wenig, wie einfach es auch mit den aktuell zur Verfügung stehenden Bordmitteln schon seien kann, Daten aus offen verfügbaren Datenquellen in eigene Seiten einzubinden. Natürlich lässt sich mit ein wenig mehr Fantasie und Programmierkenntnissen noch deutlich mehr realisieren als hier im Beispiel gezeigt. So können z.b. mehrere Datensätze übereinandergelegt werden, um diese zu vergleichen, zeitliche Vergleiche angestellt werden, oder Karten noch mit eigenen Daten oder Daten aus anderen offenen Schnittstellen ergänzt werden. Also: ran an die Tasten! :-) Wer ein wenig rumgebastelt hat, und andere spannende Visualisierungen erstellt hat: ein Posting im Kommentar-Bereich wäre toll!

Dazu soll eine offene API entwickelt werden, die es erlaubt Finanzinformationen entweder mit allen oder nur einem bestimmten Personenkreis zu teilen um so für mehr Transparenz zu sorgen. Die Macher des Projekts sehen vielfältige Einsatzmöglichkeiten.

Grafik: openbankproject.org / TESOBE.com

So können z.B. Regierungen und öffentliche Verwaltungen diese Schnittstelle Nutzen um Subventionen und andere Staatsausgaben transparenter zu dokumentieren. Empfänger staatlicher Subventionen könnten also verpflichtet werden, direkt Rechenschaft über empfangene Mittel abzulegen. Damit könnte Korruption und Vetternwirtschaft bekämpft werden.

Doch auch für NGO’s bietet sich die Chance durch eine rigorose Öffnung der eigenen Finanzen vertrauen zu schaffen, und so allen Spendern und Unterstützern offenzulegen, was mit ihrem Geld passiert.

Derzeit sucht das Projekt noch nach Kooperationspartnern und bemüht sich zudem um EU-Fördergelder.

Transparency Data is a central source for federal lobbyist registrations and federal and state campaign contributions. Here you can begin your search, find the information you need, and then download records of what acandidate has received, what an individual has given, how much an organization has spent on lobbying, and many other queries.

Die Idee zur Deutschland API hat ihren Ursprung in der Plattform wahl.de. Auf wahl.de werden politische Akteure gelistet und inklusive ihrer Aktivitäten im “sozialen” Netz abgebildet. Nach der Bundestagswahl 2009 stellte sich die Frage, auf welche Art und Weiße die bestehenden Daten sinnvoll weitergeführt werden könnten. In diesem Zuge kam die Idee der Deutschland-API zustande.

Primäres Ziel der API ist es, verfügbare Daten, die in den meisten Fällen bisher nicht ohne technische Tricks abrufbar sind, strukturierbar, kombinierbar, leichter verfügbar und besser abrufbar zu machen. Zum jetzigen Zeitpunkt stellt die API Daten von Bundestagsabgeordneten in strukturierter und maschinenlesbarer Form zur Verfügung. Dritte können diese nach bestimmten Parametern filtern, durchsuchen und zu etwas ganz Neuem verarbeiten.

In den nächsten Schritten sollen weitere Informationszweige in die API eingebunden werden. Zunächst sollen hierbei vor allem Daten aus der Politik zugänglich gemacht werden.
Durch die Aufbereitung der Datensätze sollen fremde Ideen und Projekte unterstützt und vorrangetrieben werden. Ein, aus der Deutschland-API entstandenes Projekt, ist bspw. die Webseite petition24.de

Eine ausführliche Beschreibung der Deutschland-API inkl. des technischen Aufbaus findet sich hier

Die Bearbeitung von Anliegen im öffentlichen Raum ist wegen verschiedener Zuständigkeiten für alle Seiten ein schwieriges Geschäft. Meldungen erfolgen oft mehrfach, meist über Telefon und ein Feedback an die Problem-Melder ist nicht immer möglich. Ständige und berechtigte Nachfragen von Bürgerinnen und Bürger sind in der kommunalen Verwaltungspraxis an der Tagesordnung.

Sucht man nach passenden Lösungen in Deutschland, führt eine kurze Recherche schnell zum Referenzprojekt Maerker.Brandenburg. Dort hat man auf Landesebene ein All-inclusive-Paket geschnürt und bietet den Kommunen die Teilnahme über das Portal der Landesverwaltung an. Mit Erfolg, denn mit über 1000 eingegangen Hinweisen wird hier eindrucksvoll gezeigt, dass Bedarf besteht und das Angebot angenommen wird.

Mark-a-Spot verfolgt zunächst einen anderen Ansatz. Als installierbare Webapplikation entwickelt, setzt es auf die direkte Integration in das städtische Internetangebot.

Die Internetplattform ermöglicht die unkomplizierte Darstellung von Störungen, Barrieren, Zuständen in einer Karte. Alle Inhalte können kommentiert und bewertet werden. Die Bewertungen werden zur Darstellung von Brennpunkten in der Karte herangezogen.

Beteiligte öffentliche Stellen dokumentieren ihr Handeln über Statusänderungen in einem verständlichen Ampelsystem. Bei der Konzeption wurde darauf geachtet, dass die Zugangshürden für den Dialog möglichst gering gehalten und der Publikationsprozess durch die Verwaltung gesteuert werden kann.

Mark-a-Spot ist flexibel auch für andere Szenarien einsetzbar. Es ist besonders geeignet, einfache Sachverhalte für eine möglichst große Zielgruppe in einer Karte darzustellen. Den Benutzer/innen vertraute Oberflächen wie Google Maps oder im zunehmenden Maße OpenStreetMaps helfen, die Akzeptanz zu erhöhen. Während der Entwicklung wurde darauf geachtet, dass alle dargestellten Inhalte auch ohne Javascript zugänglich bleiben. Strengere Tests hinsichtlich der Barrierefreiheit stehen aber noch aus.

Die Software setzt hierbei auf das CakePHP-Framework, clientseitig auf JQuery und für die Kartendarstellung zunächst auf das Google Maps API. In späteren Versionen ist eine Implementierung von OpenStreetMaps vorgesehen.

Die Installation benötigt einen Webserver, PHP 5.2 und MySQL > 4.2. Andere Datenbanksysteme sind möglich.

Ein kleiner Ausblick:
Für zukünftige Versionen ist eine “Kümmerer”-Funktion geplant, über die sich zum gemeinschaftlichen, ehrenamtlichen Beheben der Störungen verabredet werden kann und neben der OpenStreetMap-Option, die Integration von Twitter.

Siehe auch das Interview im Blog von Gov20.de: “Wir brauchen einheitliche und leicht zugängliche Plattformen für Verwaltungsdienstleistungen“

Hier nun ein weiteres Beispiel für das innovative Potential von Open Data: Die Firma Factual mit seinen Niederlassungen in Shanghai und Los Angeles entwickelt diverse Tools mit denen sich offene Daten finden, auswerten, mischen und einbetten lassen.

Upload or create data tables

• Contribute to the open data ecosystem
• Use tools to improve your data

Publishers: add Factual data to your site

• Embed high quality, free content or use our API
• Make your site more interactive

Developer: Build apps using our API. Customize any way you like!

Auf der Webseite von  Factual steht in der Selbstbeschreibung:

Factual is a platform where anyone can share and mash open data on any subject. For example, you might find a directory of California restaurants, a database ofendocrinologists, or a list of American Idol finalists. We provide smart tools to help the community build and maintain a trusted source of structured data. And this data can be used through widgets and APIs to help application developers and content publishers be more innovative and productive.

Often, data is difficult to find and access, inaccurate, and sometimes expensive. Information seekers are often overwhelmed with too many, often contradictory sources or frustrated by too few. Today, access to clean and reliable structured data is still a headache.

Factual was founded to provide open access to better structured data. And that means developers can build more innovative apps, publishers can access high-quality content, and ultimately, everyone, can make better decisions. More specifically, we offer:

• An open data repository. We think a good route to low or zero cost and high quality data is the open data model. By making data open to access (read) so that developers can create valuable new applications , and by making the data open for opinion, comment, and debate (write) – we hope to catalyze support for certain data verticals.
• Collaborative tools. We help communities collaborate real-time on open data projects, whether by manually adding a single value or uploading an entire dataset.
• Data accountability. For each fact, we store user inputs, sources, citations — basically a fully documented (and computable) history.
• Data sourcing and improvement. Our methods include capturing existing non-proprietary data, user and community contributions, content partnerships, and sophisticated data improvement tools that algorithmically discover, mine, and merge data.

Who Are We?

Factual was founded in 2007 by Gil Elbaz, co-founder of Applied Semantics (AdSense), which was acquired by Google in 2003. Gil has had a lifelong passion for organizing and structuring information, and building smart tools which can better make sense of data. Along with founding engineers, Tim Chklovski and Myron Ahn, Factual was built on the idea that it would be a better world if more decisions were data-driven. So we set out to develop an open data platform and community in an effort to maximize data accuracy, transparency and availability.

Die Dinge scheinen sich zu überschlagen. Letzte Woche eröffnete die britische Regierung mit data.gov.uk den derzeit weltweit größten Datenkatalog von Regierungs- und Verwaltungsdaten. Gleichzeitig arbeitet London an seinem eigenen Datastore. Nun hat der britische Guardian, der seit Jahren mit “Free our Data” und dem “Guardian Data Store” für die Öffnung von Regierungsdaten und Transparenz mobilisiert, mit der Seite “World Government Data” eine zentral Suchfunktion für offenen Verwaltungsdaten aus der ganzen Welt geschaffen: Government data from around the world. Welcome to our single gateway

Governments around the globe are opening up their data vaults – allowing you to check out the numbers for yourself. This is the Guardian’s gateway to that information. Search for government data here from the UK (including London), USA, Australia and New Zealand – and look out for new countries and places as we add them. Read more about this on the Datablog. Full list of government data sites here.

• Go straight to our World Government Data search
• Info on our API
• Gallery: the full list of government data sites
• Gallery: the top 10 best visualisations and apps

World Bank public data, now in search

When we first launched public data on Google.com, we wanted to make statistics easier to find and to encourage debate based on facts rather than intuition. The day after we launched, a friend who worked at the World Bank called me, her voice filled with enthusiasm, “Did you know that the World Bank also just released an API for their data?” Excited, I checked it out, and found an amazing treasure trove of statistics for most economies in the world. After some hard work and analysis, today we’re happy to announce that 17 World Development Indicators (list below*) are now conveniently available to you in Google search.

With today’s update, you can quickly access more data with a broad range of queries. Search should be intuitive, so we’ve done the work to think through queries where public data will be most relevant to you. To see the new data, try queries like [gdp of indonesia], [life expectancy brazil], [rwanda's population growth], [energy use of iceland], [co2 emissions of iceland] and [gdp growth rate argentina]. For example, if you search for [internet users in the united states], you will see the following chart at the top of the results page:

We hope this new data and our new embedding feature will help facilitate quick and easy access to public statistics. There are still many other data sets and sources out there, and we’re excited about the possibilities for the future. If you’re a data publisher interested in making your data more easily discoverable in Google, please contact us.

* Complete list of World Bank indicators currently available: CO2 emissions per capita, Electricity consumption per capita, Energy use per capita, Exports as percentage of GDP, Fertility rate, GDP deflator change, GDP growth rate, GNI per capita in PPP dollars, Gross Domestic Product, Gross National Income in PPP dollars, Imports as percentage of GDP, Internet users as percentage of population, Life expectancy, Military expenditure as percentage of GDP, Mortality rate, under 5, Population, and Population growth rate.

Im TED Blog schreibt Hans Rosling, der Star der Public-Opendata-Statistik-Visualisierung: The popular search engine, Google, is making 17 of the World Bank’s World Development Indicators available to search queries:

Subject: TED helps liberate data!
Here is very good news! As of today, the first hole to freedom exists in the data vault of the World Bank — and the data is now passing through Google search and reaching the world with added value in the form of Google Public Data graphics!

This is the first step toward the reality of the vision [TED] helped me launch through my TED2006 talk! Big change takes time … but this will change the world!

Noch im April diesen Jahres hatte Googles Product Manager Ola Rosling in einem auf dem Google blog geschrieben: “This is just the beginning. Stay tuned for more”

Adding search power to public data

Ja, das ist erst der Anfang. Es war nur eine Frage der Zeit bis auch Google und andere große Suchmaschinen das Potential Opendata / public-data / raw-data / linked-data erkennen und mit entsprechender Macht in dieses Segment vordringen. Denn hier geht es ja nicht nur um höhere Ideale sondern um einen großen neuen Markt. Mit seiner Forderung “Raw data now!” hatte Tim Berners-Lee in seinem berüchtigten TED talk eindringlich darauf hingewiesen, welche Bedeutung linked data / raw opendata für die Zukunft der Informationsgesellschaft hat. Hier noch einmal die Slideshow zum Vortrag von Tim Berners-Lee zu Linked Data auf der TED 2009 conference, “The Great Unveiling” am 4. Februar 2009.

.

Microsoft mit Wolfram Alpha, Google mit Weltbank-Daten

Das ist kein Zufall: Am selben Tag an dem Stephen Wolfram, Mastermind hinter dem Expertensystem Wolfram Alpha am 11. November bekannt gab, dass sein System künftig mit Microsofts Suchmaschine Bing zusammenarbeiten wird. Bing werde künftig über die Schnittstellen (APIs) von Alpha mit den von Wolframs Experten kuratierten Daten gefüttert, die beispielsweise aus den Bereichen Ernährung, Gesundheit und höhere Mathematik stammen können.

• Microsoft’s Bing—Introducing One of Wolfram|Alpha’s First Commercial API Customers

Google wiederum teilte am 11. November mit, nun auch die von der Weltbank über eine Programmierschnittstelle frei zur Verfügung gestellten Daten in sein Suchangebot integriert zu haben. Die Weltbank bietet derzeit Daten zu 17 Themenbereichen an, beispielsweise zu den CO2-Emissionen, zum Energieverbrauch und zum Wirtschaftswachstum eines Landes. Google bereitet sie in bekannter Manier in seinem System Public Data auf. 

• World Bank public data, now in search

Die Stadt Toronto in Kanada: http://www.toronto.ca/open/

Die Regierung von Neuseeland : http://data.govt.nz/