Ok – hier geht es um “Linked Data”, aber die Idee mit den fünf Sternen lässt sich auch auf Open Government Data übertragen. Ich habe gerade in den letzen Tagen darüber nachgedacht ein mini How-To für deutsche Behörden zu schreiben, wie diese ihre Datenbestände öffnen können. Ein solches Projekt sollte eine Checkliste haben, anhand derer erstmal der Ist-Zustand der Daten hinsichtlich der “Offenheit” überprüft werden kann. Dafür eignet sich eine solche “fünf Sterne”-Logik sehr gut, finde ich. In einem zweiten Teil sollte das mini How-To dann konkrete Handlungsempfehlung geben wie die Behörden ihre Daten weiter öffnen kann. Hmm… ich finde so etwas sollten wir machen. Mehr dazu bald auf der Mailingliste.

Aber wie gehen wir eigentlich mit Daten um? Die Einsicht, dass Rohdaten in maschinenlesbarer Form veröffentlicht werden müssen, breitet sich so langsam aus. Doch reicht das wirklich aus? Ist es in Ordnung CSV- oder XML-Dateien in ZIP-Archive zu packen und zum Download anzubieten, wie es zum Beispiel data.gov tut? Es ist ein Segen im Vergleich zum Vorgehen deutscher Behörden, die Daten in PDF-Dokumenten oder Flash-Anwendungen verstecken, oder sie ganz vom Internet fern halten. Aber es ist nicht so wie es sein sollte. Es ist genauso irrsinnig wie der oben beschriebene Umgang mit HTML-Dokumenten.

Wir brauchen keine Website von der man Daten herunterladen kann. Wir benötigen ein Web aus Daten. Die Daten selbst müssen zu einem weltweiten, grenzenlosen Netz werden. Niemand geringeres als der Erfinder des WWW, Tim Berners-Lee fordert eben dies schon seit 2006. Er beschreibt 4 Grundprinzipien für “Linked Data”:

Use URIs as names for things

Use HTTP URIs so that people can look up those names

When someone looks up a URI, provide useful information, using the standards (RDF, SPARQL)

Include links to other URIs. so that they can discover more things

Die Regeln sind im Grunde genommen sehr einfach. Und doch verlangen sie ein grundlegendes Umdenken im Umgang mit Daten und dem Web insgesamt. Die erste Regel verlangt, dass wir URIs verwenden um Dinge zu benennen. Wir identifzieren bereits Webseiten über URIs – genauer: URLs – und auch die besagten ZIP-Pakete werden so identifiziert. Hier muss der erste Umdenkprozess ansetzen: Wir identifzieren nicht mehr nur Webseiten und Dateien über URIs, sondern alle möglichen Dinge. Der Begriff “Ding” beschränkt sich dabei nicht auf konkrete, physische Objekte sondern umfasst prinzipiell alles Exisitente oder Denkbare, auch Personen, Organisationen, abstrakte Konzepte, Themengebiete, Termine und ähnliches fallen darunter.

Die zweite Regel hat einen eher technischen Hintergrund. HTTP-URIs haben schlicht den Vorteil, dass sie über das Domain Name System auflösbar sind.¹ Dies ist nötig um die dritte Regel zu erfüllen: Über die URI müssen nützliche Informationen über das identifzierte “Ding” abrufbar sein. Dass nur strukturierte Rohdaten in offenen Formaten wirklich nützlich sind, weiß jeder der die Open Data Principles verinnerlicht hat. Doch Berners-Lee fordert ausdrücklich Standards wie RDF und SPARQL.

Nie gehört? Womöglich, denn die meisten maschinenlesbaren Daten die im Web zu finden sind, liegen in Form von XML oder CSV vor. Ich werde an dieser Stelle zumindest kurz auf RDF eingehen. Wo liegt das Problem bei CSV? Das Problem sollte spätestens klar werden, wenn man einen Blick auf diese Datei wirft und versucht folgende Fragen zu beantworten:

1. Welche Daten sind in der Datei enthalten? Worum geht es?
2. Was bedeutet ein einzelner Datensatz / eine Zeile dieser Datei?
3. Was bedeutet der Wert in Spalte 3 (und den anderen Spalten)?

CSV-Dateien sind nur verwertbar, wenn die Bedeutung der Daten zwischen den Kommunikationspartnern (d.h. dem der die Daten bereitstellt und demjenigen der sie weiter verarbeitet) abgestimmt ist. Außerdem muss die Bedeutung in die Anwendungen, die die Daten nutzen wollen implementiert werden. Unterschiedliche Anwendungen und sogar unterschiedliche Versionen der gleichen Anwendung könnten die Daten völlig unterschiedlich interpretieren, da die Bedeutung der Daten aus ihnen selbst nicht hervorgeht.

Anders bei RDF: Dieses Datenmodell speichert Informationen in Form von sogenannten “Tripeln”, bestehend aus Subjekt, Prädikat und Objekt. Subjekt ist die Ressource (das “Ding”), die beschrieben wird, Prädikat ist die Aussage die wir über diese Ressource treffen und Objekt ist der Wert oder Gegenstand dieser Aussage. Der Satz “Koblenz liegt am Rhein” ist im Grunde genommen ein RDF-Tripel bei dem “Koblenz” das Subjekt, “liegt am” das Prädikat und “Rhein” das Objekt ist. RDF ist lediglich ein Modell, und als solches nicht an eine spezielle Syntax gebunden. Die wichtigsten Notationsweisen stellt dieser Artikel vor.

RDF ordnet Daten in den Kontext ihrer Bedeutung ein. Während in einer CSV-Datei vermutlich in irgendeiner Spalte einfach nur das Wort “Rhein” stehen würde, enthält das RDF-Modell die komplette Aussage “Koblenz liegt am Rhein”. Ein Web aus Daten entsteht jedoch erst durch Beachtung der vierten Regel: Wir verlinken unsere Daten und erschließen so neue Zusammenhänge! Für unser Beispiel bedeutet dies, dass “Koblenz” und “Rhein” nicht einfach Datenwerte sind, sondern Ressourcen die über eine URI identifiziert werden, bei deren Abruf weitere nützliche Informationen geladen werden (Regel 3!). Zum Beispiel könnten wir durch Abruf der Ressource “Rhein” Informationen über dessen Länge finden, oder welche Städte noch an diesem Fluss liegen (Bzw. die Information, dass es sich dabei überhaupt um einen Fluss handelt!). Das enorme Potential, das die Verlinkung von Daten bietet, kann durch den folgenden RDF-Graphen bestenfalls angedeutet werden:

Ziel ist es, ein weltweites Netz aus Daten zu schaffen, in dem Informationsbestände nicht mehr voneinander abgeschottet in Datenbanken und ZIP-Archiven vermotten, sondern einen globalen Informationsraum bilden, der uns völlig neue und unerwartete Informationszusammenhänge offenbaren wird.

Weitere Informationen zu Linked Data gibt es in der entsprechenden Kategorie in meinem Blog. Dort folgen in unregelmäßigen Abständen kleinere Artikel zum Thema. Eine detailliertere Betrachtung bietet meine Studienarbeit “Chancen und Techniken von Linked Data”. Bei Interesse blogge ich auch gerne nochmal hier im Opendata Blog. Schreibt einfach in die Kommentare was ihr Näheres zu Linked Data wissen möchtet. Ansonsten bietet linkeddata.org einen guten Ausgangspunkt für eigene Recherchen.

¹ Es gibt zum Beispiel Spezial-URIs für ISBN, die auf den ersten Blick hervorragend scheinen um Bücher zu identifzieren. Da diese aber nicht auflösbar (vereinfacht gesagt: über den Browser abrufbar) sind, sollte man sie für den Aufbau eines Webs aus Daten nicht verwenden, sondern sich auf die etablierten HTTP-URIs beschränken.

Last year here at TED I asked you to give me your data, put your data on the web, on the basis that if people put data onto the web, government data, scientific data, community data, whatever it is, it will be used by other people to do wonderful things, in ways that they never could have imagined.

So, today I’m back just to show you a few things, to show you, in fact, there is an open data movement afoot, now around the world. The cry of “raw data now,” which I made people make in the auditorium, was heard around the world. So, let’s roll the video.

Classic story, the first one which lots of people picked up was when in March, March 10th in fact, soon after TED, Paul Clarke, in the U.K. government blogged that, “Oh, I’ve just got some raw data. Here it is, it’s about bicycle accidents.” Two days it took the Times Online to make a map, a mashable map, we call these things mash-ups, a mash-up, user interface that allows you to go in there and have a look and find out whether your bicycle route to work was affected. There’s more data, traffic survey data, again, put out by the U.K. government, and because they put it up using the linked data standards then a user could just make a map, just by clicking.

Does this data effect things? Well actually let’s get back to 2008. Look at Zanesville, Ohio. Here is a map a lawyer made, put on at the water plant, seeing which houses are there, which houses have been connected to the water? And he got, from other data sources, information to show which houses are occupied by white people. Well, there was too much of a correlation, he felt, between which houses were occupied by white people and which houses had water, and the judge was not impressed either. The judge was not impressed to the tune of 10.9 million dollars. That’s the power of taking one piece of data, another piece of data, putting it together, and showing the result.

Let’s look at some data from the U.K. now. This is U.K. government data, completely independent site, Where Does My Money Go, allows anybody to go there and burrow down. You can burrow down by a particular type of spending or you can go through all the different regions and compare them. So, that’s happening in the U.K. with U.K. government data. Yes, certainly you can do it over here.

Here’s a site which allows you to look at recovery spending in California. And take an arbitrary example, Long Beach, California, you can go and have a look at what recovery money they’ve been spending on different things such as energy. In fact, this is the graph of the number of data sets in the repositories of data.gov, and data.gov.uk. And I’m delighted to see a great competition between the U.K. in blue, and the U.S. in red.

How can you use this stuff? Well, for example, if you have lots of data about places you can take, from a postcode, which is like a zip plus four, for a specific group of houses, you can make paper, print off a paper which has got very very specific things about the bus stops, the things specifically near you. Larger scale, this is a mash-up of the data which was released about the Afghan elections. It allows you to set your own criteria for what sort of things you want to look at. The red circles are polling stations, selected by your criteria. And then you can select also other things on the map to see what other factors like the threat level. So, that was government data.

I also talked about community generated — in fact I edited — this is the wiki map, this is the open street map. Terrace Theater, I actually put on the map because it wasn’t on the map before TED last year. I was not the only person editing the open street map. Each flash on this visualization put together by ITO World shows an edit in 2009 made to the open street map. Let’s now spin the world during the same year. Every flash is an edit. Somebody somewhere looking at the open street map, and realizing it could be better. You can see Europe is ablaze with updates. Some places, perhaps not as much as they should be.

Here focusing in on Haiti. The map of Port au-Prince at the end of 2009 was not all it could be, not as good as the map of California. Fortunately, just after the earthquake, GeoEye, a commercial company, released satellite imagery with a license which allowed the open-source community to use it. This is January time lapse, people editing, that’s the earthquake. After the earthquake immediately people all over the world, mappers who wanted to help, and could, looked at that imagery, built the map, quickly building up.

We’re focusing now, Port au-Prince. The blue is refugee camps these volunteers had spotted from the air. So, now we have, immediately, a real-time map showing where there are refugee camps, rapidly became the best map to use if you’re doing relief work in Port au-Prince. Witness the fact that it’s here on this Garmin device being used by rescue team. And Haiti, there is the map showing on the left-hand side there, that hospital, actually that’s a hospital ship.

This is a real-time map that shows blocked roads damaged buildings, refugee camps. It shows things that are needed. So, if you’ve been involved in that at all, I just wanted to say whatever you’ve been doing, whether you’ve just been charting raw data now, or you’ve been putting government or scientific data online, I just wanted to take this opportunity to say thank you very much, and we have only just started. (Applause)

See also the interesting article from Brian Ahier on his Blog. The conversation is also available as mp3 and Podcast