Ok – hier geht es um “Linked Data”, aber die Idee mit den fünf Sternen lässt sich auch auf Open Government Data übertragen. Ich habe gerade in den letzen Tagen darüber nachgedacht ein mini How-To für deutsche Behörden zu schreiben, wie diese ihre Datenbestände öffnen können. Ein solches Projekt sollte eine Checkliste haben, anhand derer erstmal der Ist-Zustand der Daten hinsichtlich der “Offenheit” überprüft werden kann. Dafür eignet sich eine solche “fünf Sterne”-Logik sehr gut, finde ich. In einem zweiten Teil sollte das mini How-To dann konkrete Handlungsempfehlung geben wie die Behörden ihre Daten weiter öffnen kann. Hmm… ich finde so etwas sollten wir machen. Mehr dazu bald auf der Mailingliste.

Web 3.0 from Kate Ray on Vimeo.

This portal aims to bring together our research and lessons learned from developing a global Public Sector Information (PSI) locator system. Our aim with this website is to assemble a platform for integrating several PSI catalogues that we have identified and downloaded from the Web. With an integrated environment we can execute global/federated searches, navigate the catalogues, and retrieve records regardless of origin.

In the process of “getting there” we are also able to make some general assertions about the contents of these catalogues (i.e. how often is information being published? who are the main publishers in each country? what types of data are being published?). Please use the – Federator – and – Analyzer – boxes to get more info about our work and some cool uris.

Module 1 – Global Retrieval Description

Our primary goal is to investigate the challenges and potentials of a semantically integrated Public Sector Information (PSI) locator service. Our schema integration approach involves the development of a uniform interface – mediated schema – that captures the core concepts of a PSI catalogue. A mediated schema will act as a central hub for training alignment classifiers and matching our catalogues of PSI.

Module 2 – Statistical Analyzer Description

Part 2 of our experiments involves the analysis and correlation of comparable statistics across the PSI catalogues we harvested. Results from such analysis enable us to make general assertions about the contents of the catalogues.

Aber wie gehen wir eigentlich mit Daten um? Die Einsicht, dass Rohdaten in maschinenlesbarer Form veröffentlicht werden müssen, breitet sich so langsam aus. Doch reicht das wirklich aus? Ist es in Ordnung CSV- oder XML-Dateien in ZIP-Archive zu packen und zum Download anzubieten, wie es zum Beispiel data.gov tut? Es ist ein Segen im Vergleich zum Vorgehen deutscher Behörden, die Daten in PDF-Dokumenten oder Flash-Anwendungen verstecken, oder sie ganz vom Internet fern halten. Aber es ist nicht so wie es sein sollte. Es ist genauso irrsinnig wie der oben beschriebene Umgang mit HTML-Dokumenten.

Wir brauchen keine Website von der man Daten herunterladen kann. Wir benötigen ein Web aus Daten. Die Daten selbst müssen zu einem weltweiten, grenzenlosen Netz werden. Niemand geringeres als der Erfinder des WWW, Tim Berners-Lee fordert eben dies schon seit 2006. Er beschreibt 4 Grundprinzipien für “Linked Data”:

Use URIs as names for things

Use HTTP URIs so that people can look up those names

When someone looks up a URI, provide useful information, using the standards (RDF, SPARQL)

Include links to other URIs. so that they can discover more things

Die Regeln sind im Grunde genommen sehr einfach. Und doch verlangen sie ein grundlegendes Umdenken im Umgang mit Daten und dem Web insgesamt. Die erste Regel verlangt, dass wir URIs verwenden um Dinge zu benennen. Wir identifzieren bereits Webseiten über URIs – genauer: URLs – und auch die besagten ZIP-Pakete werden so identifiziert. Hier muss der erste Umdenkprozess ansetzen: Wir identifzieren nicht mehr nur Webseiten und Dateien über URIs, sondern alle möglichen Dinge. Der Begriff “Ding” beschränkt sich dabei nicht auf konkrete, physische Objekte sondern umfasst prinzipiell alles Exisitente oder Denkbare, auch Personen, Organisationen, abstrakte Konzepte, Themengebiete, Termine und ähnliches fallen darunter.

Die zweite Regel hat einen eher technischen Hintergrund. HTTP-URIs haben schlicht den Vorteil, dass sie über das Domain Name System auflösbar sind.¹ Dies ist nötig um die dritte Regel zu erfüllen: Über die URI müssen nützliche Informationen über das identifzierte “Ding” abrufbar sein. Dass nur strukturierte Rohdaten in offenen Formaten wirklich nützlich sind, weiß jeder der die Open Data Principles verinnerlicht hat. Doch Berners-Lee fordert ausdrücklich Standards wie RDF und SPARQL.

Nie gehört? Womöglich, denn die meisten maschinenlesbaren Daten die im Web zu finden sind, liegen in Form von XML oder CSV vor. Ich werde an dieser Stelle zumindest kurz auf RDF eingehen. Wo liegt das Problem bei CSV? Das Problem sollte spätestens klar werden, wenn man einen Blick auf diese Datei wirft und versucht folgende Fragen zu beantworten:

1. Welche Daten sind in der Datei enthalten? Worum geht es?
2. Was bedeutet ein einzelner Datensatz / eine Zeile dieser Datei?
3. Was bedeutet der Wert in Spalte 3 (und den anderen Spalten)?

CSV-Dateien sind nur verwertbar, wenn die Bedeutung der Daten zwischen den Kommunikationspartnern (d.h. dem der die Daten bereitstellt und demjenigen der sie weiter verarbeitet) abgestimmt ist. Außerdem muss die Bedeutung in die Anwendungen, die die Daten nutzen wollen implementiert werden. Unterschiedliche Anwendungen und sogar unterschiedliche Versionen der gleichen Anwendung könnten die Daten völlig unterschiedlich interpretieren, da die Bedeutung der Daten aus ihnen selbst nicht hervorgeht.

Anders bei RDF: Dieses Datenmodell speichert Informationen in Form von sogenannten “Tripeln”, bestehend aus Subjekt, Prädikat und Objekt. Subjekt ist die Ressource (das “Ding”), die beschrieben wird, Prädikat ist die Aussage die wir über diese Ressource treffen und Objekt ist der Wert oder Gegenstand dieser Aussage. Der Satz “Koblenz liegt am Rhein” ist im Grunde genommen ein RDF-Tripel bei dem “Koblenz” das Subjekt, “liegt am” das Prädikat und “Rhein” das Objekt ist. RDF ist lediglich ein Modell, und als solches nicht an eine spezielle Syntax gebunden. Die wichtigsten Notationsweisen stellt dieser Artikel vor.

RDF ordnet Daten in den Kontext ihrer Bedeutung ein. Während in einer CSV-Datei vermutlich in irgendeiner Spalte einfach nur das Wort “Rhein” stehen würde, enthält das RDF-Modell die komplette Aussage “Koblenz liegt am Rhein”. Ein Web aus Daten entsteht jedoch erst durch Beachtung der vierten Regel: Wir verlinken unsere Daten und erschließen so neue Zusammenhänge! Für unser Beispiel bedeutet dies, dass “Koblenz” und “Rhein” nicht einfach Datenwerte sind, sondern Ressourcen die über eine URI identifiziert werden, bei deren Abruf weitere nützliche Informationen geladen werden (Regel 3!). Zum Beispiel könnten wir durch Abruf der Ressource “Rhein” Informationen über dessen Länge finden, oder welche Städte noch an diesem Fluss liegen (Bzw. die Information, dass es sich dabei überhaupt um einen Fluss handelt!). Das enorme Potential, das die Verlinkung von Daten bietet, kann durch den folgenden RDF-Graphen bestenfalls angedeutet werden:

Ziel ist es, ein weltweites Netz aus Daten zu schaffen, in dem Informationsbestände nicht mehr voneinander abgeschottet in Datenbanken und ZIP-Archiven vermotten, sondern einen globalen Informationsraum bilden, der uns völlig neue und unerwartete Informationszusammenhänge offenbaren wird.

Weitere Informationen zu Linked Data gibt es in der entsprechenden Kategorie in meinem Blog. Dort folgen in unregelmäßigen Abständen kleinere Artikel zum Thema. Eine detailliertere Betrachtung bietet meine Studienarbeit “Chancen und Techniken von Linked Data”. Bei Interesse blogge ich auch gerne nochmal hier im Opendata Blog. Schreibt einfach in die Kommentare was ihr Näheres zu Linked Data wissen möchtet. Ansonsten bietet linkeddata.org einen guten Ausgangspunkt für eigene Recherchen.

¹ Es gibt zum Beispiel Spezial-URIs für ISBN, die auf den ersten Blick hervorragend scheinen um Bücher zu identifzieren. Da diese aber nicht auflösbar (vereinfacht gesagt: über den Browser abrufbar) sind, sollte man sie für den Aufbau eines Webs aus Daten nicht verwenden, sondern sich auf die etablierten HTTP-URIs beschränken.

Last year here at TED I asked you to give me your data, put your data on the web, on the basis that if people put data onto the web, government data, scientific data, community data, whatever it is, it will be used by other people to do wonderful things, in ways that they never could have imagined.

So, today I’m back just to show you a few things, to show you, in fact, there is an open data movement afoot, now around the world. The cry of “raw data now,” which I made people make in the auditorium, was heard around the world. So, let’s roll the video.

Classic story, the first one which lots of people picked up was when in March, March 10th in fact, soon after TED, Paul Clarke, in the U.K. government blogged that, “Oh, I’ve just got some raw data. Here it is, it’s about bicycle accidents.” Two days it took the Times Online to make a map, a mashable map, we call these things mash-ups, a mash-up, user interface that allows you to go in there and have a look and find out whether your bicycle route to work was affected. There’s more data, traffic survey data, again, put out by the U.K. government, and because they put it up using the linked data standards then a user could just make a map, just by clicking.

Does this data effect things? Well actually let’s get back to 2008. Look at Zanesville, Ohio. Here is a map a lawyer made, put on at the water plant, seeing which houses are there, which houses have been connected to the water? And he got, from other data sources, information to show which houses are occupied by white people. Well, there was too much of a correlation, he felt, between which houses were occupied by white people and which houses had water, and the judge was not impressed either. The judge was not impressed to the tune of 10.9 million dollars. That’s the power of taking one piece of data, another piece of data, putting it together, and showing the result.

Let’s look at some data from the U.K. now. This is U.K. government data, completely independent site, Where Does My Money Go, allows anybody to go there and burrow down. You can burrow down by a particular type of spending or you can go through all the different regions and compare them. So, that’s happening in the U.K. with U.K. government data. Yes, certainly you can do it over here.

Here’s a site which allows you to look at recovery spending in California. And take an arbitrary example, Long Beach, California, you can go and have a look at what recovery money they’ve been spending on different things such as energy. In fact, this is the graph of the number of data sets in the repositories of data.gov, and data.gov.uk. And I’m delighted to see a great competition between the U.K. in blue, and the U.S. in red.

How can you use this stuff? Well, for example, if you have lots of data about places you can take, from a postcode, which is like a zip plus four, for a specific group of houses, you can make paper, print off a paper which has got very very specific things about the bus stops, the things specifically near you. Larger scale, this is a mash-up of the data which was released about the Afghan elections. It allows you to set your own criteria for what sort of things you want to look at. The red circles are polling stations, selected by your criteria. And then you can select also other things on the map to see what other factors like the threat level. So, that was government data.

I also talked about community generated — in fact I edited — this is the wiki map, this is the open street map. Terrace Theater, I actually put on the map because it wasn’t on the map before TED last year. I was not the only person editing the open street map. Each flash on this visualization put together by ITO World shows an edit in 2009 made to the open street map. Let’s now spin the world during the same year. Every flash is an edit. Somebody somewhere looking at the open street map, and realizing it could be better. You can see Europe is ablaze with updates. Some places, perhaps not as much as they should be.

Here focusing in on Haiti. The map of Port au-Prince at the end of 2009 was not all it could be, not as good as the map of California. Fortunately, just after the earthquake, GeoEye, a commercial company, released satellite imagery with a license which allowed the open-source community to use it. This is January time lapse, people editing, that’s the earthquake. After the earthquake immediately people all over the world, mappers who wanted to help, and could, looked at that imagery, built the map, quickly building up.

We’re focusing now, Port au-Prince. The blue is refugee camps these volunteers had spotted from the air. So, now we have, immediately, a real-time map showing where there are refugee camps, rapidly became the best map to use if you’re doing relief work in Port au-Prince. Witness the fact that it’s here on this Garmin device being used by rescue team. And Haiti, there is the map showing on the left-hand side there, that hospital, actually that’s a hospital ship.

This is a real-time map that shows blocked roads damaged buildings, refugee camps. It shows things that are needed. So, if you’ve been involved in that at all, I just wanted to say whatever you’ve been doing, whether you’ve just been charting raw data now, or you’ve been putting government or scientific data online, I just wanted to take this opportunity to say thank you very much, and we have only just started. (Applause)

Siri – The Personal Assistant in your Phone from Tom Gruber on Vimeo.

Mills Davis, Managing Director von Project10X zu Siri:

Sure, it’s far from perfect, but I’m impressed. SIRI points the way to the next level of semantic web apps  in which the semantic web becomes more than just a “web of data,”  but also a “web of services” with intelligent UIs.  Today, people are discovering the value of linked (open) data. That is, connecting information across the web creates new value and is more than simple aggregation.  But, what SIRI demonstrates is that we can also talk about the value linked (open) services that put this information to work for people. You are no longer merely searching or browsing, no longer just retrieving information; rather, you’re solving human problems. That’s using the web in a whole new way.

Now, you might ask, are semantic web standards quite ready for this new breed of applications? If not, then it’s probably a good time to update them so we can have “semantic APIs” to make building them easier.

Hier nun ein weiteres Beispiel für das innovative Potential von Open Data: Die Firma Factual mit seinen Niederlassungen in Shanghai und Los Angeles entwickelt diverse Tools mit denen sich offene Daten finden, auswerten, mischen und einbetten lassen.

Upload or create data tables

• Contribute to the open data ecosystem
• Use tools to improve your data

Publishers: add Factual data to your site

• Embed high quality, free content or use our API
• Make your site more interactive

Developer: Build apps using our API. Customize any way you like!

Auf der Webseite von  Factual steht in der Selbstbeschreibung:

Factual is a platform where anyone can share and mash open data on any subject. For example, you might find a directory of California restaurants, a database ofendocrinologists, or a list of American Idol finalists. We provide smart tools to help the community build and maintain a trusted source of structured data. And this data can be used through widgets and APIs to help application developers and content publishers be more innovative and productive.

Often, data is difficult to find and access, inaccurate, and sometimes expensive. Information seekers are often overwhelmed with too many, often contradictory sources or frustrated by too few. Today, access to clean and reliable structured data is still a headache.

Factual was founded to provide open access to better structured data. And that means developers can build more innovative apps, publishers can access high-quality content, and ultimately, everyone, can make better decisions. More specifically, we offer:

• An open data repository. We think a good route to low or zero cost and high quality data is the open data model. By making data open to access (read) so that developers can create valuable new applications , and by making the data open for opinion, comment, and debate (write) – we hope to catalyze support for certain data verticals.
• Collaborative tools. We help communities collaborate real-time on open data projects, whether by manually adding a single value or uploading an entire dataset.
• Data accountability. For each fact, we store user inputs, sources, citations — basically a fully documented (and computable) history.
• Data sourcing and improvement. Our methods include capturing existing non-proprietary data, user and community contributions, content partnerships, and sophisticated data improvement tools that algorithmically discover, mine, and merge data.

Who Are We?

Factual was founded in 2007 by Gil Elbaz, co-founder of Applied Semantics (AdSense), which was acquired by Google in 2003. Gil has had a lifelong passion for organizing and structuring information, and building smart tools which can better make sense of data. Along with founding engineers, Tim Chklovski and Myron Ahn, Factual was built on the idea that it would be a better world if more decisions were data-driven. So we set out to develop an open data platform and community in an effort to maximize data accuracy, transparency and availability.