Hochwertige Datensätze (HVD) - FAQs und mehr

Häufig gestellte Fragen zum Thema "Hochwertige Datensätze (HVD)"

Allgemeine Vorgaben

Kann die Bereitstellung einer API gemäß Artikel 3 der DVO-HVD durch eine zentrale Stelle  bzw. über ein zentrales Portal erfolgen, um die Verfügbarkeit und Pflege der API-Nutzungsbedingungen und API-Dokumentation sowie die Bereitstellung einer Kontaktstelle für Fragen und Probleme zu den APIs zu vereinfachen? Wie müssen in diesem Fall die Daten für die zentrale API aufbereitet werden und wie kann dabei eine redundante Datenhaltung vermieden werden? 

Grundsätzlich sollte die Bereitstellung über APIs durch die datenhaltenden Stellen erfolgen.

Datenhaltende Stellen müssen dabei

• gewährleisten, dass die Daten über eine API und ggf. als Massendownload zur Verfügung gestellt werden (Art. 3(1))
• Nutzungsbedingungen und Kriterien für die Dienstqualität festlegen und veröffentlichen (Art. 3(2))
• API-Nutzungsbedingungen und API-Dokumentation veröffentlichen (Art. 3(3))
• Eine Kontaktstelle benennen (Art. 3(4))
• Datensätze in den Metadaten als HVD kennzeichnen (Art. 3(5))

Die zentrale technische Bereitstellung einer API (und Erfüllung der damit verbundenen Dokumentations- und Veröffentlichungspflichten) für mehrere datenhaltende Stellen ist generell denkbar und mit den Vorgaben der HVD-VO vereinbar. Eine zentrale Bereitstellung von APIs auf Bundes- oder Landesebene ist derzeit nicht generell vorgesehen, kann in Einzelfällen aber diskutiert werden. 

Dabei ist zu bedenken, dass eine zentrale Bereitstellung nur dann sinnvoll ist, wenn es bisher keine Bereitstellung über eine API gibt, die den Kriterien entspricht. So sind für Geodaten und Daten, die unter die INSPIRE-Richtlinie fallen, APIs bereits vorhanden und erfüllen in der Regel die Anforderungen der DVO-HVD. 

Wird eine Bereitstellung durch eine zentrale Stelle sollte zwischen der datenhaltenden Stelle und der Stelle, die die API bereitstellt, vereinbart werden, ob/wie die Daten aufbereitet und übermittelt werden sollen und wie mit der Aktualisierung der Daten umgegangen werden soll. Dabei sollten die Aktualisierungsfristen der HVD beachtet werden.

Gibt es Vorgaben, wo und wie die HVD veröffentlicht werden sollen? Wie ist mit bereits vorhandenen Online-Datenportalen und verfügbaren Massendownloads der datenhaltenden Stellen umzugehen?

Die Daten sollten über die Portale der datenhaltenden Stellen bereitgestellt werden. Die Metadaten werden über GovData zentral bereitgestellt.

Wenn es bereits Massendownloads für relevante Daten gibt, die die entsprechenden Vorgaben der HVD-VO erfüllen, sollten diese angegeben werden.

Die aus der HVD DVO entstehende Pflicht zur Berichterstattung erfolgt über die Kataloge der nationalen Datenportale, in Deutschland GovData. (Referenz/Quelle: GovData: Informationen zu Hochwertige Datensätze / Allgemein)

Generell sollten soweit wie möglich bestehende Bereitstellungswege und -strukturen genutzt werden.

Bei Fragen zur Bereitstellung können sich datenhaltende Stellen an zuständige GDI-Kontaktstelle (für Geodaten) oder die zuständige Open-Data-Kontaktstelle (für andere Daten) wenden.

Sind Datensätze, welche bereits gemäß INSPIRE-Richtlinie veröffentlicht werden, nochmal über definierte Schnittstellen nach DVO-HVD bereitzustellen? Erfüllen die Bereitstellungswege, die im Bereich INSPIRE gelten, auch die Anforderungen der DVO-HVD?

Grundsätzlich erfüllen INSPIRE-konform veröffentlichte Datensätze, sofern sie unter einer offenen Lizenz stehen und zusätzlich in den Metadaten als HVD-Datensätze gekennzeichnet sind, die Anforderungen aus der DVO-HVD. Für einige Kategorien (Meteorologie und Mobilität) sind zudem die zum Teil höheren Aktualisierungsanforderungen zu berücksichtigen.

Welche Unterstützung gibt es bei der Anwendung "geeignete(r) Methoden und Techniken (wie Generalisierung, Aggregierung, Datenunterdrückung, Anonymisierung, differentielle Privatsphäre oder Randomisierung) (...), um so viele Daten wie möglich für die Weiterverwendung zur Verfügung zu stellen“ (Erwägungsgrund (8))?

Falls die Bereitstellung hochwertiger Datensätze zur Weiterverwendung mit der Verarbeitung personenbezogener Daten einhergeht, sollte diese Verarbeitung im Einklang mit dem Unionsrecht zum Schutz natürlicher Personen bei
der Verarbeitung personenbezogener Daten, insbesondere der Verordnung (EU) 2016/679 des Europäischen Parlaments und des Rates, und mit allen Bestimmungen des nationalen Rechts zur Präzisierung der Anwendung
der DSGVO erfolgen. 

FITKO: Gibt es hierfür Unterstützungen / Leitlinien?

Welche zeitlichen Rahmenbedingungen zur Umsetzung der DVO-HVD gibt es seitens des Bundes?

Umsetzung bis 09.06.2024,

erster Bericht über Umsetzung am 11.01.2025 

FITKO: andere (interne) Deadlines zur Vorbereitung des Berichts?

Anwendungsbereich und Zuständigkeiten

Sind nach DVO-HVD alle betroffenen Datensätze bereitzustellen oder ist jeweils ein (nationaler) Datensatz ausreichend? Gelten die Vorgaben der DVO-HVD auch für nicht transformierte ("as-is") INSPIRE-Daten?

Alle Datensätze, die unter die in der DVO-HVD referenzierten INSPIRE-Themen fallen, müssen als HVD gekennzeichnet und bereitgestellt werden. Darunter fallen sowohl die harmonisierten INSPIRE-Datensätze als auch die "as-is"-Datensätze.

HVDs, die nicht "inspireidentifiziert" sind, müssen dann aufgrund der DVO-VO die Anforderungen an INSPIRE-Metadaten erfüllen. Bereitstellung über APIs und als Bulk Download über die Schnittstellen, die in der Architektur der GDI-DE empfohlen sind.

Im Rahmen der Berichtspflichten der unter 2.1 des Anhangs der DVO-HVD aufgeführten Tabelle „Umweltbereich | Rechtsakte zur Festlegung der Schlüsselvariablen“ aufgeführten Richtlinien werden auch Zeitreihendaten. Adressiert die DVO-HVD diese Zeitreihendaten oder sind lediglich „klassische“ Geodaten angesprochen?

Die zweite Tabelle in Abschnitt 2.1 des Anhangs bezieht sich auf Datensätze, „die im Zusammenhang mit den (...) aufgeführten Rechtsakten erstellt oder generiert werden“, d.h. diese Tabelle ist unabhängig von den von der INSPIRE-RL umfassten Datensätzen (diese stehen in der ersten Tabelle). Daher sollten auch Zeitreihendaten bereitgestellt werden.

Beispiele: ...

Sind Länder und Kommunen für alle thematischen Kategorien der Hochwertigen Datensätze (HVD) zuständig? Oder werden die Daten bestimmter Kategorien alleine durch nationale Stellen (z.B. dem Statistischen Bundesamt für die Kategorie Statistik oder dem DWD für die Kategorie Meteorologie) bereitgestellt?

Konkret ist laut Aussage des StBA die thematische Kategorie Statistik nicht alleine vom Statistischen Bundesamt bearbeitet, sondern es können auch andere Behörden (sog. Other National Authorities) wie das UBA, die BLE oder das JKI zu Statistiken melden. Und auch für die Kategorie Meteorologie können die dort betroffenen „Beobachtungsdaten, die von Wetterstationen gemessen werden“ und evtl. auch „validierte Beobachtungen (Klimadaten)“ auch bei anderen Stellen (z.B. Kommunen) vorliegen.

Für die HVD-Datensätze, die unter eines oder mehrere INSPIRE-Datenthemen fallen, können Zuständigkeiten aus den INSPIRE-Zuständigkeiten abgeleitet werden.

Sollen Daten, die gemäß der in der Kategorie "Erdbeobachtung und Umwelt" genannten Rechtsakten an die EU-KOM zu berichten oder direkt zu veröffentlichen sind, zentral vom Bund gemäß den Vorgaben der DVO-HVD veröffentlicht? Oder soll diese Daten zusätzlich bzw. stattdessen von den Stellen in den Bundesländern oder Kommunen , die die Daten originär erheben und zur EU-Berichterstattung an den Bund weiterleiten, gemäß DVO-HVD veröffentlicht werden?

Welche Stelle die in der zweiten Tabelle in Abschnitt 2.1 des Anhangs genannten Datensätze, „die im Zusammenhang mit den (...) aufgeführten Rechtsakten erstellt oder generiert werden“, gemäß DVO-HVD veröffentlichen sollte, ist im Einzelfall zu prüfen. Dazu wird das BMUV in Zusammenarbeit mit dem UBA, BfN und den Ländern und in Abstimmung mit der EU-KOM eine Übersicht der hier betroffenen Datensätze und dem jeweils empfohlenen Bereitstellungsweg erstellen.

Beschreibung der HVD mit Metadaten

Müssen für einen Hochwertigen Datensatz eigenständige Datensätze mit eigener Metadatenbeschreibung erfasst bzw. erstellt werden?

Nein, denn die DVO-HVD bezieht sich auf die bereits vorhandenen Datensätze und enthält keine Vorgaben zur Datenstruktur. Daher sollten zusätzliche bzw. redundante Metadatensätze vermieden werden.

Wie soll eine Kennzeichnung als Hochwertiger Datensatz in den Metadaten aussehen?

Gemäß der DVO-HVD müssen öffentliche Stellen, die im Besitz im Anhang aufgeführter hochwertiger Datensätze sind, dafür sorgen, dass die Datensätze in ihrer Metadatenbeschreibung als hochwertige Datensätze gekennzeichnet werden (DVO-HVD Art. 3, Abs. 5). Die GDI-DE hat hierzu als verpflichtenden Konvention für alle Metadaten in der GDI-DE festgelegt, dass in den Metadaten die Angabe der Kategorie als Schlüsselwort in Verbindung mit einer Quellenangabe zu realisieren ist. (Hinweis: Die notwendige Fortschreibung des Dokumentes "Konventionen zu Metadaten" mit dieser verpflichtenden Vorgabe zur Nutzung eines bestimmten Metadatenelements ist derzeit noch in der Bearbeitung im AK Metadaten / vgl.weise wie im Kapitel 3.2.1 der GDI-DE "Konventionen zu Metadaten").

Wie sind die Anforderungen zur Beschreibung der Semantik und Struktur der Datensätze in den Metadaten umzusetzen?

Gemäß der DVO-HVD müssen für die Kategorien „Erdbeobachtung und Umwelt“, „Meteorologie“, „Statistik“, „Unternehmen und Eigentümerschaft von Unternehmen“ und „Mobilität“ die Datensätze in einer vollständigen und öffentlich zugänglichen Online-Dokumentation beschrieben werden, aus der zumindest die Datenstruktur und -semantik hervorgeht (DVO-HVD Anhang 2.2 c), 3.2 c), 4.2 c), 5.2 b) und 6.2 c)). Die GDI-DE erachtet es als sinnvoll, eine entsprechende Referenz auf die Online-Dokumentation als Information in den Metadaten abzulegen. (Hinweis: Die notwendige Fortschreibung des Dokumentes "Konventionen zu Metadaten" mit einer entsprechenden Vorgabe bzw. Empfehlung zur Nutzung eines bestimmten Metadatenelements ist derzeit noch in der Bearbeitung im AK Metadaten)

Bereitstellung der HVD über API und Massen-Download

Sind für die von der DVO-HVD vorgeschriebenen APIs bestimmte technische Spezifikationen und/oder Standards vorgesehen? Kann die Definition und Dokumentation geeigneter Schnittstellenformate gebündelt auf Ressort-, Landes- oder Bundesebene erfolgen? 

„Anwendungsprogrammierschnittstelle (API)“ ist in Art. 2(6) sehr generell als „ein Bestand an Funktionen, Verfahren, Definitionen und Protokollen für die Maschine-zu-Maschine-Kommunikation und den lückenlosen Datenaustausch“ definiert. Darüber hinaus macht die DVO-HVD macht keine generellen Vorgaben für die zu verwendenden API-Spezifikationen oder -Standards. APIs müssen lediglich dokumentiert sein, und es müssen lediglich Nutzungsbedingungen definiert und veröffentlicht werden (Art. 3(2+3)).

Generell ist zu empfehlen, sich auf etablierte API-Definitionen und -Dokumentationen zu beziehen, sei es auf internationaler, EU, Bundes- oder Landesebene. Für INSPIRE-konform veröffentlichte Datensätze, die einer der bestehenden INSPIRE Technical Guidelines oder Good Practices für Download Services folgen, kann die Dokumentationspflicht beispielsweise durch einen Verweis auf das TG- oder GP-Dokument erfüllt werden.

Die Nutzungsbedingungen eines Dienstes oder einer API werden in den zugehörigen Dienst-Metadaten beschrieben (vergl. Kapitel 2.9 der GDI-DE "Konventionen zu Metadaten").

Fachspezifische Fragestellungen (TBD)

Ist eine zentrale Koordinierungs- und Anlaufstelle auf Bundesebene für übergeordnete Fragen und die Koordinierung der Umsetzung der DVO-HVD im Umweltbereich geplant? Aufgaben einer solchen Koordinierungsstelle könnten die Erstellung eines Umsetzungsleitfadens, die Unterstützung bei der Identifikation der betroffenen Datensätze in Zusammenarbeit mit den UMK-Fachgremien, die Klärung einer zentralen technischen Bereitstellung (insbesondere dort, wo bereits Berichtsdaten vorliegen) sowie die Organisation von Wissensaustausch/Fortbildungen sein.

Derzeit ist keine zentrale Koordinierungs- und Anlaufstelle auf Bundesebene geplant. Das BMUV trägt aber - in Zusammenarbeit mit den relevanten UMK-Fachgremien - zu den FAQs zur DVO-HVD-Umsetzung im Umweltbereich und insbesondere den von der Kategorie "Erdbeobachtung und Umwelt" betroffenen Datensätzen bei.

Die Frage, für welche Datensätze eine zentrale Bereitstellung sinnvoll wäre und welche Stelle diese übernehmen könnte, muss von Fall zu Fall diskutiert werden.

Welches Datenformat wird unter „maschinenlesbar“ verstanden (RDF, XML, JSON, SHP, XLS, PDF, etc.)?

Die Open Data-RL definiert „maschinenlesbares Format“ als ein "Dateiformat, das so strukturiert ist, dass Softwareanwendungen konkrete Daten, einschließlich einzelner Sachverhaltsdarstellungen und deren interner Struktur, leicht identifizieren, erkennen und extrahieren können". Diese Definition entspricht 2 Sternen in dem weit-verbreiteten 5-Sterne-Modell offener Daten (https://5stardata.info/de/). Nach dieser Definition könnten alle genannten Formate, einschließlich unter bestimmten Voraussetzungen (z.B. Barrierefreieheit) PDF-Dokumente, als maschinenlesbar betrachtet werden. 

Z.T. werden im Anhang auch konkrete Formate genannt bzw. weitere Vorgaben gemacht (z.B. „in einem öffentlich dokumentierten, unionsweit oder international anerkannten offenen, maschinenlesbaren Format“ - entsprechend 3 Sterne im 5-Sterne-Modell), die zur Orientierung für die Wahl geeigneter Formate bieten können.

Wo müssen die in Abschnitt 2.1 des Anhangs beschriebenen Datensätze, “die im Zusammenhang mit den in der zweiten folgenden Tabelle aufgeführten Rechtsakten erstellt oder generiert werden", vorliegen (z.B. Internet/Intranet, Fachsysteme/Datenbanken, Excel-Tabellen/Dateisysteme, etc.), um unter die Vorgaben der DVO-HVD zu fallen?

Die DVO-HVD betrifft alle Datensätze, die „im Zusammenhang mit den in der zweiten folgenden Tabelle aufgeführten Rechtsakten erstellt oder generiert werden“, unabhängig davon, wo/wie sie momentan vorgehalten werden.

Wie ist der Passus „… die zusammen den gesamten Mitgliedstaat abdecken“, insbesondere für Zeitreihendaten, zu interpretieren?

Hier ist gemeint, dass alle den gesamten Mitgliedsstaat betreffenden Daten bereitzustellen sind, z.B. alle Messstellen in einem nationalen Messnetz. 

Wie ist die Aussage zum Maßstab in Abschnitt 2.1 des Anhangs zu verstehen? Für die Berichterstattung unter den angesprochenen Richtlinien im Umweltbereich werden umfangreiche Bestände von Zeitreihendaten erhoben, welche in der Regel Messstellen/Punktkoordinaten zugeordnet und als solche keinem Maßstabsbereich zuzuordnen sind.

Diese Angaben gelten in der Tat primär für flächige und linienförmige Geodaten. Der Standort einer Messstation ist einfach über deren Koordinaten bereitzustellen.

Welche Datensätze werden bei der unter 2.1 des Anhangs der HVD-VO aufgeführten Tabelle „Umweltbereich | Rechtsakte zur Festlegung der Schlüsselvariablen“ angesprochen?

Welche Datensätze in dieser Tabelle genau angesprochen werden, ist bislang unklar. Das BMUV wird dazu in Zusammenarbeit mit dem UBA, BfN und den Ländern und in Abstimmung mit der EU-KOM eine Übersicht der hier betroffenen Datensätze und dem jeweils empfohlenen Bereitstellungsweg erstellen.

Welche der in Artikel 7 der Richtlinie 2003/4/EG aufgeführten Daten fallen unter die HVD-VO?

Artikel 7(2) der Richtlinie 2003/4/EG listet zumindest folgende "Informationen, die zugänglich zu machen und zu verbreiten sind":

a) den Wortlaut völkerrechtlicher Verträge, Übereinkünfte und Vereinbarungen sowie gemeinschaftlicher, nationaler, regionaler oder lokaler Rechtsvorschriften über die Umwelt oder mit Bezug zur Umwelt;

b) Politiken, Pläne und Programme mit Bezug zur Umwelt;

c) Berichte über die Fortschritte bei der Umsetzung der unter Buchstaben a) und b) genannten Punkte, sofern solche Berichte von den Behörden in elektronischer Form ausgearbeitet worden sind oder bereitgehalten werden;

d) Umweltzustandsberichte nach Absatz 3;

e) Daten oder Zusammenfassungen von Daten aus der Überwachung von Tätigkeiten, die sich auf die Umwelt auswirken oder wahrscheinlich auswirken;

f) Genehmigungen, die erhebliche Auswirkungen auf die Umwelt haben, und Umweltvereinbarungen oder einen Hinweis darauf, wo diese Informationen im Rahmen von Artikel 3 beantragt oder gefunden werden können;

g) Umweltverträglichkeitsprüfungen und Risikobewertungen betreffend die in Artikel 2 Nummer 1 Buchstabe a) genannten Umweltbestandteile oder einen Hinweis darauf, wo diese Informationen im Rahmen von Artikel 3 beantragt oder gefunden werden können.

Artikel 2(3) des UIG, das diese Richtlinie in deutsches Recht umsetzt, definiert Umweltinformationen als Daten über:

1. den Zustand von Umweltbestandteilen wie Luft und Atmosphäre, Wasser, Boden, Landschaft und natürliche Lebensräume einschließlich Feuchtgebiete, Küsten- und Meeresgebiete, die Artenvielfalt und ihre Bestandteile, einschließlich gentechnisch veränderter Organismen, sowie die Wechselwirkungen zwischen diesen Bestandteilen;
2. Faktoren wie Stoffe, Energie, Lärm und Strahlung, Abfälle aller Art sowie Emissionen, Ableitungen und sonstige Freisetzungen von Stoffen in die Umwelt, die sich auf die Umweltbestandteile im Sinne der Nummer 1 auswirken oder wahrscheinlich auswirken;
3. Maßnahmen oder Tätigkeiten, die
   1. sich auf die Umweltbestandteile im Sinne der Nummer 1 oder auf Faktoren im Sinne der Nummer 2 auswirken oder wahrscheinlich auswirken oder
   2. den Schutz von Umweltbestandteilen im Sinne der Nummer 1 bezwecken; zu den Maßnahmen gehören auch politische Konzepte, Rechts- und Verwaltungsvorschriften, Abkommen, Umweltvereinbarungen, Pläne und Programme;
4. Berichte über die Umsetzung des Umweltrechts;
5. Kosten-Nutzen-Analysen oder sonstige wirtschaftliche Analysen und Annahmen, die zur Vorbereitung oder Durchführung von Maßnahmen oder Tätigkeiten im Sinne der Nummer 3 verwendet werden, und
6. den Zustand der menschlichen Gesundheit und Sicherheit, die Lebensbedingungen des Menschen sowie Kulturstätten und Bauwerke, soweit sie jeweils vom Zustand der Umweltbestandteile im Sinne der Nummer 1 oder von Faktoren, Maßnahmen oder Tätigkeiten im Sinne der Nummern 2 und 3 betroffen sind oder sein können; hierzu gehört auch die Kontamination der Lebensmittelkette.

Damit wären alle Daten, die unter UIG-Anfragen zugänglich gemacht werden müssen, als offene Daten über APIs und als Massendownload zur Verfügung zu stellen.

Abstimmungsbedarf mit der FITKO (intern)

• Aufnahme/Ergänzung "GDI-DE-FAQs" auf GovData-Webseite
• In der Kategorie "Erdbeobachtung und Umwelt" sollen die "aktuellsten Datensätze ..., die ... zusammen den gesamten Mitgliedstaat abdecken" bereitgestellt werden. Wie ist die Abdeckung des gesamten Mitgliedstaates zu verstehen, wenn es sich um einen Datensatz handelt, der nur einen Teil des gesamten Mitgliedstaates abdeckt (z. B. regionale Befliegung) und nicht bekannt ist, ob weitere Datensätze existieren, mit denen eine vollständige Abdeckung erreicht werden könnte?

• Laut den FAQs auf https://www.govdata.de/hochwertige-datensaetze erfasst die DVO-HVD "nur solche Datensätze, die öffentliche Stellen bereits erheben und (ggf. auf Anfrage) anbieten." D. h. intern genutzte Daten müssen nicht bereitgestellt werden? Worauf stützt sich diese Aussage?

• Aus unserer Sicht erfüllen Atom Feeds die Anforderungen an APIs im Sinne der DVO-HVD (Maschine-zu-Maschine-Kommunikation ist möglich, kein Zugriff auf einzelne Objekte gefordert). Wir regen daher an, die FAQ  "Welche technischen Anforderungen bestehen an den Massen-Download via Anwendungsprogrammierschnittstellen?"entsprechend zu ändern.
• Gibt es auch FITKO-Sicht Empfehlungen zum Thema "maschinenlesbare Formate" - wird z.B. Excel oder barrierefreies PDF als "maschinenlesbar" im Sinne der DVO-HVD verstanden?

• Sind Leitlinien und ist Unterstützung zum Thema "geeignete Methoden und Techniken (wie Generalisierung, Aggregierung, Datenunterdrückung, Anonymisierung, differentielle Privatsphäre oder Randomisierung)" geplant?

• Gibt es bereits einen Zeitplan mit Fristen für die datenhaltenden Stellen für die Erstellung des ersten Berichts (der im Januar 2025 fällig ist)?