felixlohmeier
/
seminar-wir-bauen-uns-einen-bibliothekskatalog
mirror of https://github.com/felixlohmeier/seminar-wir-bauen-uns-einen-bibliothekskatalog.git
2
0
Fork 0
Code Releases Activity

Nachträge zu Kapiteln 7.0 - 7.3

This commit is contained in:
Felix Lohmeier 2016-11-18 22:40:02 +01:00
parent 0488c40a87
commit a2f25ad91c
3 changed files with 11 additions and 10 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
07_0_datentransformation_mit_openrefine.md
View File

@ -1,6 +1,6 @@
# 7 Datentransformation mit OpenRefine
Ziel: Grundfunktionen von OpenRefine kennenlernen, Daten von MARCXML in eine Tabellenstruktur transformieren und für den Suchindex im Format CSV exportieren
Ziel: Grundfunktionen von OpenRefine kennenlernen, Daten von MARCXML in eine Tabellenstruktur transformieren, exemplarisch Felder für den Suchindex bilden und Daten im Format TSV exportieren
Inhalte:

13
07_1_facetten_und_text_filter.md
View File

@ -1,16 +1,17 @@
# 7.1 Facetten und Text Filter
Alle folgenden Übungen in den Kapiteln 7.1 bis 7.3 führen wir zunächst mit einer einzigen Datei aus dem Download durch. Diese Datei beinhaltet "nur" 100 Datensätze, mit denen wir beispielhaft arbeiten. In Kapitel 7.4 werden wir dann die gelernten Transformationen auf alle 450.000 Datensätze anwenden.
Alle folgenden Übungen in den Kapiteln 7.1 bis 7.3 führen wir zunächst mit einer einzigen Datei aus dem Download durch. Diese Datei beinhaltet "nur" 100 Datensätze, mit denen wir beispielhaft arbeiten. In Kapitel 7.4 und 7.5 werden wir dann die gelernten Transformationen auf alle 450.000 Datensätze anwenden.
OpenRefine "versteht" das MARC-Format nicht. Es interpretiert die Daten daher genauso wie jede andere XML-Datei. Wenn Sie die Daten erstmalig in OpenRefine öffnen, sehen Sie daher die üblichen Nummern und Codes für die jeweiligen MARC-Felder in der Baumstruktur der XML-Datei. Die Bedeutung der MARC-Nummern und Codes müssen Sie nachschlagen. Der GBV bietet meines Wissens nach keine Beschreibung der Feldbelegungen an. Zur Orientierung können Sie die [Arbeitstabelle der Deutschen Nationalbibliothek](http://www.dnb.de/SharedDocs/Downloads/DE/DNB/standardisierung/marc21FeldbeschreibungTitelExcel032016.zip) in der [Dokumentation des MARC21-Formats](http://www.dnb.de/DE/Standardisierung/Formate/MARC21/marc21_node.html) verwenden.
## Aufgabe 1: Analysieren Sie die Daten mit Hilfe von Facetten und Text Filtern
## Aufgabe 1: Verschaffen Sie sich einen Überblick über die Daten(struktur) mit Hilfe von Facetten und Text Filtern
siehe [Seite zur Facettierung in der Dokumentation von OpenRefine](https://github.com/OpenRefine/OpenRefine/wiki/Faceting)
Hinweise:
## Literatur
* Library Carpentry OpenRefine: [Basic OpenRefine Functions I: Working with columns, sorting, faceting, filtering and clustering](https://data-lessons.github.io/library-openrefine/03-basic-functions-I/)
* Starten Sie OpenRefine und laden Sie das in [Kapitel 6.3](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/06_3_openrefine_starten_und_daten_laden.html) angelegte Projekt.
* Schauen Sie sich die Einführungsvideos zu OpenRefine an, insbesondere die ca. [7-Minuten-Kurzeinführung bei YouTube](https://www.youtube.com/watch?v=B70J_H_zAWM)
* Konsultieren Sie die [Seite zur Facettierung in der Dokumentation von OpenRefine](https://github.com/OpenRefine/OpenRefine/wiki/Faceting) und probieren Sie verschiedene Facetten aus.
* Gute Übungen zum Einstieg bietet auch Library Carpentry OpenRefine: [Basic OpenRefine Functions I: Working with columns, sorting, faceting, filtering and clustering](https://data-lessons.github.io/library-openrefine/03-basic-functions-I/)
## Bonusaufgabe: Laden Sie die Arbeitstabelle der DNB in OpenRefine

2
07_3_fuer_jedes_marc-feld_eine_spalte.md
View File

@ -9,7 +9,7 @@ Hinweise:
* Wir nutzen dazu die Funktion "Transpose / Columnize by key/value columns". Vor dem Transpose müssen die Daten in zwei Spalten zusammengeführt werden.
* Für manche zeilenbasierte Operationen müssen Sie wieder auf den Modus "Rows" (statt "Records") wechseln.
* In der Version 2.6rc2 von OpenRefine ist ein Bug in der Transpose-Funktion, daher müssen wir die Version 2.6rc1 oder die aktuelle Entwicklungsversion nutzen.
* In der Version 2.6rc2 von OpenRefine ist ein [Bug in der Funktion Columnize by key/value columns](https://github.com/OpenRefine/OpenRefine/issues/1093), daher müssen wir für diese Aufgabe die Version 2.6rc1 oder die aktuelle Entwicklungsversion nutzen.
```
sudo docker run --rm -p 8888:3333 -v /home/stud/refine:/data felixlohmeier/openrefine:2.6rc1 -i 0.0.0.0 -m 3G -d /data