Nachträge zu Kapitel 6
This commit is contained in:
Felix Lohmeier
parent
869c595b4d
commit
8595a81057
|
|
@ -3,11 +3,14 @@
|
|||
Ziel: Container-Lösungen am Beispiel von Docker kennenlernen, OpenRefine installieren und Daten in ein neues Projekt in OpenRefine laden
|
||||
|
||||
Inhalte:
|
||||
1. [Installation Docker](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/06_1_installation_docker.html)
|
||||
2. [Installation OpenRefine](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/06_2_installation_openrefine.html)
|
||||
3. [OpenRefine starten und Daten laden](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/06_3_openrefine_starten_und_daten_laden.html)
|
||||
|
||||
1. [Installation Docker](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/06_1_installation_docker.html)
|
||||
2. [Installation OpenRefine](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/06_2_installation_openrefine.html)
|
||||
3. [OpenRefine starten und Daten laden](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/06_3_openrefine_starten_und_daten_laden.html)
|
||||
|
||||
Beiträge der Studierenden in den Lerntagebüchern:
|
||||
|
||||
* [Sudo-Docker-WINSCP-OpenRefine=Chaos](https://dennislerntnichtaus.wordpress.com/)
|
||||
* [OpenRefine - Lika A Diamant](https://xyopendiscovery.wordpress.com/2016/10/29/%e2%99%a5-openrefine-like-a-diamant/) und [OpenRefine mit Docker ♥ part 1](https://xyopendiscovery.wordpress.com/2016/11/05/open%e2%97%8arefine-mit-docker-%e2%99%a5-part-1/) und [Docker // Container // OpenRefine](https://xyopendiscovery.wordpress.com/2016/11/05/docker-container-openrefine/)
|
||||
* [Setzt die Segel! – Wir gehen auf große Fahrt!](https://lenaentdeckt.wordpress.com/2016/11/05/setzt-die-segel-wir-gehen-auf-grosse-fahrt/) und [OpenRefine zum laufen bringen](https://lenaentdeckt.wordpress.com/2016/11/05/openrefine-zum-laufen-bringen/) und [Erste Schritte mit OpenRefine](https://lenaentdeckt.wordpress.com/2016/11/05/erste-schritte-mit-openrefine/)
|
||||
* [Setzt die Segel! – Wir gehen auf große Fahrt!](https://lenaentdeckt.wordpress.com/2016/11/05/setzt-die-segel-wir-gehen-auf-grosse-fahrt/) und [OpenRefine zum laufen bringen](https://lenaentdeckt.wordpress.com/2016/11/05/openrefine-zum-laufen-bringen/) und [Erste Schritte mit OpenRefine](https://lenaentdeckt.wordpress.com/2016/11/05/erste-schritte-mit-openrefine/)
|
||||
* [Docker, WINSCP & OpenRefine](https://juliabaut.wordpress.com/2016/11/13/docker-winscp-openrefine/)
|
||||
|
|
@ -10,9 +10,11 @@ https://hub.docker.com/r/felixlohmeier/openrefine/
|
|||
Einer der Vorteile von Docker ist, dass mit einem einzigen Befehl der Download und das Starten von Containern aus dem Docker Hub ermöglicht wird:
|
||||
|
||||
```
|
||||
sudo docker run --rm -p 8888:3333 felixlohmeier/openrefine:2.6rc2
|
||||
sudo docker run --rm -p 8888:3333 felixlohmeier/openrefine:2.6rc1
|
||||
```
|
||||
|
||||
Anschließend im Browser (z.B. Firefox) auf dem lokalen Rechner OpenRefine aufrufen. OpenRefine ist unter der IP-Adresse des Webservers, gefolgt von Port 8888 erreichbar (Beispiel: https://192.168.1.1:8888).
|
||||
|
||||
Erläuterungen:
|
||||
* Da der Container noch nicht lokal vorliegt, wird er automatisch von Docker Hub heruntergeladen (in Teilbestandteilen)
|
||||
* ```felixlohmeier/openrefine:2.6rc2``` ist die Kennzeichnung des Images im Docker Hub
|
||||
|
|
@ -28,7 +30,7 @@ Erläuterungen:
|
|||
|
||||
2. Docker starten mit zusätzlichen Parametern:
|
||||
```
|
||||
sudo docker run --rm -p 8888:3333 -v /home/stud/refine:/data felixlohmeier/openrefine:2.6rc2 -i 0.0.0.0 -m 3G -d /data
|
||||
sudo docker run --rm -p 8888:3333 -v /home/stud/refine:/data felixlohmeier/openrefine:2.6rc1 -i 0.0.0.0 -m 3G -d /data
|
||||
```
|
||||
|
||||
Erläuterungen:
|
||||
|
|
|
|||
|
|
@ -1,15 +1,25 @@
|
|||
# 6.3 OpenRefine starten und Daten laden
|
||||
|
||||
## Aufgabe 1: OpenRefine mit Docker starten und Daten hochladen
|
||||
## Aufgabe 1: Beispieldaten vom Webserver auf den lokalen Rechner laden
|
||||
|
||||
Der Button "durchsuchen" unter *This computer...* öffnet die Dateien auf dem Rechner, auf dem der Browser läuft. Virtualisierung kann verwirrend sein...
|
||||
Die einfachste Möglichkeit, um Daten in OpenRefine zu laden, ist das Hochladen von Daten vom lokalen Rechner. Dazu müssen wir zunächst die Daten vom Webserver auf den lokalen Rechner übertragen. Laden Sie [WinSCP Portable](https://winscp.net/eng/download.php) und übertragen Sie zehn MARCXML-Dateien vom Server auf ihren lokalen Rechner.
|
||||
|
||||
Hinweise:
|
||||
* Laden Sie [WinSCP Portable](https://winscp.net/eng/download.php) und übertragen Sie eine marcxml-Datei vom Server auf ihren lokalen Rechner
|
||||
## Lösung
|
||||
|
||||
* Download WinSCP Portable: {%s%}Datei https://winscp.net/download/WinSCP-5.9.2-Portable.zip herunterladen, das ZIP-Archiv öffnen und in einem beliebigen Verzeichnis (z.B. Desktop) entpacken. Anschließend die Datei WinSCP.exe starten.{%ends%}
|
||||
* Mit dem Server verbinden: {%s%}Protokoll SCP auswählen, in das Feld "Host name" die IP-Adresse eingeben, Benutzername und Passwort eingeben und Login anklicken.{%ends%}
|
||||
* Dateien übertragen: {%s%}Links das gewünschte Arbeitsverzeichnis (z.B. Desktop) auswählen, 10 MARCXML-Dateien per Drag & Drop von rechts nach Links schieben.{%ends%}
|
||||
|
||||
## Aufgabe 2: Daten konfigurieren und in ein neues Projekt laden
|
||||
|
||||
Laden Sie die marcxml-Datei in OpenRefine und legen Sie damit ein neues Projekt an.
|
||||
Starten Sie OpenRefine, laden Sie eine MARCXML-Datei in OpenRefine und legen Sie damit ein neues Projekt an.
|
||||
|
||||
Hinweise:
|
||||
* Wählen Sie die Option "XML-Files". Die Option "MARC" ist nicht für XML gedacht und [funktioniert derzeit ohnehin nicht](https://github.com/OpenRefine/OpenRefine/issues/794).
|
||||
|
||||
* Wählen Sie die Option "XML-Files". Die Option "MARC" ist nicht für XML gedacht und [funktioniert derzeit ohnehin nicht](https://github.com/OpenRefine/OpenRefine/issues/794).
|
||||
|
||||
## Lösung
|
||||
|
||||
* OpenRefine auf dem Webserver starten: {%s%}sudo docker run --rm -p 8888:3333 -v /home/stud/refine:/data felixlohmeier/openrefine:2.6rc1 -i 0.0.0.0 -m 3G -d /data{%ends%}
|
||||
* OpenRefine aufrufen: {%s%}Auf dem lokalen Rechner im Browser (z.B. Firefox) die IP-Adresse des Webservers gefolgt mit Port 8888 aufrufen. Beispiel: https://192.168.1.1:8888{%ends%}
|
||||
* Projekt erstellen: {%s%}Auf den Button "Durchsuchen" klicken und eine der in Aufgabe 1 heruntergeladenen Dateien auswählen. Im nächsten Bildschirm unten links bei Parse data as "XML files" auswählen, dann im Vorschaubildschirm auf den Pfad <record xmlns... klicken und dann oben rechts den Button "Create Project" drücken.{%ends%}
|
||||
|
|
@ -3,15 +3,18 @@
|
|||
Ziel: Grundfunktionen von OpenRefine kennenlernen, Daten von MARCXML in eine Tabellenstruktur transformieren und für den Suchindex im Format CSV exportieren
|
||||
|
||||
Inhalte:
|
||||
|
||||
1. [Facetten und Text Filter](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/07_1_facetten_und_text_filter.html)
|
||||
2. [Records bilden](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/07_2_records_bilden.html)
|
||||
3. [Für jedes MARC-Feld eine Spalte](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/07_3_fuer_jedes_marc-feld_eine_spalte.html)
|
||||
4. Alle Daten in ein Projekt laden
|
||||
5. Transformationen anwenden
|
||||
4. [Transformationen anwenden](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/07_4_transformationen_anwenden.html)
|
||||
5. [Alle Daten in ein Projekt laden](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/07_5_alle_daten_in_ein_projekt_laden.html)
|
||||
6. Daten bereinigen
|
||||
7. Felder definieren
|
||||
8. Daten exportieren
|
||||
|
||||
Beiträge der Studierenden in den Lerntagebüchern:
|
||||
|
||||
* [Noch ein paar kleine Übungen zum warm werden mit OpenRefine](https://dennislerntnichtaus.wordpress.com/2016/11/08/noch-ein-paar-kleine-uebungen-zum-warm-werden-mit-openrefine/)
|
||||
* [Datentransformation mit OpenRefine Teil 0](https://xyopendiscovery.wordpress.com/2016/11/08/datentransformation-mit-openrefine-teil-0/)
|
||||
* [Datentransformation mit OpenRefine Teil 0](https://xyopendiscovery.wordpress.com/2016/11/08/datentransformation-mit-openrefine-teil-0/)
|
||||
* [Zwischenstand Bibliothekskatalog](https://lenaentdeckt.wordpress.com/2016/11/13/zwischenstand-bibliothekskatalog/) und [Datentransformation mit OpenRefine](https://lenaentdeckt.wordpress.com/2016/11/13/datentransformation-mit-openrefine/)
|
||||
|
|
@ -4,10 +4,10 @@ Alle folgenden Übungen in den Kapiteln 7.1 bis 7.3 führen wir zunächst mit ei
|
|||
|
||||
OpenRefine "versteht" das MARC-Format nicht. Es interpretiert die Daten daher genauso wie jede andere XML-Datei. In den Daten stehen daher die üblichen Nummern und Codes für die jeweiligen MARC-Felder. Der GBV bietet meines Wissens nach keine Beschreibung der Feldbelegungen an. Zur Orientierung können Sie die [Arbeitstabelle der Deutschen Nationalbibliothek](http://www.dnb.de/SharedDocs/Downloads/DE/DNB/standardisierung/marc21FeldbeschreibungTitelExcel032016.zip) in der [Dokumentation des MARC21-Formats](http://www.dnb.de/DE/Standardisierung/Formate/MARC21/marc21_node.html) verwenden.
|
||||
|
||||
## Aufgabe: Analysieren Sie die Daten mit Hilfe von Facetten und Text Filtern
|
||||
## Aufgabe 1: Analysieren Sie die Daten mit Hilfe von Facetten und Text Filtern
|
||||
|
||||
siehe [Seite zur Facettierung in der Dokumentation von OpenRefine](https://github.com/OpenRefine/OpenRefine/wiki/Faceting)
|
||||
|
||||
## Bonusaufgabe: Laden Sie die Arbeitstabelle der DNB in OpenRefine
|
||||
## Aufgabe 2: Laden Sie die Arbeitstabelle der DNB in OpenRefine
|
||||
|
||||
[Arbeitstabelle der Deutschen Nationalbibliothek](http://www.dnb.de/SharedDocs/Downloads/DE/DNB/standardisierung/marc21FeldbeschreibungTitelExcel032016.zip)
|
||||
|
|
@ -33,8 +33,8 @@
|
|||
* [7.1 Facetten und Text Filter](07_1_facetten_und_text_filter.md)
|
||||
* [7.2 Records bilden](07_2_records_bilden.md)
|
||||
* [7.3 Für jedes MARC-Feld eine Spalte](07_3_fuer_jedes_marc-feld_eine_spalte.md)
|
||||
* [7.4 Alle Daten in ein Projekt laden](07_4_alle_daten_in_ein_projekt_laden.md)
|
||||
* [7.5 Transformationen anwenden](07_5_transformationen_anwenden.md)
|
||||
* [7.4 Transformationen anwenden](07_4_transformationen_anwenden.md)
|
||||
* [7.5 Alle Daten in ein Projekt laden](07_5_alle_daten_in_ein_projekt_laden.md)
|
||||
* [7.6 Daten bereinigen](07_6_daten_bereinigen.md)
|
||||
* [7.7 Felder definieren](07_7_felder_definieren.md)
|
||||
* [7.8 Daten exportieren](07_8_daten_exportieren.md)
|
||||
|
|
|
|||
Loading…
Reference in New Issue