felixlohmeier
/
seminar-wir-bauen-uns-einen-bibliothekskatalog
mirror of https://github.com/felixlohmeier/seminar-wir-bauen-uns-einen-bibliothekskatalog.git
2
0
Fork 0
Code Releases Activity

Korrekturen Lösungen 6.3 und 7.5

This commit is contained in:
Felix Lohmeier 2016-11-21 14:00:23 +01:00
parent 2a57f2b82e
commit 60faef47a1
2 changed files with 10 additions and 7 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

2
06_3_openrefine_starten_und_daten_laden.md
View File

@ -22,4 +22,4 @@ Hinweise:
* OpenRefine auf dem Webserver starten: {%s%}sudo docker run --rm -p 8888:3333 -v /home/stud/refine:/data felixlohmeier/openrefine:2.6rc2 -i 0.0.0.0 -m 3G -d /data{%ends%}
* OpenRefine aufrufen: {%s%}Auf dem lokalen Rechner im Browser (z.B. Firefox) die IP-Adresse des Webservers gefolgt mit Port 8888 aufrufen. Beispiel: https://192.168.1.1:8888{%ends%}
* Projekt erstellen: {%s%}Auf den Button "Durchsuchen" klicken und eine der in Aufgabe 1 heruntergeladenen Dateien auswählen. Im nächsten Bildschirm unten links bei Parse data as "XML files" auswählen, dann im Vorschaubildschirm auf den Pfad <record xmlns... klicken und dann oben rechts den Button "Create Project" drücken.{%ends%}
* Projekt erstellen: {%s%}Auf den Button "Durchsuchen" klicken und eine der in Aufgabe 1 heruntergeladenen Dateien auswählen. Im nächsten Bildschirm unten links bei Parse data as "XML files" auswählen, dann im Vorschaubildschirm auf den Pfad record xmlns="http://www.loc.gov/MARC21/slim" klicken und dann oben rechts den Button "Create Project" drücken.{%ends%}

15
07_5_alle_daten_in_ein_projekt_laden.md
View File

@ -23,9 +23,11 @@ In der grafischen Oberfläche von OpenRefine:
* {%s%}Create Project / Durchsuchen... / 100 Dateien auswählen / Next / Configure Parsing Options{%ends%}
* {%s%}Parse data as XML files{%ends%}
* {%s%}In der Vorschauansicht an die Stelle <record xmlns="http://www.loc.gov/MARC21/slim"> klicken{%ends%}
* {%s%}In der Vorschauansicht an die Stelle record xmlns="http://www.loc.gov/MARC21/slim" klicken{%ends%}
* {%s%}Checkbox "Store file source..." deaktivieren / Projektnamen vergeben und Button "Create Project" drücken{%ends%}
Das Ergebnis sehen Sie in in Terminal 1 in ```top``` (etwa 0,7 GB)
## Aufgabe 2: Wenden Sie die Transformationsregeln aus Kapitel 7.3 auf das neue Projekt an und beobachten Sie den Speicherbedarf
Hinweise:
@ -40,17 +42,18 @@ sudo docker run --rm -p 8888:3333 -v /home/stud/refine:/data felixlohmeier/openr
## Lösung
Putty zweimal starten wie in Lösung zu Aufgabe 1 und ```top``` weiterhin beobachten
Putty zweimal starten und jeweils per SSH verbinden:
* Terminal 1: {%s%}top eingeben und mehrfach > drücken, um die Sortierung bis zur Spalte RES zu verschieben. Die Spalte RES zeigt den Ressourcenverbrauch an Arbeitsspeicher für jeden Prozess. Wenn OpenRefine wie oben im Docker Startbefehl 3GB zugeteilt sind, dann darf diese Angabe niemals 3,0g überschreiten.{%ends%}
* Terminal 2: {%s%}sudo docker run --name=refine-server --rm -p 8888:3333 -v /home/stud/refine:/data felixlohmeier/openrefine:2.6rc2 -i 0.0.0.0 -m 3G -d /data{%ends%}
In OpenRefine Projekt aus Aufgabe 1 laden und...
* {%s%}Menü oben links "Undo / Redo" aufrufen und Button "Apply..." drücken {%ends%}
* {%s%}Den Inhalt aus der Datei 07_3.json in die Zwischenablage kopieren und in das Textfeld von "Apply" einfügen und Button "Perform Operations" drücken{%ends%}
Speicherbedarf beim Laden von transformierten Projekten prüfen:
Das Ergebnis sehen Sie in Terminal 1 in ```top``` (etwa 1,5 GB). Wenn Sie den Docker-Container neu starten und das fertig transformierte Projekt laden, dann wird weniger Arbeitsspeicher verbraucht (nur etwa 0,24 GB). Die Transformation der Daten hat also zu einem geringeren Ressourcenverbrauch geführt.
* {%s%}Docker-Container mit STRG+C beenden und noch gleich mit dem bekannten Kommando wieder starten{%ends%}
* {%s%}Im Browser das Projekt in OpenRefine laden und in top den Speicherbedarf prüfen.{%ends%}
## Aufgabe 3: Erstellen Sie Projekte für alle 4.500 Dateien in geeigneten Paketgrößen
@ -70,7 +73,7 @@ Projekte erstellen:
* {%s%}Create Project / Durchsuchen... / 150 Dateien auswählen / Next / Configure Parsing Options{%ends%}
* {%s%}Parse data as XML files{%ends%}
* {%s%}In der Vorschauansicht an die Stelle <record xmlns="http://www.loc.gov/MARC21/slim"> klicken{%ends%}
* {%s%}In der Vorschauansicht an die Stelle record xmlns="http://www.loc.gov/MARC21/slim" klicken{%ends%}
* {%s%}Checkbox "Store file source..." deaktivieren / Zweite Zahl im Projektnamen anpassen und Button "Create Project" drücken{%ends%}
## Aufgabe 4: Wenden Sie die Transformationsregeln aus Kapitel 7.3 auf alle in Aufgabe 3 erstellten Projekte an