From 245ac94e277ed91b7612dd0f29870f37ec1ca873 Mon Sep 17 00:00:00 2001 From: Felix Lohmeier Date: Sun, 20 Nov 2016 17:44:01 +0100 Subject: [PATCH] Korrekturen --- 07_5_alle_daten_in_ein_projekt_laden.md | 16 +++++++--------- 07_6_felder_definieren.md | 15 +++++---------- 07_7_daten_exportieren.md | 6 +++--- 07_8_automatisierung.md | 9 ++++++--- openrefine/07_6-4.json | 3 --- 5 files changed, 21 insertions(+), 28 deletions(-) delete mode 100644 openrefine/07_6-4.json diff --git a/07_5_alle_daten_in_ein_projekt_laden.md b/07_5_alle_daten_in_ein_projekt_laden.md index a854d36..d68b3f5 100644 --- a/07_5_alle_daten_in_ein_projekt_laden.md +++ b/07_5_alle_daten_in_ein_projekt_laden.md @@ -73,7 +73,7 @@ Projekte erstellen: * {%s%}In der Vorschauansicht an die Stelle klicken{%ends%} * {%s%}Checkbox "Store file source..." deaktivieren / Zweite Zahl im Projektnamen anpassen und Button "Create Project" drücken{%ends%} -## Aufgabe 4: Wenden Sie die Transformationsregeln auf alle in Aufgabe 3 erstellten Projekte an +## Aufgabe 4: Wenden Sie die Transformationsregeln aus Kapitel 7.3 auf alle in Aufgabe 3 erstellten Projekte an Hinweise: @@ -81,14 +81,14 @@ Hinweise: * Da Sie die viele Klickarbeit aus Aufgabe 3 bestimmt nicht wiederholen wollen, erstellen Sie zunächst eine Sicherheitskopie der Daten. Beenden Sie dazu den Dockercontainer und führen Sie den folgenden Kopierbefehl aus: ``` -cp -r refine refine-backup +cp -r refine refine-backup_07_5-3 ``` * Falls bei den Transformationen etwas schiefgehen sollte, können Sie die Daten aus dem Backup wie folgt zurückspielen: ``` rm -r -f refine -cp -r refine-backup refine +cp -r refine-backup_07_5-3 refine ``` ## Lösung @@ -96,7 +96,7 @@ cp -r refine-backup refine In OpenRefine Projekte nacheinander laden und jeweils... * Menü oben links "Undo / Redo" aufrufen und Button "Apply..." drücken. -* Den Inhalt aus der Datei [07_5-6_all.json](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/openrefine/07_5-6_all.json) bzw. [07_5-6_minimal.json](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/openrefine/07_5-6_minimal.json) in die Zwischenablage kopieren und in das Textfeld von "Apply" einfügen und Button "Perform Operations" drücken. +* Den Inhalt aus der Datei [07_3.json](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/openrefine/07_3.json) in die Zwischenablage kopieren und in das Textfeld von "Apply" einfügen und Button "Perform Operations" drücken. ## Aufgabe 5: Alle Projekte einzeln als TSV exportieren @@ -171,8 +171,6 @@ Hier sind zwei Beispielkonfigurationen: **4) Transformationsdatei auf Projekte mit bereits transformierten Daten anwenden** -Erstellen Sie zunächst ein Backup mit ```cp -r refine refine-backup-transformed```. - In OpenRefine Projekte nacheinander laden und jeweils... * Menü oben links "Undo / Redo" aufrufen und Button "Apply..." drücken. @@ -194,11 +192,11 @@ Hinweise: Bedarf an Arbeitsspeicher: -* Alle Daten alle Felder (07_5-6_all.json): ... GB -* Reduzierte Felder (07_5-6_minimal.json): ... GB +* Alle Daten alle Felder (07_5-6_all.json): Beim Transformieren ... GB, Fertig transformierte Daten laden ... GB +* Reduzierte Felder (07_5-6_minimal.json): Beim Transformieren ... GB, Fertig transformierte Daten laden ... GB ## Lösung * {%s%}Create Project / Durchsuchen... / TSV Dateien auswählen / Next / Configure Parsing Options{%ends%} * {%s%}Parse data as CSV / TSV / separator-based files{%ends%} -* {%s%}Checkbox "Store file source..." deaktivieren / Projektnamen vergeben und Button "Create Project" drücken{%ends%} \ No newline at end of file +* {%s%}Checkbox "Store file source..." deaktivieren / Projektnamen vergeben und Button "Create Project" drücken{%ends%} diff --git a/07_6_felder_definieren.md b/07_6_felder_definieren.md index 67b1657..0105683 100644 --- a/07_6_felder_definieren.md +++ b/07_6_felder_definieren.md @@ -30,26 +30,21 @@ Vorgehen für Felder, die im Crosswalk von MARC21 zu Dublin Core (unqualified) g ## Aufgabe 3: Daten bereinigen -... -Datumskonvertierung: value.toDate() -Störende Zeichen - -** Als JSON-Datei (für die Felder aus Lösung Aufgabe 2): [07_6-3.json](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/openrefine/07_6-3.json)**** - -## Aufgabe 4: Alle nicht benötigten Daten löschen +??? Datumskonvertierung: value.toDate() +??? Störende Zeichen Hinweise: * Am schnellsten geht es über die Funktion zum Neusortieren der Spalten. Alternativ könnten Sie auch beim Export nur einzelne Spalten auswählen. * Der Suchindex erwartet eine eindeutige Identifikationsnummer in der ersten Spalte. Das Feld wird üblicherweise ```id``` benannt. Benennen Sie die Spalte mit dem MARC-Feld ```001``` in ```id``` um und verschieben Sie diese in die erste Spalte (falls Sie dort nicht ohnehin stehen sollte). -## Lösung +## Lösung (für die Felder aus Lösung Aufgabe 2) ... -** Als JSON-Datei (für die Felder aus Lösung Aufgabe 2): [07_6-4.json](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/openrefine/07_6-4.json)**** +** Als JSON-Datei (für die Felder aus Lösung Aufgabe 2): [07_6-3.json](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/openrefine/07_6-3.json)**** ## Literatur * Owen Stephens: [A worked example of fixing problem MARC data: Part 4 – OpenRefine](http://www.meanboyfriend.com/overdue_ideas/2015/07/worked-example-fixing-marc-data-4/) -* Library Carpentry OpenRefine: [Basic OpenRefine functions II](https://data-lessons.github.io/library-openrefine/04-basic-functions-II/) \ No newline at end of file +* Library Carpentry OpenRefine: [Basic OpenRefine functions II](https://data-lessons.github.io/library-openrefine/04-basic-functions-II/) diff --git a/07_7_daten_exportieren.md b/07_7_daten_exportieren.md index 1a6d951..355b0ea 100644 --- a/07_7_daten_exportieren.md +++ b/07_7_daten_exportieren.md @@ -10,9 +10,9 @@ Hinweise: ## Lösung * Export: {%s%}Projekte nacheinander in OpenRefine laden und im Menü oben rechts Export / "Tab separated value" wählen. Der Download sollte automatisch beginnen. Speichern Sie die Daten lokal in einem beliebigen Verzeichnis.{%ends%} -* Zählung der Zeilen der TSV-Dateien (sollte der Anzahl der Records minus 1 entsprechen): ```wc -l -c *.tsv``` -* Erste Zeile der TSV-Dateien anzeigen (sollte die Spaltenüberschriften beinhalten): ```head -n1 *.tsv``` +* Zählung der Zeilen der TSV-Dateien (sollte der Anzahl der Records minus 1 entsprechen): {%s%}wc -l -c *.tsv{%ends%} +* Erste Zeile der TSV-Dateien anzeigen (sollte die Spaltenüberschriften beinhalten): {%s%}head -n1 *.tsv{%ends%} ## Literatur -* [Exporter in der OpenRefine Dokumentation](https://github.com/OpenRefine/OpenRefine/wiki/Exporters) \ No newline at end of file +* [Exporter in der OpenRefine Dokumentation](https://github.com/OpenRefine/OpenRefine/wiki/Exporters) diff --git a/07_8_automatisierung.md b/07_8_automatisierung.md index f6811b6..0932ad0 100644 --- a/07_8_automatisierung.md +++ b/07_8_automatisierung.md @@ -281,7 +281,9 @@ Hinweise: **Teil 1: mit Script** * Arbeitsverzeichnis löschen (Achtung: Bei Bedarf vorher eine Kopie anlegen!): {%s%}sudo rm -r -f refine{%ends%} -* Backup aus Kapitel 7.5, Aufgabe 3 wiederherstellen: {%s%}cp -r refine-backup refine{%ends%} +* Backup aus Kapitel 7.5, Aufgabe 3 wiederherstellen: {%s%}cp -r refine-backup_07_5-3 refine{%ends%} +* Script mit ```curl``` auf den Server laden: {%s%}curl -O https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/scripte/transform+export.sh{%ends%} +* Script ausführbar machen: {%s%}chmod +x transform+export.sh{%ends%} * Projekte umbenennen: {%s%}Codewort TRANSFORM in alle Projektnamen schreiben{%ends%} * Script anpassen: {%s%}nano transform+export.sh und die Zeile jsonfiles=(07_3.json test.json) durch jsonfiles=(07_3.json 07_5-6_minimal.json) ersetzen.{%ends%} * Script ausführen (Achtung: Mehrere Stunden Laufzeit!): {%s%}./transform+export.sh{%ends%} @@ -299,8 +301,9 @@ Projekt anlegen: * {%s%}Checkbox "Store file source..." deaktivieren / Projektnamen inkl. Codewort TRANSFORM vergeben und Button "Create Project" drücken{%ends%} **Teil 3: mit Script** -* Script anpassen: {%s%}nano transform+export.sh und die Zeile jsonfiles=(07_3.json test.json) durch jsonfiles=(07_6-2.json 07_6-3.json 07_6-4.json) ersetzen.{%ends%} +* Script anpassen: {%s%}nano transform+export.sh und die Zeile jsonfiles=(07_3.json test.json) durch jsonfiles=(07_6-2.json 07_6-3.json) ersetzen.{%ends%} +* Script ausführen: {%s%}./transform+export.sh{%ends%} ## Literatur -* In der Rubrik [häufig gestellte Fragen (FAQ)]((https://github.com/OpenRefine/OpenRefine/wiki/FAQ)) der OpenRefine Dokumentation stehen auch ein paar Tipps, wie OpenRefine programmatisch als Server genutzt werden kann. \ No newline at end of file +* In der Rubrik [häufig gestellte Fragen (FAQ)]((https://github.com/OpenRefine/OpenRefine/wiki/FAQ)) der OpenRefine Dokumentation stehen auch ein paar Tipps, wie OpenRefine programmatisch als Server genutzt werden kann. diff --git a/openrefine/07_6-4.json b/openrefine/07_6-4.json deleted file mode 100644 index 27e8dbe..0000000 --- a/openrefine/07_6-4.json +++ /dev/null @@ -1,3 +0,0 @@ -[ - { } -]