Korrekturen
This commit is contained in:
Felix Lohmeier
parent
cabd1273d0
commit
245ac94e27
|
|
@ -73,7 +73,7 @@ Projekte erstellen:
|
|||
* {%s%}In der Vorschauansicht an die Stelle <record xmlns="http://www.loc.gov/MARC21/slim"> klicken{%ends%}
|
||||
* {%s%}Checkbox "Store file source..." deaktivieren / Zweite Zahl im Projektnamen anpassen und Button "Create Project" drücken{%ends%}
|
||||
|
||||
## Aufgabe 4: Wenden Sie die Transformationsregeln auf alle in Aufgabe 3 erstellten Projekte an
|
||||
## Aufgabe 4: Wenden Sie die Transformationsregeln aus Kapitel 7.3 auf alle in Aufgabe 3 erstellten Projekte an
|
||||
|
||||
Hinweise:
|
||||
|
||||
|
|
@ -81,14 +81,14 @@ Hinweise:
|
|||
* Da Sie die viele Klickarbeit aus Aufgabe 3 bestimmt nicht wiederholen wollen, erstellen Sie zunächst eine Sicherheitskopie der Daten. Beenden Sie dazu den Dockercontainer und führen Sie den folgenden Kopierbefehl aus:
|
||||
|
||||
```
|
||||
cp -r refine refine-backup
|
||||
cp -r refine refine-backup_07_5-3
|
||||
```
|
||||
|
||||
* Falls bei den Transformationen etwas schiefgehen sollte, können Sie die Daten aus dem Backup wie folgt zurückspielen:
|
||||
|
||||
```
|
||||
rm -r -f refine
|
||||
cp -r refine-backup refine
|
||||
cp -r refine-backup_07_5-3 refine
|
||||
```
|
||||
|
||||
## Lösung
|
||||
|
|
@ -96,7 +96,7 @@ cp -r refine-backup refine
|
|||
In OpenRefine Projekte nacheinander laden und jeweils...
|
||||
|
||||
* Menü oben links "Undo / Redo" aufrufen und Button "Apply..." drücken.
|
||||
* Den Inhalt aus der Datei [07_5-6_all.json](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/openrefine/07_5-6_all.json) bzw. [07_5-6_minimal.json](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/openrefine/07_5-6_minimal.json) in die Zwischenablage kopieren und in das Textfeld von "Apply" einfügen und Button "Perform Operations" drücken.
|
||||
* Den Inhalt aus der Datei [07_3.json](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/openrefine/07_3.json) in die Zwischenablage kopieren und in das Textfeld von "Apply" einfügen und Button "Perform Operations" drücken.
|
||||
|
||||
## Aufgabe 5: Alle Projekte einzeln als TSV exportieren
|
||||
|
||||
|
|
@ -171,8 +171,6 @@ Hier sind zwei Beispielkonfigurationen:
|
|||
|
||||
**4) Transformationsdatei auf Projekte mit bereits transformierten Daten anwenden**
|
||||
|
||||
Erstellen Sie zunächst ein Backup mit ```cp -r refine refine-backup-transformed```.
|
||||
|
||||
In OpenRefine Projekte nacheinander laden und jeweils...
|
||||
|
||||
* Menü oben links "Undo / Redo" aufrufen und Button "Apply..." drücken.
|
||||
|
|
@ -194,11 +192,11 @@ Hinweise:
|
|||
|
||||
Bedarf an Arbeitsspeicher:
|
||||
|
||||
* Alle Daten alle Felder (07_5-6_all.json): ... GB
|
||||
* Reduzierte Felder (07_5-6_minimal.json): ... GB
|
||||
* Alle Daten alle Felder (07_5-6_all.json): Beim Transformieren ... GB, Fertig transformierte Daten laden ... GB
|
||||
* Reduzierte Felder (07_5-6_minimal.json): Beim Transformieren ... GB, Fertig transformierte Daten laden ... GB
|
||||
|
||||
## Lösung
|
||||
|
||||
* {%s%}Create Project / Durchsuchen... / TSV Dateien auswählen / Next / Configure Parsing Options{%ends%}
|
||||
* {%s%}Parse data as CSV / TSV / separator-based files{%ends%}
|
||||
* {%s%}Checkbox "Store file source..." deaktivieren / Projektnamen vergeben und Button "Create Project" drücken{%ends%}
|
||||
* {%s%}Checkbox "Store file source..." deaktivieren / Projektnamen vergeben und Button "Create Project" drücken{%ends%}
|
||||
|
|
|
|||
|
|
@ -30,26 +30,21 @@ Vorgehen für Felder, die im Crosswalk von MARC21 zu Dublin Core (unqualified) g
|
|||
|
||||
## Aufgabe 3: Daten bereinigen
|
||||
|
||||
...
|
||||
Datumskonvertierung: value.toDate()
|
||||
Störende Zeichen
|
||||
|
||||
** Als JSON-Datei (für die Felder aus Lösung Aufgabe 2): [07_6-3.json](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/openrefine/07_6-3.json)****
|
||||
|
||||
## Aufgabe 4: Alle nicht benötigten Daten löschen
|
||||
??? Datumskonvertierung: value.toDate()
|
||||
??? Störende Zeichen
|
||||
|
||||
Hinweise:
|
||||
|
||||
* Am schnellsten geht es über die Funktion zum Neusortieren der Spalten. Alternativ könnten Sie auch beim Export nur einzelne Spalten auswählen.
|
||||
* Der Suchindex erwartet eine eindeutige Identifikationsnummer in der ersten Spalte. Das Feld wird üblicherweise ```id``` benannt. Benennen Sie die Spalte mit dem MARC-Feld ```001``` in ```id``` um und verschieben Sie diese in die erste Spalte (falls Sie dort nicht ohnehin stehen sollte).
|
||||
|
||||
## Lösung
|
||||
## Lösung (für die Felder aus Lösung Aufgabe 2)
|
||||
|
||||
...
|
||||
|
||||
** Als JSON-Datei (für die Felder aus Lösung Aufgabe 2): [07_6-4.json](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/openrefine/07_6-4.json)****
|
||||
** Als JSON-Datei (für die Felder aus Lösung Aufgabe 2): [07_6-3.json](https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/openrefine/07_6-3.json)****
|
||||
|
||||
## Literatur
|
||||
|
||||
* Owen Stephens: [A worked example of fixing problem MARC data: Part 4 – OpenRefine](http://www.meanboyfriend.com/overdue_ideas/2015/07/worked-example-fixing-marc-data-4/)
|
||||
* Library Carpentry OpenRefine: [Basic OpenRefine functions II](https://data-lessons.github.io/library-openrefine/04-basic-functions-II/)
|
||||
* Library Carpentry OpenRefine: [Basic OpenRefine functions II](https://data-lessons.github.io/library-openrefine/04-basic-functions-II/)
|
||||
|
|
|
|||
|
|
@ -10,9 +10,9 @@ Hinweise:
|
|||
## Lösung
|
||||
|
||||
* Export: {%s%}Projekte nacheinander in OpenRefine laden und im Menü oben rechts Export / "Tab separated value" wählen. Der Download sollte automatisch beginnen. Speichern Sie die Daten lokal in einem beliebigen Verzeichnis.{%ends%}
|
||||
* Zählung der Zeilen der TSV-Dateien (sollte der Anzahl der Records minus 1 entsprechen): ```wc -l -c *.tsv```
|
||||
* Erste Zeile der TSV-Dateien anzeigen (sollte die Spaltenüberschriften beinhalten): ```head -n1 *.tsv```
|
||||
* Zählung der Zeilen der TSV-Dateien (sollte der Anzahl der Records minus 1 entsprechen): {%s%}wc -l -c *.tsv{%ends%}
|
||||
* Erste Zeile der TSV-Dateien anzeigen (sollte die Spaltenüberschriften beinhalten): {%s%}head -n1 *.tsv{%ends%}
|
||||
|
||||
## Literatur
|
||||
|
||||
* [Exporter in der OpenRefine Dokumentation](https://github.com/OpenRefine/OpenRefine/wiki/Exporters)
|
||||
* [Exporter in der OpenRefine Dokumentation](https://github.com/OpenRefine/OpenRefine/wiki/Exporters)
|
||||
|
|
|
|||
|
|
@ -281,7 +281,9 @@ Hinweise:
|
|||
**Teil 1: mit Script**
|
||||
|
||||
* Arbeitsverzeichnis löschen (Achtung: Bei Bedarf vorher eine Kopie anlegen!): {%s%}sudo rm -r -f refine{%ends%}
|
||||
* Backup aus Kapitel 7.5, Aufgabe 3 wiederherstellen: {%s%}cp -r refine-backup refine{%ends%}
|
||||
* Backup aus Kapitel 7.5, Aufgabe 3 wiederherstellen: {%s%}cp -r refine-backup_07_5-3 refine{%ends%}
|
||||
* Script mit ```curl``` auf den Server laden: {%s%}curl -O https://felixlohmeier.gitbooks.io/seminar-wir-bauen-uns-einen-bibliothekskatalog/content/scripte/transform+export.sh{%ends%}
|
||||
* Script ausführbar machen: {%s%}chmod +x transform+export.sh{%ends%}
|
||||
* Projekte umbenennen: {%s%}Codewort TRANSFORM in alle Projektnamen schreiben{%ends%}
|
||||
* Script anpassen: {%s%}nano transform+export.sh und die Zeile jsonfiles=(07_3.json test.json) durch jsonfiles=(07_3.json 07_5-6_minimal.json) ersetzen.{%ends%}
|
||||
* Script ausführen (Achtung: Mehrere Stunden Laufzeit!): {%s%}./transform+export.sh{%ends%}
|
||||
|
|
@ -299,8 +301,9 @@ Projekt anlegen:
|
|||
* {%s%}Checkbox "Store file source..." deaktivieren / Projektnamen inkl. Codewort TRANSFORM vergeben und Button "Create Project" drücken{%ends%}
|
||||
|
||||
**Teil 3: mit Script**
|
||||
* Script anpassen: {%s%}nano transform+export.sh und die Zeile jsonfiles=(07_3.json test.json) durch jsonfiles=(07_6-2.json 07_6-3.json 07_6-4.json) ersetzen.{%ends%}
|
||||
* Script anpassen: {%s%}nano transform+export.sh und die Zeile jsonfiles=(07_3.json test.json) durch jsonfiles=(07_6-2.json 07_6-3.json) ersetzen.{%ends%}
|
||||
* Script ausführen: {%s%}./transform+export.sh{%ends%}
|
||||
|
||||
## Literatur
|
||||
|
||||
* In der Rubrik [häufig gestellte Fragen (FAQ)]((https://github.com/OpenRefine/OpenRefine/wiki/FAQ)) der OpenRefine Dokumentation stehen auch ein paar Tipps, wie OpenRefine programmatisch als Server genutzt werden kann.
|
||||
* In der Rubrik [häufig gestellte Fragen (FAQ)]((https://github.com/OpenRefine/OpenRefine/wiki/FAQ)) der OpenRefine Dokumentation stehen auch ein paar Tipps, wie OpenRefine programmatisch als Server genutzt werden kann.
|
||||
|
|
|
|||
|
|
@ -1,3 +0,0 @@
|
|||
[
|
||||
{ }
|
||||
]
|
||||
Loading…
Reference in New Issue