Präsentationsfolien zu 2.1 und 5.3 ergänzt und Dateiablage aufgeräumt
This commit is contained in:
parent
91aa9f3e48
commit
a3a3ce7d27
|
@ -10,7 +10,7 @@ Informationswissenschaft. http://hdl.handle.net/10760/29324
|
||||||
|
|
||||||
## Kernpunkte
|
## Kernpunkte
|
||||||
|
|
||||||
Aus dem Referat von Jana Baier am 26.9.2016:
|
Aus dem Referat von Jana Baier am 26.9.2016 (vgl. [Präsentationsfolien](slides/02_1_referat_zu_pro_&_contra_von_open_source.pptx)
|
||||||
|
|
||||||
### Vorteile von Open Source Software
|
### Vorteile von Open Source Software
|
||||||
|
|
||||||
|
|
|
@ -209,6 +209,8 @@ exit
|
||||||
* Danach muss das Script noch ausführbar gemacht werden: ```chmod +x download.sh```
|
* Danach muss das Script noch ausführbar gemacht werden: ```chmod +x download.sh```
|
||||||
* Script starten mit ```./download.sh```
|
* Script starten mit ```./download.sh```
|
||||||
|
|
||||||
|
Script als Datei: [download.sh](scripte/download.sh)
|
||||||
|
|
||||||
## Aufgabe 5: Grobe Prüfung der heruntergeladenen Dateien
|
## Aufgabe 5: Grobe Prüfung der heruntergeladenen Dateien
|
||||||
|
|
||||||
Das Script benötigt für einen Komplettdurchlauf etwa 6 Stunden. Sie werden also bestimmt nicht jede Transaktion aufmerksam am Bildschirm verfolgt haben. So oder so ist es sinnvoll mit ein paar Tests die Plausibilität der heruntergeladenen Dateien zu prüfen. Bitte beantworten Sie folgende Fragen:
|
Das Script benötigt für einen Komplettdurchlauf etwa 6 Stunden. Sie werden also bestimmt nicht jede Transaktion aufmerksam am Bildschirm verfolgt haben. So oder so ist es sinnvoll mit ein paar Tests die Plausibilität der heruntergeladenen Dateien zu prüfen. Bitte beantworten Sie folgende Fragen:
|
||||||
|
|
|
@ -1,2 +1,13 @@
|
||||||
# 5.3 Initiativen zum Austausch von Metadaten
|
# 5.3 Initiativen zum Austausch von Metadaten
|
||||||
|
|
||||||
|
## Kernpunkte
|
||||||
|
|
||||||
|
Aus dem Referat von Kristin Ameis und Kirstin Grantz am 24.10.2016 (vgl. [Präsentationsfolien](slides/05_3_initiativen_zum_austausch_von_metadaten.pptx)
|
||||||
|
|
||||||
|
### ...
|
||||||
|
|
||||||
|
...
|
||||||
|
|
||||||
|
### ...
|
||||||
|
|
||||||
|
...
|
|
@ -17,5 +17,5 @@ Inhalte:
|
||||||
Beiträge der Studierenden in den Lerntagebüchern:
|
Beiträge der Studierenden in den Lerntagebüchern:
|
||||||
|
|
||||||
* [Noch ein paar kleine Übungen zum warm werden mit OpenRefine](https://dennislerntnichtaus.wordpress.com/2016/11/08/noch-ein-paar-kleine-uebungen-zum-warm-werden-mit-openrefine/)
|
* [Noch ein paar kleine Übungen zum warm werden mit OpenRefine](https://dennislerntnichtaus.wordpress.com/2016/11/08/noch-ein-paar-kleine-uebungen-zum-warm-werden-mit-openrefine/)
|
||||||
* [Datentransformation mit OpenRefine Teil 0](https://xyopendiscovery.wordpress.com/2016/11/08/datentransformation-mit-openrefine-teil-0/)
|
* [Datentransformation mit OpenRefine Teil 0](https://xyopendiscovery.wordpress.com/2016/11/08/datentransformation-mit-openrefine-teil-0/) und [Datentransformation: Transform… // Remove // Move column to …](https://xyopendiscovery.wordpress.com/2016/11/14/datentransformation-transform-remove-move-column-to/)
|
||||||
* [Zwischenstand Bibliothekskatalog](https://lenaentdeckt.wordpress.com/2016/11/13/zwischenstand-bibliothekskatalog/) und [Datentransformation mit OpenRefine](https://lenaentdeckt.wordpress.com/2016/11/13/datentransformation-mit-openrefine/)
|
* [Zwischenstand Bibliothekskatalog](https://lenaentdeckt.wordpress.com/2016/11/13/zwischenstand-bibliothekskatalog/) und [Datentransformation mit OpenRefine](https://lenaentdeckt.wordpress.com/2016/11/13/datentransformation-mit-openrefine/)
|
|
@ -11,7 +11,7 @@ Hinweise:
|
||||||
|
|
||||||
Hinweise:
|
Hinweise:
|
||||||
* Beobachten Sie auch hier den Speicherbedarf und notieren Sie sich die Laufzeit.
|
* Beobachten Sie auch hier den Speicherbedarf und notieren Sie sich die Laufzeit.
|
||||||
* Nutzen Sie Ihre gespeicherten Transformationsregeln oder die aus der Datei [7-3.json](json-history/7-3.json)
|
* Nutzen Sie Ihre gespeicherten Transformationsregeln oder die aus der Datei [7-3.json](openrefine/7-3.json)
|
||||||
|
|
||||||
## Aufgabe 3: Wenden Sie die Transformationsregeln aus Kapitel 7.3 auf alle 4500 Datensätze an
|
## Aufgabe 3: Wenden Sie die Transformationsregeln aus Kapitel 7.3 auf alle 4500 Datensätze an
|
||||||
|
|
||||||
|
|
|
@ -0,0 +1,56 @@
|
||||||
|
#!/bin/bash
|
||||||
|
# Script zum Download von Metadaten über Z39.50-Schnittstellen mit curl
|
||||||
|
|
||||||
|
# Programmvariablen
|
||||||
|
name=haw
|
||||||
|
date=$(date +%F)
|
||||||
|
dir=download
|
||||||
|
url=http://sru.gbv.de/opac-de-18-302?operation=searchRetrieve
|
||||||
|
query="pica.ppn=.*"
|
||||||
|
recordSchema=marcxml
|
||||||
|
startRecord=1
|
||||||
|
maximumRecords=100
|
||||||
|
endRecord=450200
|
||||||
|
let counter=startRecord+maximumRecords-1
|
||||||
|
|
||||||
|
# Variablen ausgeben
|
||||||
|
echo "Dateinamen: " ${name}_${date}_$(printf "%.6i\n" ${startRecord})-$(printf "%.6i\n" ${counter}).marcxml
|
||||||
|
echo "Verzeichnis " ${dir}
|
||||||
|
echo "Schnittstelle: " ${url}
|
||||||
|
echo "Suchabfrage: " ${query}
|
||||||
|
echo "Records: " "von "${startRecord}" bis "${endRecord}
|
||||||
|
echo "pro Datei: " ${maximumRecords}
|
||||||
|
echo ""
|
||||||
|
|
||||||
|
# Startzeitpunkt ausgeben
|
||||||
|
echo "Startzeitpunkt: $(date)"
|
||||||
|
echo ""
|
||||||
|
|
||||||
|
# Verzeichnis erstellen (falls nicht vorhanden)
|
||||||
|
mkdir download > /dev/null 2>&1
|
||||||
|
|
||||||
|
# Schleife mit Aufruf von curl
|
||||||
|
while [ "$counter" -le "$endRecord" ] ; do
|
||||||
|
echo "Download Records "${startRecord}" bis "${counter}"..."
|
||||||
|
curl "${url}&query=${query}&maximumRecords=${maximumRecords}&recordSchema=${recordSchema}&startRecord=${startRecord}" > $dir/${name}_${date}_$(printf "%.6i\n" ${startRecord})-$(printf "%.6i\n" ${counter}).marcxml
|
||||||
|
echo "Ergebnis: "$(grep -c -H "<controlfield tag=\"001\">" $dir/${name}_${date}_$(printf "%.6i\n" ${startRecord})-$(printf "%.6i\n" ${counter}).marcxml)" Records"
|
||||||
|
echo ""
|
||||||
|
let counter=counter+maximumRecords
|
||||||
|
let startRecord=startRecord+maximumRecords
|
||||||
|
done
|
||||||
|
|
||||||
|
# Endzeitpunkt ausgeben
|
||||||
|
echo "Endzeitpunkt: $(date)"
|
||||||
|
echo ""
|
||||||
|
|
||||||
|
# Liste der erstellten Dateien
|
||||||
|
echo "Folgende Dateien liegen jetzt vor:"
|
||||||
|
echo "(Dateinamen und Anzahl der enthaltenen Records)"
|
||||||
|
grep -c "<controlfield tag=\"001\">" $dir/*.marcxml
|
||||||
|
echo ""
|
||||||
|
|
||||||
|
# Gesamtzahl der heruntergeladenen Records
|
||||||
|
echo "Gesamtanzahl der Records im Ordner download:"
|
||||||
|
grep "<controlfield tag=\"001\">" $dir/*.marcxml | wc -l
|
||||||
|
|
||||||
|
exit
|
Binary file not shown.
Binary file not shown.
Loading…
Reference in New Issue