diff --git a/02_1_referat_zu_pro_&_contra_von_open_source.md b/02_1_referat_zu_pro_&_contra_von_open_source.md index e39b136..c9bed90 100644 --- a/02_1_referat_zu_pro_&_contra_von_open_source.md +++ b/02_1_referat_zu_pro_&_contra_von_open_source.md @@ -10,7 +10,7 @@ Informationswissenschaft. http://hdl.handle.net/10760/29324 ## Kernpunkte -Aus dem Referat von Jana Baier am 26.9.2016: +Aus dem Referat von Jana Baier am 26.9.2016 (vgl. [Präsentationsfolien](slides/02_1_referat_zu_pro_&_contra_von_open_source.pptx) ### Vorteile von Open Source Software diff --git a/04_4_download_der_metadaten.md b/04_4_download_der_metadaten.md index 042be7f..62928b0 100644 --- a/04_4_download_der_metadaten.md +++ b/04_4_download_der_metadaten.md @@ -209,6 +209,8 @@ exit * Danach muss das Script noch ausführbar gemacht werden: ```chmod +x download.sh``` * Script starten mit ```./download.sh``` +Script als Datei: [download.sh](scripte/download.sh) + ## Aufgabe 5: Grobe Prüfung der heruntergeladenen Dateien Das Script benötigt für einen Komplettdurchlauf etwa 6 Stunden. Sie werden also bestimmt nicht jede Transaktion aufmerksam am Bildschirm verfolgt haben. So oder so ist es sinnvoll mit ein paar Tests die Plausibilität der heruntergeladenen Dateien zu prüfen. Bitte beantworten Sie folgende Fragen: diff --git a/05_3_initiativen_zum_austausch_von_metadaten.md b/05_3_initiativen_zum_austausch_von_metadaten.md index 87b8d48..985c7c4 100644 --- a/05_3_initiativen_zum_austausch_von_metadaten.md +++ b/05_3_initiativen_zum_austausch_von_metadaten.md @@ -1,2 +1,13 @@ # 5.3 Initiativen zum Austausch von Metadaten +## Kernpunkte + +Aus dem Referat von Kristin Ameis und Kirstin Grantz am 24.10.2016 (vgl. [Präsentationsfolien](slides/05_3_initiativen_zum_austausch_von_metadaten.pptx) + +### ... + +... + +### ... + +... \ No newline at end of file diff --git a/07_0_datentransformation_mit_openrefine.md b/07_0_datentransformation_mit_openrefine.md index e739b36..63efaa0 100644 --- a/07_0_datentransformation_mit_openrefine.md +++ b/07_0_datentransformation_mit_openrefine.md @@ -17,5 +17,5 @@ Inhalte: Beiträge der Studierenden in den Lerntagebüchern: * [Noch ein paar kleine Übungen zum warm werden mit OpenRefine](https://dennislerntnichtaus.wordpress.com/2016/11/08/noch-ein-paar-kleine-uebungen-zum-warm-werden-mit-openrefine/) -* [Datentransformation mit OpenRefine Teil 0](https://xyopendiscovery.wordpress.com/2016/11/08/datentransformation-mit-openrefine-teil-0/) +* [Datentransformation mit OpenRefine Teil 0](https://xyopendiscovery.wordpress.com/2016/11/08/datentransformation-mit-openrefine-teil-0/) und [Datentransformation: Transform… // Remove // Move column to …](https://xyopendiscovery.wordpress.com/2016/11/14/datentransformation-transform-remove-move-column-to/) * [Zwischenstand Bibliothekskatalog](https://lenaentdeckt.wordpress.com/2016/11/13/zwischenstand-bibliothekskatalog/) und [Datentransformation mit OpenRefine](https://lenaentdeckt.wordpress.com/2016/11/13/datentransformation-mit-openrefine/) \ No newline at end of file diff --git a/07_5_alle_daten_in_ein_projekt_laden.md b/07_5_alle_daten_in_ein_projekt_laden.md index 250846c..a9ed5be 100644 --- a/07_5_alle_daten_in_ein_projekt_laden.md +++ b/07_5_alle_daten_in_ein_projekt_laden.md @@ -11,7 +11,7 @@ Hinweise: Hinweise: * Beobachten Sie auch hier den Speicherbedarf und notieren Sie sich die Laufzeit. -* Nutzen Sie Ihre gespeicherten Transformationsregeln oder die aus der Datei [7-3.json](json-history/7-3.json) +* Nutzen Sie Ihre gespeicherten Transformationsregeln oder die aus der Datei [7-3.json](openrefine/7-3.json) ## Aufgabe 3: Wenden Sie die Transformationsregeln aus Kapitel 7.3 auf alle 4500 Datensätze an diff --git a/json-history/07_3.json b/openrefine/07_3.json similarity index 100% rename from json-history/07_3.json rename to openrefine/07_3.json diff --git a/scripte/download.sh b/scripte/download.sh new file mode 100644 index 0000000..bdbf52b --- /dev/null +++ b/scripte/download.sh @@ -0,0 +1,56 @@ +#!/bin/bash +# Script zum Download von Metadaten über Z39.50-Schnittstellen mit curl + +# Programmvariablen +name=haw +date=$(date +%F) +dir=download +url=http://sru.gbv.de/opac-de-18-302?operation=searchRetrieve +query="pica.ppn=.*" +recordSchema=marcxml +startRecord=1 +maximumRecords=100 +endRecord=450200 +let counter=startRecord+maximumRecords-1 + +# Variablen ausgeben +echo "Dateinamen: " ${name}_${date}_$(printf "%.6i\n" ${startRecord})-$(printf "%.6i\n" ${counter}).marcxml +echo "Verzeichnis " ${dir} +echo "Schnittstelle: " ${url} +echo "Suchabfrage: " ${query} +echo "Records: " "von "${startRecord}" bis "${endRecord} +echo "pro Datei: " ${maximumRecords} +echo "" + +# Startzeitpunkt ausgeben +echo "Startzeitpunkt: $(date)" +echo "" + +# Verzeichnis erstellen (falls nicht vorhanden) +mkdir download > /dev/null 2>&1 + +# Schleife mit Aufruf von curl +while [ "$counter" -le "$endRecord" ] ; do +echo "Download Records "${startRecord}" bis "${counter}"..." +curl "${url}&query=${query}&maximumRecords=${maximumRecords}&recordSchema=${recordSchema}&startRecord=${startRecord}" > $dir/${name}_${date}_$(printf "%.6i\n" ${startRecord})-$(printf "%.6i\n" ${counter}).marcxml +echo "Ergebnis: "$(grep -c -H "" $dir/${name}_${date}_$(printf "%.6i\n" ${startRecord})-$(printf "%.6i\n" ${counter}).marcxml)" Records" +echo "" +let counter=counter+maximumRecords +let startRecord=startRecord+maximumRecords +done + +# Endzeitpunkt ausgeben +echo "Endzeitpunkt: $(date)" +echo "" + +# Liste der erstellten Dateien +echo "Folgende Dateien liegen jetzt vor:" +echo "(Dateinamen und Anzahl der enthaltenen Records)" +grep -c "" $dir/*.marcxml +echo "" + +# Gesamtzahl der heruntergeladenen Records +echo "Gesamtanzahl der Records im Ordner download:" +grep "" $dir/*.marcxml | wc -l + +exit diff --git a/slides/02_1_referat_zu_pro_&_contra_von_open_source.pptx b/slides/02_1_referat_zu_pro_&_contra_von_open_source.pptx new file mode 100644 index 0000000..dcdd525 Binary files /dev/null and b/slides/02_1_referat_zu_pro_&_contra_von_open_source.pptx differ diff --git a/slides/05_3_initiativen_zum_austausch_von_metadaten.pptx b/slides/05_3_initiativen_zum_austausch_von_metadaten.pptx new file mode 100644 index 0000000..6eb3661 Binary files /dev/null and b/slides/05_3_initiativen_zum_austausch_von_metadaten.pptx differ