opencultureconsulting
/
noah
mirror of https://github.com/opencultureconsulting/noah.git
2
0
Fork 0
Code Issues Projects Releases Wiki Activity

OpenRefine-Projekt für Debugging archivieren #11

This commit is contained in:
Felix Lohmeier 2021-01-19 17:29:00 +01:00
parent 16cd539131
commit 391fef2137
2 changed files with 21 additions and 16 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

17
tasks/siegen.yml
View File

@ -64,21 +64,24 @@ tasks:
$OPENREFINE_CLIENT -P $PORT --export --template "$(< ../../../rules/siegen/template.txt)" --rowSeparator "
<!-- SPLIT -->
" --output siegen.txt $PROJECT
# Export für Debugging
- $OPENREFINE_CLIENT -P $PORT --export --output siegen-debug.tsv $PROJECT
# Statistik zu Laufzeit und Ressourcenverbrauch
- ps -o start,etime,%mem,%cpu,rss -p $(lsof -t -i:$PORT)
# OpenRefine beenden
- ps -o start,etime,%mem,%cpu,rss -p $(lsof -t -i:$PORT) # Statistik
- kill -9 $(lsof -t -i:$PORT) # SIGKILL (-9) verhindert unnötigen Speichervorgang
- rm -rf ./*.project* && rm -f workspace.json # temporäre Dateien von OpenRefine löschen
- PID=$(lsof -t -i:$PORT); kill $PID; while ps -p $PID > /dev/null; do sleep 1; done
# OpenRefine-Projekt für Debugging archivieren
- tar cfz siegen.openrefine.tar.gz -C $(grep -l siegen *.project/metadata.json | cut -d '/' -f 1) .
# Temporäre Dateien löschen
- rm -rf ./*.project* && rm -f workspace.json
sources:
# wenn "dir:" für task gesetzt ist, dann relative Links ausgehend von dir
- ../harvest/siegen.xml
- ../../../rules/siegen/*.json
- ../../../rules/siegen/template.txt
# - ../../../rules/common/*.json
#TODO - ../../../rules/common/*.json
generates:
- openrefine.log
- siegen.txt
- siegen-debug.tsv
- siegen.openrefine.tar.gz
check:
cmds:

20
tasks/wuppertal.yml
View File

@ -67,21 +67,24 @@ tasks:
$OPENREFINE_CLIENT -P $PORT --export --template "$(< ../../../rules/wuppertal/template.txt)" --rowSeparator "
<!-- SPLIT -->
" --output wuppertal.txt $PROJECT
# Export für Debugging
- $OPENREFINE_CLIENT -P $PORT --export --output wuppertal-debug.tsv $PROJECT
# Statistik zu Laufzeit und Ressourcenverbrauch
- ps -o start,etime,%mem,%cpu,rss -p $(lsof -t -i:$PORT)
# OpenRefine beenden
- ps -o start,etime,%mem,%cpu,rss -p $(lsof -t -i:$PORT) # Statistik
- kill -9 $(lsof -t -i:$PORT) # SIGKILL (-9) verhindert unnötigen Speichervorgang
- rm -rf ./*.project* && rm -f workspace.json # temporäre Dateien von OpenRefine löschen
- PID=$(lsof -t -i:$PORT); kill $PID; while ps -p $PID > /dev/null; do sleep 1; done
# OpenRefine-Projekt für Debugging archivieren
- tar cfz wuppertal.openrefine.tar.gz -C $(grep -l wuppertal *.project/metadata.json | cut -d '/' -f 1) .
# Temporäre Dateien löschen
- rm -rf ./*.project* && rm -f workspace.json
sources:
# wenn "dir:" für task gesetzt ist, dann relative Links ausgehend von dir
- ../harvest/wuppertal.xml
- ../../../rules/wuppertal/*.json
- ../../../rules/wuppertal/template.txt
# - ../../../rules/common/*.json
#TODO - ../../../rules/common/*.json
generates:
- openrefine.log
- wuppertal.txt
- wuppertal-debug.tsv
- wuppertal.openrefine.tar.gz
check:
cmds:
@ -91,14 +94,13 @@ tasks:
sources:
# wenn "dir:" für task nicht gesetzt ist, dann relative Links ausgehend von Taskfile.yml
- data/wuppertal/refine/openrefine.log
- data/wuppertal/refine/siegen.txt
- data/wuppertal/refine/wuppertal.txt
split:
cmds:
- task: :split
vars: {PROJECT: "wuppertal"}
sources:
# wenn "dir:" für task nicht gesetzt ist, dann relative Links ausgehend von Taskfile.yml
- data/wuppertal/refine/wuppertal.txt
generates:
- data/wuppertal/split/*.xml