From 391fef2137060ab091c83663274d7b7394d09f8b Mon Sep 17 00:00:00 2001 From: Felix Lohmeier Date: Tue, 19 Jan 2021 17:29:00 +0100 Subject: [PATCH] =?UTF-8?q?OpenRefine-Projekt=20f=C3=BCr=20Debugging=20arc?= =?UTF-8?q?hivieren=20#11?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- tasks/siegen.yml | 17 ++++++++++------- tasks/wuppertal.yml | 20 +++++++++++--------- 2 files changed, 21 insertions(+), 16 deletions(-) diff --git a/tasks/siegen.yml b/tasks/siegen.yml index ece599f..b617473 100644 --- a/tasks/siegen.yml +++ b/tasks/siegen.yml @@ -64,21 +64,24 @@ tasks: $OPENREFINE_CLIENT -P $PORT --export --template "$(< ../../../rules/siegen/template.txt)" --rowSeparator " " --output siegen.txt $PROJECT - # Export für Debugging - - $OPENREFINE_CLIENT -P $PORT --export --output siegen-debug.tsv $PROJECT + # Statistik zu Laufzeit und Ressourcenverbrauch + - ps -o start,etime,%mem,%cpu,rss -p $(lsof -t -i:$PORT) # OpenRefine beenden - - ps -o start,etime,%mem,%cpu,rss -p $(lsof -t -i:$PORT) # Statistik - - kill -9 $(lsof -t -i:$PORT) # SIGKILL (-9) verhindert unnötigen Speichervorgang - - rm -rf ./*.project* && rm -f workspace.json # temporäre Dateien von OpenRefine löschen + - PID=$(lsof -t -i:$PORT); kill $PID; while ps -p $PID > /dev/null; do sleep 1; done + # OpenRefine-Projekt für Debugging archivieren + - tar cfz siegen.openrefine.tar.gz -C $(grep -l siegen *.project/metadata.json | cut -d '/' -f 1) . + # Temporäre Dateien löschen + - rm -rf ./*.project* && rm -f workspace.json sources: # wenn "dir:" für task gesetzt ist, dann relative Links ausgehend von dir - ../harvest/siegen.xml - ../../../rules/siegen/*.json - ../../../rules/siegen/template.txt -# - ../../../rules/common/*.json +#TODO - ../../../rules/common/*.json generates: + - openrefine.log - siegen.txt - - siegen-debug.tsv + - siegen.openrefine.tar.gz check: cmds: diff --git a/tasks/wuppertal.yml b/tasks/wuppertal.yml index 7a6fea1..5d39d18 100644 --- a/tasks/wuppertal.yml +++ b/tasks/wuppertal.yml @@ -67,21 +67,24 @@ tasks: $OPENREFINE_CLIENT -P $PORT --export --template "$(< ../../../rules/wuppertal/template.txt)" --rowSeparator " " --output wuppertal.txt $PROJECT - # Export für Debugging - - $OPENREFINE_CLIENT -P $PORT --export --output wuppertal-debug.tsv $PROJECT + # Statistik zu Laufzeit und Ressourcenverbrauch + - ps -o start,etime,%mem,%cpu,rss -p $(lsof -t -i:$PORT) # OpenRefine beenden - - ps -o start,etime,%mem,%cpu,rss -p $(lsof -t -i:$PORT) # Statistik - - kill -9 $(lsof -t -i:$PORT) # SIGKILL (-9) verhindert unnötigen Speichervorgang - - rm -rf ./*.project* && rm -f workspace.json # temporäre Dateien von OpenRefine löschen + - PID=$(lsof -t -i:$PORT); kill $PID; while ps -p $PID > /dev/null; do sleep 1; done + # OpenRefine-Projekt für Debugging archivieren + - tar cfz wuppertal.openrefine.tar.gz -C $(grep -l wuppertal *.project/metadata.json | cut -d '/' -f 1) . + # Temporäre Dateien löschen + - rm -rf ./*.project* && rm -f workspace.json sources: # wenn "dir:" für task gesetzt ist, dann relative Links ausgehend von dir - ../harvest/wuppertal.xml - ../../../rules/wuppertal/*.json - ../../../rules/wuppertal/template.txt -# - ../../../rules/common/*.json +#TODO - ../../../rules/common/*.json generates: + - openrefine.log - wuppertal.txt - - wuppertal-debug.tsv + - wuppertal.openrefine.tar.gz check: cmds: @@ -91,14 +94,13 @@ tasks: sources: # wenn "dir:" für task nicht gesetzt ist, dann relative Links ausgehend von Taskfile.yml - data/wuppertal/refine/openrefine.log - - data/wuppertal/refine/siegen.txt + - data/wuppertal/refine/wuppertal.txt split: cmds: - task: :split vars: {PROJECT: "wuppertal"} sources: - # wenn "dir:" für task nicht gesetzt ist, dann relative Links ausgehend von Taskfile.yml - data/wuppertal/refine/wuppertal.txt generates: - data/wuppertal/split/*.xml