noah/muenster/Taskfile.yml

version: '3'

tasks:
  main:
    desc: miami ULB Münster
    vars:
      MINIMUM: 6600 # Mindestanzahl der zu erwartenden Datensätze
      PROJECT: '{{splitList ":" .TASK | first}}' # results in the task namespace, which is identical to the directory name
    cmds:
      - task: harvest
      - task: refine
      # Folgende Tasks beginnend mit ":" sind für alle Datenquellen gleich in Taskfile.yml definiert
      - task: :check
        vars: {PROJECT: '{{.PROJECT}}', MINIMUM: '{{.MINIMUM}}'}
      - task: :split
        vars: {PROJECT: '{{.PROJECT}}'}
      - task: :validate
        vars: {PROJECT: '{{.PROJECT}}'}
      - task: :zip
        vars: {PROJECT: '{{.PROJECT}}'}
      - task: :diff
        vars: {PROJECT: '{{.PROJECT}}'}

  harvest:
    dir: ./{{.PROJECT}}/harvest
    vars:
      URL: http://repositorium.uni-muenster.de/oai/miami
      FORMAT: mets
      PROJECT: '{{splitList ":" .TASK | first}}'
    cmds:
      - METHA_DIR=$PWD metha-sync --format {{.FORMAT}} {{.URL}}
      - METHA_DIR=$PWD metha-cat --format {{.FORMAT}} {{.URL}} > {{.PROJECT}}.xml

  refine:
    dir: ./{{.PROJECT}}
    vars:
      PORT: 3336 # assign a different port for each project
      RAM: 4G # maximum RAM for OpenRefine java heap space
      PROJECT: '{{splitList ":" .TASK | first}}'
      LOG: '>(tee -a "refine/{{.PROJECT}}.log") 2>&1'
    cmds:
      - mkdir -p refine
      - task: :start # launch OpenRefine
        vars: {PROJECT: '{{.PROJECT}}', PORT: '{{.PORT}}', RAM: '{{.RAM}}'}
      - > # Import (erfordert absoluten Pfad zur XML-Datei)
        "$CLIENT" -P {{.PORT}}
        --create "$(readlink -m harvest/{{.PROJECT}}.xml)"
        --recordPath Records --recordPath Record --recordPath metadata --recordPath mets:mets
        --storeEmptyStrings false --trimStrings true
        --projectName "{{.PROJECT}}"
        > {{.LOG}}
      - > # Vorverarbeitung: Identifier in erste Spalte id
        "$CLIENT" -P {{.PORT}} "{{.PROJECT}}"
        --apply config/vorverarbeitung.json
        > {{.LOG}}
      - > # Ältere Einträge (nach mets:metsHdr - CREATEDATE) mit gleichem Identifier entfernen
        "$CLIENT" -P {{.PORT}} "{{.PROJECT}}"
        --apply config/duplicates.json
        > {{.LOG}}
      - > # Aggregationen löschen (diese Datensätze werden von untergeordneten Werken über relatedItem referenziert)
        "$CLIENT" -P {{.PORT}} "{{.PROJECT}}"
        --apply config/ohne-aggregationen.json
        > {{.LOG}}
      - > # Datensätze ohne Direktlink auf ein PDF löschen
        "$CLIENT" -P {{.PORT}} "{{.PROJECT}}"
        --apply config/nur-mit-pdf.json
        > {{.LOG}}
      - > # Separaten Download-Link entfernen, wenn nur eine Datei vorhanden ist
        "$CLIENT" -P {{.PORT}} "{{.PROJECT}}"
        --apply config/flocat.json
        > {{.LOG}}
      - > # Vorläufig Datensätze löschen, die mehr als einen Direktlink beinhalten https://github.com/opencultureconsulting/noah/issues/25
        "$CLIENT" -P {{.PORT}} "{{.PROJECT}}"
        --apply config/nur-ein-direktlink.json
        > {{.LOG}}
      - > # Vorläufig Zeitschriftenhefte löschen https://github.com/opencultureconsulting/noah/issues/31
        "$CLIENT" -P {{.PORT}} "{{.PROJECT}}"
        --apply config/keine-zeitschriftenhefte.json
        > {{.LOG}}
      - > # Datensätze mit "restriction on access" löschen
        "$CLIENT" -P {{.PORT}} "{{.PROJECT}}"
        --apply config/restriction.json
        > {{.LOG}}
      - > # Index: Spalte index mit row.record.index generieren
        "$CLIENT" -P {{.PORT}} "{{.PROJECT}}"
        --apply config/index.json
        > {{.LOG}}
      - > # Sortierung mods:nonSort für das erste Element in mods:title
        "$CLIENT" -P {{.PORT}} "{{.PROJECT}}"
        --apply config/nonsort.json
        > {{.LOG}}
      - > # Visual Library doctype aus mods:genre
        "$CLIENT" -P {{.PORT}} "{{.PROJECT}}"
        --apply config/doctype.json
        > {{.LOG}}
      - > # HTML-Codes in Abstracts entfernen und Abstracts ohne Sprachangabe löschen
        "$CLIENT" -P {{.PORT}} "{{.PROJECT}}"
        --apply config/abstract.json
        > {{.LOG}}
      - > # mets:file - ID eindeutig machen, um Validierungsfehler zu vermeiden
        "$CLIENT" -P {{.PORT}} "{{.PROJECT}}"
        --apply config/file-id.json
        > {{.LOG}}
      - > # mods:note type teilweise filtern
        "$CLIENT" -P {{.PORT}} "{{.PROJECT}}"
        --apply config/note.json
        > {{.LOG}}
      - > # Anreicherung HT-Nummer via lobid-resources: Bei mehreren URNs ODER-Suche; bei mehreren Treffern wird nur der erste übernommen
        "$CLIENT" -P {{.PORT}} "{{.PROJECT}}"
        --apply config/hbz.json
        > {{.LOG}}
      - | # Export in METS:MODS mit Templating
        "$CLIENT" -P {{.PORT}} "{{.PROJECT}}" --export --template "$(< config/template.txt)" --rowSeparator "" --output "$(readlink -m refine/{{.PROJECT}}.txt)" > {{.LOG}}
      - | # print allocated system resources
        PID="$(lsof -t -i:{{.PORT}})"
        echo "used $(($(ps --no-headers -o rss -p "$PID") / 1024)) MB RAM" > {{.LOG}}
        echo "used $(ps --no-headers -o cputime -p "$PID") CPU time" > {{.LOG}}
      - task: :stop # shut down OpenRefine and archive the OpenRefine project
        vars: {PROJECT: '{{.PROJECT}}', PORT: '{{.PORT}}'}
    sources:
      - Taskfile.yml
      - harvest/{{.PROJECT}}.xml
      - config/**
    generates:
      - refine/{{.PROJECT}}.openrefine.tar.gz
      - refine/{{.PROJECT}}.txt
    ignore_error: true # workaround to avoid an orphaned Java process on error https://github.com/go-task/task/issues/141

  linkcheck:
    desc: miami ULB Münster links überprüfen
    vars:
      PROJECT: '{{splitList ":" .TASK | first}}'
    cmds:
      - task: :linkcheck
        vars: {PROJECT: '{{.PROJECT}}'}

  delete:
    desc: miami ULB Münster cache löschen
    vars:
      PROJECT: '{{splitList ":" .TASK | first}}'
    cmds:
      - task: :delete
        vars: {PROJECT: '{{.PROJECT}}'}

  default: # enable standalone execution (running `task` in project directory)
    cmds:
      - DIR="${PWD##*/}:main" && cd .. && task "$DIR"