Hallo Forum,

ein Museum in New York hat einen Teil seiner Sammlung unter "Public Domain Artworks" zum Download bereit gestellt. Allerdings muss jedes Kunstwerk einzeln geladen werden, ziemlich zeitaufwendig bei tausenden von Werken:

http://images.metmuseum.org/CRDImages/dp/original/DP853774.jpg
http://images.metmuseum.org/CRDImages/ph/original/DP113878.jpg

Könnte ich im Terminal mit wget oder einem anderen Tool nicht alles unterhalb von

http://images.metmuseum.org/CRDImages/dp/original

laden? Meine Versuche endeten immer mit "No Access"

Danke
geoback

Jein.

Das Problem ist, du musst eine Liste aller Dateinamen bzw. Pfade haben - dann geht es, sonst musst du das manuell machen.

Oder du benutzt sowas wie Sitesucker.

ohne es jetzt selbst probiert zu haben:
schonmal mit wget -np (--no-parent) rumprobiert? jetzt nur als idee beim betrachten der manpage. evtl noch mit der option -l für die tiefe des levels.

ansonsten downthemall als plugin für den browser oder jdownloader als eigenständiges tool.

Ein Versuch wäre auch den jDownloader zu testen mit der "Tiefen Linkanalyse". Hilft mir bei sowas in 90% aller Fälle.

Vielleicht hilft da der Automator.
Ich hatte das mal mit einer Bildergallerie gemacht. Dazu habe ich mir den Pfad des ersten Bilds rausgesucht, und mit Excel Pfade mit fortlaufender Nummer erstellt.
Diese Pfade habe ich selbst in eine lokale Webseite eingefügt, und dann mit Automator einen Ablauf erstellt, der alle Objekte einer Seite abfragt und herunterlädt.
Es waren auch ein paar ungültige Pfade dabei, aber die wurden dann halt einfach übersprungen.

Automator wäre auch mein erster Lösungsansatz.

hat sich erübrigt, oder?

404 - File or directory not found.
The resource you are looking for might have been removed, had its name changed, or is temporarily unavailable.

Freizeichen weg im Dateisuffix, dann klappt es

Wie wäre es mit jdownloader? Den Link zur Quelle in die Zwischenablage kopieren, dann sollten alle Dateien im Linksammler landen. Ggf. beim Hinzufügen des Links auf "tiefe Linkanalyse" klicken.
Den Rest erledigt das Programm.

Danke, Megaseppl!

Für Firefox gibt es die Erweiterung downthemall damit geht es mit wenigen clicks

wget ist Teil des macOS-Betriebssystems? Bei mir nicht.
Hingegen gibt es dort cURL bzw. curl : (/usr/bin/curl) und dessen einbettbare Form libcurl: (/usr/lib/libcurl.dylib), das den gleichen Zweck erfüllt. Manpage dazu man curl oder bei Apple online: ), Apple Manpage zu libcurl:

Zur gestellten Frage könnte vielleicht das hier eine Hilfe sein (bin zu faul, da jetzt selber entspr. Kommandos evtl. um Regexes bereichert, zusammenzustellen, man sehe es mir nach, deshalb sei beispielhaft kurz dieser per schneller Google-Suche gefundene Link genannt, vielleicht ist er ja hilfreich, es ließen sich sicher auch noch bessere Beispiele finden):

OSXDaily (13.02.2014): Using cURL to Download Remote Files from the Command Line , Abschnitt "Downloading Multiple Files Concurrently with curl"

vielen Dank für eure Rückmeldungen. Ich habe es mit JDownloader versucht, wie von Legoman empfohlen. Unterhalb von www.metmuseum.org werden massenweise Bilder und auch Videos geladen. Ein erster Erflog. Leider kann ich JDownloader aber nicht dazu bringen die Subdomain images.metmuseum.org ab zu greifen. Dort liegen die besser auflösenden Fotodateien. Gruß, geoback

Im Terminal mit cd in das Verzeichnis wechseln in dem die Bilder gespeichert werden sollen und dann:


fertig.

In den eckigen Klammern die Zahlen von und bis welche Dateien geladen werden sollen.

Danke MetallSnake curl funktioniert tadellos

Wenn dein curl durchgelaufen ist wirst du je nach Range extrem fiele 1KB Dateien haben. Einfach im terminal in dem Ordner oder runtergelassenen Bilder folgendes Command ausführen.

Zum testen gerne ohne "-delete". Command löscht alle JPG Files im aktuellen Verzeichnis die kleiner 5KB sind

Wieviel GB an Daten sind da zusammengekommen?

In der IPTC-Caption ist ein Hyperlink eingetragen, der zur Bildbeschriebung führt: http://www.metmuseum.org/art/collection/search/693061
Gibt es ein Tool, das automatisch dem Link folgt und den Text in die Caption importiert?

Evtl. mit Zuhilfenahme von macOS' eingebautem sips -- scriptable image processing system (/usr/bin/sips)? Evtl. sips in Kombination mit curl und grep? Mit curl das Bild holen, mit sips die Info bzw. den betreffenden URL aus dem heruntergeladenen Bild extrahieren und curl nochmal vorlegen, dass curl dann diesem URL folgt und da was an Land holt?

Beispiele für den Einsatz und Umgang mit sips: , , […]

@sierkb das hätte ich auch gerne, denn die Bilddaten sind wertvoll, insbesonder dazugehöriger mit Beschreibung.