Liebe Gemeinde,

ich möchte mal eine Frage loswerden, da ich hier nicht weiterkomme; bzw. hier keine Erfahrungen habe.

Hier das Problem, wir haben bei uns in der Firma den Datenbestand – im wesentlichen Foto – von unserer NAS auf eine SharePoint-Lösung überführt. Bei Einrichtung des SharePoint Servers wurde der Altbestand“ ganz überwiegend in das SharePoint-Archiv überführt. So weit so gut, funktioniert auch alles. Jedoch frisst dieser Alt-Bestand so ca. 1 TB an Platz auf dem SharePoint und hierdurch ist der Erwerb von weiterem Speicherpatz von Nöten. Insofern beschäftige ich mich mit der Fragestellung, welche Möglichkeiten bestehen, die im Archiv vorhandenen Daten – insbesondere Fotos zu - komprimieren. Nach Aussage unseres IT-Dienstleisters ist eine irgendwie geartete „automatische“ Komprimierung dieser Fotos unmittelbar im Archiv nicht möglich. Laut dieser Aussage besteht die einzige sinnvolle Möglichkeit darin, diese (Archiv-)Daten wieder runterzuladen, zu komprimieren und dann diese Daten (die ursprünglichen Daten sind zuvor zu löschen) wieder hochzuladen.

Inhaltlich habe ich den Prozess verstanden, jedoch weiß ich nicht, wie ich eine Komprimierung der gesamten herruntergeladenen Fotos vornehmen kann. Mit anderen Worten kennt jemand einen Weg (Programm), nachdem ich den gesamten Archiv-Datenbestand runtergeladen habe (verschiedenste Dateienformate; vorrangig Fotos), sämtliche Fotos – Dateiformat jpeg - auf einen „Rutsch“ z. Bsp. um 50% komprimieren kann.

Ich hoffe ich habe mich klar ausgedrückt (es überwiegt die Hoffnung). Falls Fragen verbleiben, lasst mich dies gerne wissen, ansonsten freue ich mich über jeden Hinweis, da ich in Bezug auf die „Bearbeitung“ dieses Datenbestandes nicht weiterweiß.

Viele Grüße
Hulg

PS: Viel mir gerade noch ein, das Ziel ist, den gesamten Datenbestand runterzuladen und dann alle heruntergelassenen Daten erneut zu speichern, wobei das Ziel ist alle Fotos wie oben dargestellt zu komprimieren,, um diesen Prozess - soweit möglich möglichst - ohne "Arbeit" durchlaufen zu lassen.

Guten Morgen,
es stellen sich mehrere Fragen bei Deinem Vorhaben:
1. Soll jede Datei für sich komprimiert werden? Oder das ganze Archiv?
2. Wie soll später im Archiv nach Dateien gesucht werden?

Mein Vorgehen wäre:
- Jede Datei alleine als ZIP-Archiv zu speichern. Weil man dann später schneller darauf zugreifen kann, als erst 1 TB-Archiv zu entpacken.
- ZIP-Archiv lässt die Original-Datei wie ist. Die Bildqualität wird nicht verändert.

Es gibt sicher fertige Lösungen, sprich Programme, die die ZIP-Komprimierung vornehmen. Ansonsten braucht es Skript zum Beispiel AppleScript oder JavaScript, das den Vorgang übernimmt.

Wenn es sich um jpeg Bilder handelt wirst Du mit einer (zip) Komprimierung nicht viel erreichen. Im schlimmsten Fall ist das komprimierte Foto sogar größer als das ursprüngliche. Was geht ist die Bilder kleiner zu rechnen (also Anzahl der Bildpunkte zu reduzieren und/oder den Komprimierungsgrad erhöhen). Beides ist mit Qualitätsverlust verbunden.
Zu deiner eigentlichen Frage kann ich nicht viel sagen. Mein Ansatz wäre alles runterladen. Perl Skript drüber rennen lassen und alles was auf jpeg /jpg endet durch image magic (Linux) jagen, dann alles auf dem Server löschen und danach wieder hochschieben. Old School, aber geht.
Ach so: un bei der ganzen Aktion die Backups nicht vergessen!

Im Blog von Dr Drang wird vorgestern ausführlich beschrieben wie er die Kommandozeile von ImageOptim nutzt, um Fotos verlustfrei zu komprimieren. Er baut dann ein Python-Skript für KeyboardMaestro. Das ließe sich aber sicherlich leicht umbauen, um alle deine Fotos an Ort und Stelle zu komprimieren.

Soviel ich weiss, werden Dateien in Sharepoint nicht sofort gelöscht. Wenn Du also alle runterlädst und komprimierst und wieder in Sharepoint speicherst wirst Du für eine längere Zeit (180 Tage?) zusätzlichen Speicherplatz brauchen, auch wenn Du die 1TB gelöscht hast.
Kann man evtl. aber auch einstellen.

Einfach JPG Mini rüberlaufen lassen? Das Optimiert an Ort und Stelle.

SharePoint ?? Ist dann wohl irgendein Windows-System?

Da empfehle ich doch glatt einen Blick auf die in NTFS eingebaute Kompression auf Filesystem-Ebene.
Sowas sollte euer "IT-Dienstleister" eigentlich kennen ...



Auf Deutsch:
Unter der Haube sind das auch nur Ordner und Dateien auf ner Windows-Kiste. Da kann man dem Stamm-Ordner das Attribut "komprimiert" verpassen und alles darin schrumpft magisch um +-40%

Das mache ich hier z.B. mit den TimeMachine-Backups, s.o.

Achso.
Nachteil der Komprimierung: Es geht Redundanz verloren. Im Katastrophen-Fall sinkt die Chance auf Wiederherstellung.

MrChad
solange keiner weiß ob die Bilder nicht schon komprimiert sind bringt das doch nix.
Daher hätte man sich um die Datenmenge Gedanken machen sollen bevor das Ganze in die Cloud verlegt wurde. Wenn man erst nachträglich feststellt, das man zu wenig Speicher geordert hat und nun nachbestellen muß, ist schon vorher bei der Bedarfsanalyse gründlich geschlampt worden.

Hallo Zusammen,

vielen Dank für die hilfreichen Antworten.

Vorab einige Kommentare:
@ jens-ulrich: jede Datei soll erhalten bleiben; ZIP kommt somit nicht in Frage
@ Sahnehering: Qualitätsverlust ist hinnehmbar, Backups der Orginaldateien sind mehrfach lokal vorhanden
@ Olly: Völlig richtig, darauf hatte auch der IT-Dienstleister hingewiesen; Stichwort Versionierung. Einziger Weg, runterladen, löschen, komprimieren und wieder hochladen
@ MrChad: M.E. nicht möglich, da der SharePoint Server von Microsoft gehostet wird
@ MikeMuc: Die Bilder stammen allesamt von verschiedensten iPhones über die Jahre hinweg, Meines Wissens nach wurden diese bisher nicht weiter komprimiert und wie gesagt Qualitätsverlust hinnehmbar
trashcantrasher: Klingt interessant, werde ich test. Insbesondere, ob dieses Programm in der Lage ist einen Ordner, sämtliche in diesem Ordern befindliche Fotos (daneben sind noch andere Dateiformate vorhanden, machen jedoch nur ca. 1-2% der Gesamtmenge aus) in einem Rutsch zu komprimieren. An Ort und Stelle hingegen bringt hier wenig, wegen der vorhandenen Versionierung.

Nochmals vielen Dank soweit, werde berichten wie es weitergeht.

Viele Grüße
Hulg

Um auf ImageOptim zurückzukommen (der Blog dreht sich mehr um Screencapturing). Im Grunde muss man nur
aufrufen Die Einstellungen erfolgen in der App.

Nochmal hallo,

habe auf die schnelle das von @trashcantrasher vorgeschlagene Programm getestet. Ergebnisse sehen echt gut aus. Kann die komprimierten Fotos nicht von den Originalen unterscheiden und das bei einer Verkleinerung der Datengröße von weit über 50% im Durchschnitt. Ferner überspringt das JPEG Mini Pro alle Dateien die keine Fotos sind ohne Hinweis oder die Arbeit einzustellen. Die Arbeitsgeschwindigkeit ist zudem überaus beeindruckend.

Nochmals vielen Dank und viele Grüße
Hulg

Wenn ich JPEGmini mit ImageOptim vergleiche, würde ich doch eher zu ImageOptim greifen. ImageOptim hat neben der GUI-Oberfläche auch eine CLI-Schnittstelle, was Automatisierung ermöglicht. ImageOptim komprimiert ebenfalls verlustfrei und die Methode ist einstellbar. Obendrein ist es etwas günstiger: nix vs. 59,- pro Jahr.

Hallo marm,

vielen Dank für den Hinweis, schaue ich mir bei Gelegenheit an. Hinsichtlich der Kosten für für JPEGmini habe ich kein Problem, da das Ganze zum einen die Firma trägt und zum anderen dies eine einmalige Aktion sein soll.

Leider komme ich trotzdem nicht weiter. Wie beschrieben muss ich im ersten Schritt die betroffenen Daten aus dem SharePoint Archiv runterladen; ca. 700 GB. Da diese Daten im Archiv liegen, geht das nur über den Browser und hierbei bricht der Download ständig ab. Besonders ärgerlich, wenn ich einen Ordner laden möchte der 57 GB hat und der Abbruch nach 28 GB eintritt; da ist mit einer 100/40 Leitung schon einige Zeit ins Land gegangen. Ansonsten hatte ich noch nie Probleme mit irgendwelchen anderen Downloads. Drehe am Rad. Unseren IT-Dienstleister habe ich diesbezüglich auch schon angeschrieben.

Viele Grüße
Hulg

Willst du uns also erzählen, dass ihr euer gesamtes Firmen-Archiv auf irgendeinen cloud-igen Webservice hochgeladen und nicht eine einzige lokale Sicherungskopie behalten habt ??

Ganz ehrlich: Sowas halte ich für -mehr als- fahrlässig. Wäre nicht das erste Mal, dass so'n Cloud-Service über Nacht verschwindet oder so.

Vorschlag: Geh' heute noch zum Mediamarkt, kauf dir ein paar Terabyte-Platten und sieh zu, dass du deine Daten ganz schnell wieder zurückholst. Kann in Arbeit ausarten, lohnt sich aber.

Dann machst du mehrere Kopien auf verschiedene Platten.
Und eine davon nimmst du mit nach Hause und legst sie da in den Schrank.

Über alles Weitere kannst du danach weiter nachdenken.

Hallo MrChad,

wie am 24.3. um 10:37 bereits geschrieben, sind lokale Backup - insbesondere hinsichtlich der Alt-Dateien, die in das SharePoint-Archiv verschoben wurden, mehrfach vorhanden; die neuen Daten die nach Einrichtung der SharePoint-Lösung entstanden sind, werden seitens unseres IT-Dienstleisters gesichert. Bei der gesamten Diskussion geht ausschließlich um die Frage, wie ich die in diesem Archiv vorhandenen Fotos um Platz in diesem Archiv zu schaffen, komprimieren kann.

Aufgrund der vorhandenen lokalen Backups überlege ich nunmehr auf den Download zu verzichten und diese Daten zur Komprimierung zu nutzen und dann diese Daten dann erneut hochladen; die entsprechenden vorhandenen Daten im Archiv würde ich zuvor logischerweise löschen. Müsste allerdings dann prüfen, ob zwischenzeitlich jemand Daten in die betroffenen Ordner im Archiv abgelegt hat; dies würde ich halt gerne vermeiden, daher der oben beschriebene Weg.

Viele Grüße
Hulg

PS: auch wurde bei der Einrichtung nicht geschlampt. Es war bei Einrichtung klar, dass zusätzlicher Speicherplatz erworben werden muss. Jedoch heißt dies nicht, dass dieses für immer so bleiben muss