Das Zeta File System verspricht ja fast nur gutes. Performance und enorme Sicherheit. Vor einigen Jahren war in den Gerüchteküchen die Rede davon das Apple sich überlegt auf ZFS umzusteigen. Leider wurde das nie umgesetzt.

ZFS scheint ja das Wunder-File-System zu sein. Wenn man die Funktionen liest hat dieses System nur Vorteile. Sozusagen das
Wundermittel. Weit überlegen allen bisherigen Systemen.
––––––––––
Einige Technische Details:

Maximale Wortlänge: 128 Bit - dies bieten auch einige andere Dateisysteme und ist in der Praxis zu vernachlässigen
Maximale Anzahl an Dateien in einem Dateisystem: 248 - Damit soll auch das zukünftige Datenvolumen noch verwaltet werden können. Zum Vergleich NTFS kann nur 232 Dateien verwalten.
Maximale Größe des Dateisystems: 16x 260 Byte - damit lassen sich mehr Byte in einem ZFS verwalten, als es Atome im bekannten Universum gibt. Zum Vergleich: NTFS kann maximal "nur" 260 Byte verarbeiten.
Maximale Größe einer Datei: 16x 260 Byte - auch hier wieder eine kaum vorstellbare Zahl, an die NTFS mit maximalen 16 TB nicht herankommt.
Maximale Anzahl an Dateien in einem Verzeichnis: 248 - NTFS kann insgesamt nur 232 Dateien verwalten.

Die Zahl 264 spielt an anderer Stelle eine entscheidende Rolle. So ist die maximale Anzahl an Geräten in einem Pool 264, ebenso wie die maximale Anzahl an Dateisystemen und maximale Anzahl an Pools in einem System.

Obige Angaben sollen nur unterstreichen, wozu ZFS entwickelt wurde: Es soll den Bedarf der Datenverwaltung in der Zukunft sichern. Jeff Bonwick, der Chefentwickler von ZFS, sprach davon, dass diese technischen Voraussetzungen für immer ausreichen sollten. In der Informatik sollte man mit diesen Begriffen aber vorsichtig umgehen. Auch wenn man sich oben genannte Dimensionen momentan noch nicht vorstellen kann, so könnte dies in 20 Jahren schon ganz anders aussehen. Man erinnere sich nur an den berühmten Satz von Bill Gates in dem er sagte, dass 640 kB Speicher für immer ausreichend seien.


Es scheint hier Leute zu geben welche OpenZFS auf dem Mac nutzen und sich mit dem Thema beschäftigen.
Bodo_von_Greif...





Gibts Erfahrungen?
Warum hat Apple den Weg Richtung ZFS wieder verlassen?
Vorteile?
Nachteile?

Ich freue mich auf eine rege Diskussion hier...

Falls Apple überhaupt (und das wollen wir hoffen) an etwas arbeitet, wird es vermutlich eher darauf hinauslaufen, etwas neues zu entwickeln, was auf SSDs und Flash-Speicher optimiert ist.
Deren Anforderungen sind ganz andere als bei drehenden Festplatten und obwohl Apple bei einigen Rechner diese leider immer noch verbaut, ist es nur eine Frage der Zeit, bis die in keinem Apple-Produkt mehr vorkommen. Unter diesem Gesichtspunkt war es vermutlich die richtige Entscheidung sowas wie ZFS gar nicht mehr einzuführen.

Was ist mit Btrfs?

Die Zahlenangaben scheinen mir nicht zutreffend zu sein.
Maximale Anzahl an Dateien in einem Dateisystem: 248
NTFS kann insgesamt nur 232 Dateien
sollten das nicht Dateisysteme statt Dateien sein?

Maximale Größe des Dateisystems: 16x 260 Byte
16 x 260 Byte = 4160 Byte = ca. 4 kB
da passt doch was nicht, oder mir fehlt eine wichtige Information um es richtig zu interpretieren !!!

Was spricht denn gegen ZFS im Zusammenhang mit SSD-/Flash-Speicher?

Das Hochzeichen ist wohl verschütt gegangen. Statt 260 meint er 2^60 etc.

Irgendwie so gar nichts

Hi,

einer der wichtigsten Features für und scheint mir zu sein dass prüfsummenbasierten Schutz existiert.
Weiterhin sind patrol reads möglich.
Apple scheint da auf die Festplattenhardware und SMART zu zählen.

Dass Festplatteninhalte die jahrelang nicht gelesen werden langsam verschwinden ist jedem erfahrenen Admin schon mal vorgekommen.

Deduplikation braucht unsereins auch nicht wirklich.

Kompression ist nice, führt aber zu nicht mehr berechenbaren freien Speicherplatzangaben.

Aber Achtung, Festplatten dazunehmen in einem RAIDZ Verband ist nicht möglich; sehr wohl aber Ersatz aller Festplatten durch grössere und wenn -alle- ersetzt sind sogenannter autoexpand.

Quelle:

Gruss,

Bodo

Mein Resumee: Von Admins für Admins aber Geschwindigkeit und Platzbedarf (man sollte immer 50% frei haben) sind ein grosses Hindernis.
Fusion drive und TM sind genial.
Snapshits braucht kein Mensch und wenn dich findest man sich schnell in einer Situation wieder in der nichts mehr geht weil Platz aus.
Ging mir übrigens mit BTRFS auf SUSE so.

Gruss,

Bodo

PPS: Sehr nett ist natürlich sowas im Terminal:
watch -d -n60 "zpool status&&zpool iostat -v&&zpool list -v&&zpool history"

Hier noch eine Linksammlung:

Sehr gute Beschreibung Hut ab:
https://wiki.ubuntuusers.de/ZFS_on_Linux/

https://jsosic.wordpress.com/2013/01/01/expanding-zfs-zpool-raid/
https://pthree.org/2012/12/12/zfs-administration-part-vii-zpool-properties/
http://www.datadisk.co.uk/html_docs/sun/sun_zfs_cs.htm
http://serverfault.com/questions/190/zfs-vs-xfs
https://www.youtube.com/watch?v=qXOZmDoy2Co

http://www.seedsofgenius.net/solaris/zfs-vs-btrfs-a-reference

Nicht vergessen wer selber mit OSX experimentiert z.B.:
create -f -o ashift=12 -O casesensitivity=insensitive -O normalization=formD tank devices...

Gruss,

Bodo

Was ich nett finde:

Man kann defekte Platten weiterverwenden indem man mehrere Partitionen darauf erstellt und ein RAIDz
einrichtet.
So finden meine defekte externen USB Platten ihre Plan C Verwendung,

Gruss,

Bodo

Also ich setze ZFS ein, privat und professionell für große Datenmengen.

Professionell direkt über FreeBSD, privt über O3X, also OpenZFSonOSX. http://openzfsonosx.org

Es wäre für die TimeMachine ein wesentlicher Geschwindigkeitszuwachs und würde ettliches an Komfort bedeuten. PCBSD hat das prima für den Desktop umgesetzt: Im "Finder" durchsuchbare Snapshots der User-Folder, inkl. Backup auf Remoteserver oder lokale Festplatten, inkl. Neuinstallation aus einem ZFS-Snapshot den man auf einem Server abgelegt hat etc. pp.

Der Grund warum Apple das wollte anstatt der TimeMachine-Krücke mit den Hardlinks bzw. dem Gebastel auf HFS+ ist genau hier zu finden.

Der Grund warum Apple es aber NICHT gemacht hat ist schlicht und ergreifend die unsichere Lizenzpolitik gewesen. Zu dem Zeitpunkt gehörte die Lizenz noch Sun bzw. Oracle, die es unter einer OpenSource Lizenz freigeben wollten, die es für kommerzielle Zwecke außerhalb von Solaris einsetzen wollen. Hier wurde zurückgerudert und eine sehr weit nutzbarere Lizenz gewählt.
Für Apple kam dieser Schritt zu spät, und wie man weiß ist Apple ziemlich "Stur" wenn sie mal eine Entscheidung getroffen hatten.
Seitdem ist die Entwicklung außerhalb Solaris weit vorangeschritten. Für FreeBSD (OS X enthält Teile von FreeBSD) z.B. kann man es als root-FS nutzen, freiere Solaris-Derivate nutzen es, unter Linux ist der Support mittlerweile auch bei stable angekommen.
Es gibt spitzenmäßige NAS-Software mit FreeNAS oder TrueNAS (basiert auf FreeBSD), die z.B. auch von OS X zfs volumes sichern kann.

Alles in allem kann ich das FS sehr empfehlen und bedauere, dass Apple hier so stur ist. Eine TM-Umsetzung mit ZFS hätte viele Vorteile was Geschwindigkeit, Platz und Datensicherheit angeht.

Meiner Meinung nach war auch Steve stocksauer weil ein Solaris Fritze die ZFS - Apple Zusammenarbeit vorher ausposaunt hatte.

Solche Veröffentlichungen hatte er immer für sich selbst in Anspruch genommen.

Schade drum.
ZFS nativ in OSX wäre der Oberknaller.

Gruss,

Bodo

+1

Hatten wir hier auf MTN nicht schon mal eine Diskussion darüber?

Ich meine, das wäre 2009 gewesen, im Zusammenhang mit Mac OS X 10.6 "Snow Leopard" Server.

ZFS und TimeMachine schließen sich nicht aus – ganz im Gegenteil: TimeMachine würde durch ZFS erst so richtig abheben können, grad' performancemäßig, u.a. dadurch, dass ZFS Dateiveränderungen atomar auf Bitebene speichern kann. Dass große binäre Blobs wiez.B. große Video-Dateien oder auch VMs unter HFS+ immer so lange brauchen, bis TimeMachine sie gesichert hat, hat genau hier seine Ursache – weil HFS+ das einfach nicht kann und somit die ganze Datei kopiert werden muss, selbst wenn sie nur ein paar Bits geändet haben. Unter ZFS wäre das eine Sache von wenigen Augenblicken, und es würde auf dem TimeMachine-Backup bitweise am Binary nur das gändert, was sich im Original auch geändert hat.

Nein. Die Lizenz war damals schon Suns Open Source Lizenz CCDL, so wie sie es heute auch noch ist, und sie ist bewusst SEHR kompatibel zur BSD-Lizenz (und bewusst inkompatibel zur GPL), die Lizenz war nicht unklar, nicht strittig, und die war für Apple auch keinerlei Problem. Bei Sun wollte man eine Zeit lang ZFS und OpenSolaris unter die GPL stellen, doch da machten einige Sun-Entwickler nicht mit, und der interne Streit darüber dauerte zulange, Sun wollte und musste veröffentlichen, also beließ man es erstmal bei der BSD-kompatiblen CDDL. Bei Java hatte man es ja zuvor geschafft, diese unter die GPL 2 zu stellen, GPL 3 war in Vorbereitung, aber auch da aus Zeitgtünden kam man nicht mehr dazu, dazu ging Sun zu schnell den Bach runter.

Nein, der Grund war ein anderer: Sun befand sich mitten in einer Patentklage wegen ZFS, weil die Firma NetApp Sun wegen ZFS verklagt hatte. Und Apple das Risiko wohl zu groß war, mit in diesen Sog gezogen zu werden und evtl. auch zur Zahlung herangezogen zu werden, sollte die Klage gegen Sun Erfolg haben, das war zu dem Zeitpunkt nämlich unklar wie diese Klage ausgehen würde. Nicht verbürgt, folgende inoffizielle Info hat mal jemand, der mit dem Ganzen betraut war und Einblicke hatte, auf einer Apple-Mailingliste zum Thema durchblicken lassen, ohne sich näher dazu äußern zu wollen und sich damit in Teufels Küche zu bringen: Apple verlangte von Sun wohl Sicherheiten bzw. die alleinige Risikoübernahme, dass Apple nicht auch verklagt würde oder ggf. Lizenzkosten abdrücken muss an NetApp bzw. Oracle die Kosten übernehmen solle, sollte Apple ebenfalls von NetApp verklagt werden. Und das ging Sun wohl zu weit, also kam man nicht zusammen.
Und als Oracle Sun dann kaufte, machte Oracle dann dieser unklaren Situation ein Ende, einigte sich mit NetApp, die Klage wurde dann fallengelassen, der Fall zu den Akten gelegt.

Golem (09.09.2010): ZFS: NetApp und Oracle legen ihren Streit bei
Der Streit zwischen NetApp und Sun um Patentverletzungen wird beigelegt. NetApp einigte sich mit seinem langjährigen Partner Oracle, der Sun mittlerweile übernommen hat.


End Software Patents: NetApp's filesystem patents Used against ZFS distributors

Spätestens nach Niederlegung dieser Patentklage hätte Apple bei ZFS also wieder gefahrlos und beherzt zugreifen können (so wie FreeBSD das izwischen ja auch gemacht hat und ZFS in FreeBSD fest integriert hat und sogar Canonical mit ihrem Ubuntu trotz streitbarer Vereinbarkeit bzgl. GPL), erst recht, weil seit Klärung dieser Situation ZFS rund um OpenZFS neue Fahrt aufgenommen hat und Verbesserungen aus allen möglichen Richtungen eingeflossen sind.

Nicht wirklich. Wie gesagt: sie hätten nach Beilegung der Patentklage sofort wieder den Faden aufnehmen können. Der ehemalige Apple-Ingenieur, der damals verantwortlich für die ZFS-Integration in Mac OS X war (man hatte es ja schon zur Marktreife gebracht und und testweise in OSX 10.5.0 Server integriert und sogar damit geworben für Server OS und Desktop OS), der machte genau das: der hob den Faden wieder auf und bot in einer eigenen Firma eine eigene ZFS-Lösung für MacOS X an. Bis diese Firma dann von einer anderen Storage-Firma gekauft wurde. Es geht also, wenn man nur will, dem steht nichts mehr entgegen, die Lizenz sowieso nicht, und der Patentstreit mit NetApp ist ebenfalls seit Jahren nun beigelegt.

Da wird wohl eher ein Schuh draus. Zumal sie ihren ZFS-Experten ja auch haben gehen lassen oder er gegangen worden ist. Theoretisch könnten sie ihn ja jederzeit wieder zurück ins Boot holen, das war/ist schon eine Koriphäe auf seinem Gebiet, der kannte/kennt ZFS unter OS X in- und auswendig. Wenn beide Seiten es wollen.

+1

So steht Apple, aus welchen Gründen auch immer und mit welcher sich jedenfalls mir nicht erschließenden Begründung auch immer, halt daneben und schaut zu statt mitzumachen und ebenfalls von den Früchten zu profitieren, so wie die anderen auch. Währenddessen profitieren halt andere und ziehen diesbzgl. an Apple vorbei, und Apple sitzt immer noch auf seinem betagten und beschissenen HFS+, und keine Ablöse ist in Sicht (wird auch schwer werden, was Besseres als ZFS oder Btrfs aus der Taufe zu heben, sowas braucht Jahre oder gar ein Jahrzehnt und entsprechende Experten, die findet man nicht auf jedem Baum). Oracles Pendant zu ZFS, Btrfs, für Linux kann Apple erst recht nicht nehmen, sie könnten, wenn sie wollten, aber da hackt sich Apple lieber beide Hände ab, da unter LGPL 3 stehend. ZFS unter der BSD-artigen CDDL würde lizenzrechtlich kein Problem für Apple bedeuten. DTrace, ebenfalls unter Sun/Oracles CDDL stehend, hat Apple damals zur selben Zeit (MacOS X10.5), als das mit ZFS anstand, ja auch anstandslos übernommen und integriert und es ist seitdem Bestandteil von Xcode bzw. Instruments.

Hi,
mal eine Frage an die Befürworter von ZFS auf dem Mac.

Glaubt Ihr wirklich, Apple gibt ein System mit diesen Spezifikationen
auf den Mac frei? Es ist, was man so liest, viel zu kompliziert und unhandlich. Es ist so nichts für Mac-User. Keep it simple.

…

insb. das iPhone nicht vergessen. Wenn Apple ein neues FS macht, dann sicher eines, das sie auf allen Plattformen verwenden können und mobil scheidet ZFS aus.

Apple würde mit Sicherheit das ganze schön in die GUI integrieren. Das macht PCBSD schön vor.

Hatte nichts anderes behauptet

Ich hatte nur noch Dunkel die Lizenz-Sache im Hinterkopf. Die Klage hatte ich schon lange verdrängt Aber stimmt, dass war damals das eigentliche Problem. Danke für den recherchierten Reminder.

Apple hatte mal so gedacht, ja. Schaue Dir alte Werbeanzeigen bzgl. Mac OS X Leopard an, da wurde ZFS von Apple als neue Errungenschaft aktiv beworben. Und wenn es einer schafft, sowas einfach und für jedermann benutzerfreundlich zu integrieren, dann ja wohl Apple! Oder traust Du Apple nicht zu, dass sie so eine Aufgabenstellung hinkriegen? Eigentlich doch, oder?

Wenn ich das "etc. pp." noch ausführen darf:

Mal einen Snapshot mit einem 2Zeiler irgendwo hinschieben ist schon sehr unix-like cool

zfs send tank/dana@snap1 | ssh host2 zfs recv newtank/dana

Kenne ich so nur noch von XFS

Quelle:

Frage an maybeapreacher: Wie gross sind grosse Datenmengen? 1 TB, 10 TB, 100 TB?

Gruss,

Bodo

Privat nicht mehr als 2TB, beruflich bewegen wir uns bei ca. 30TB, die auf einem IBM SVC SAN (SSD beschleunigter SAS Speicher) liegen und über FiberChannel an VMWare Hosts und von da als virtuelle Disks an eine FreeBSD VM gemappt sind.
Der ganze "Rest" (bzw. größere Teil: ca. 200TB) der Daten wird in Windows-Server-VMs gemappt und dort per SMB angeboten.
Das ganze natürlich schön redundant auf mehrere RZs gespiegelt

Ich habe beruflich seit 2008 mit ZFS zu tun. Meine Apple iTunes Musiksammlung liegt auf einem OpenZFS Triple RAID mit USB3 Platten. Lediglich OS X schaltet die USB3 Platten mal aus. Aber in ZFS sind gute Absicherungen drinnen, da geht nix verloren oder kaputt.

Was viele bei Apple HFS, Windows NTFS und Linux EXT4 sowie auch andere nicht wissen, diese Dateisysteme haben keinen Schutz vor Fehlern die von der Platte weiter gegeben werden, weil sie diese Fehler schlicht nicht erkennen können. Man verlässt sich bei fast allen nur auf die 8Bit CRC Prüfsumme, die auf der Platte angewendet wird und ggf. S.M.A.R.T. welches letztlich auch nur Platteninformationen und nicht die Anwenderdaten kennt. Alle 256 Prüfsummen wiederholt sich die Prüfsumme sowieso da 8Bit und in gewissen Situationen kann ein Fehlerhafter Block zur korrekten Prüfsumme passen, dann wird dieser fehlerhafte Information an die Anwendung weitergegeben. Auch RAID ist keine Hilfe, da es nur den Plattenausfall abfängt, defekte Platten laufen aber teilweise weiter!

So lange man mit seinen paar Terabytes arbeitet mag das noch nicht stören. Ist mal eine Datei defekt, dann hat man ggf. noch eine Kopie auf der Timemachine. Was aber, wenn der Block schon auf der Quellseite defekt ist. Prüfsummen für Metadaten und Anwenderdaten gehören eigentlich in jedes heutige Dateisystem! Bisher lese ich von APFS leider nichts in dieser Richtung.

@jensche zu SSD. Natürlich kannst du ZFS mit SSD's verwenden. ZFS nutzt halt SSD's meist, um damit den Zugriff lesend und/oder schreibend bei Festplatten zu beschleunigen. Bei großen RAID Umgebungen muss man dabei etwas aufpassen, da eine SSD auch eine Art Flaschenhals darstellen kann (man glaubt es kaum). Man muss hier zwischen verschiedenen Themen wie Latenz (bei Virtualisierung wichtig) und Durchsatz (bei Videoschnitt wichtig) unterscheiden. Wichtig ist auch die Begriffe asynchroner und synchroner Datentransfer zu verstehen. Was man gerade bei Dateispeicherung gut verwenden kann ist die LZ4 Kompression. Diese ist so schnell, dass man diese nicht mal in einer Virtualisierungsumgebung bemerkt. Von Deduplikation würde ich die Finger lassen. Es braucht viel Speicher und macht nur in sehr wenigen Fällen sinn. Beispiele wären Virtualisierung, wenn wirklich hunderte Maschinen genau aus dem gleichen Image erstellt werden. Eine anderes Beispiel Backup, wenn nur Vollbackups erstellt werden, um dann darüber Platz zu sparen. Ist eigentlich unsinnig, aber genau damit wird geworben. Deduplikation in Dateiservern bringt um 9%, während LZ4 bei Virtualisierung noch 20% und bei Dateiservern ggf. auch 60% einsparen kann, bei vorwiegend Text und Tabellen und nicht Video/Audio.