Hallo allerseits,

Nachrichten ist für mich seit 2008 (als es noch iChat hieß) eines der wichtigsten Programme und dementsprechend wichtig ist auch das Nachrichten-Archiv seit 2008.

Da Nachrichten selbst sich ja sehr auf die Gegenwart konzentriert und es fast unmöglich macht, gezielt Nachrichten aus z.B. einem bestimmten Monat vor 10 Jahren anzusehen, hieß die diesbezügliche Rettung für mich Chatology , eine App, mit der man Nachrichten-Archive wunderbar verwalten und durchsuchen kann, so ähnlich wie beliebig alte Emails in Mail.

Entsprechend geschockt war ich, als mit dem jüngsten Update von Chatology die Mitteilung kam, dieses Update sei das letzte und das Programm End-of-Life, da sich das Nachrichtenformat in Big Sur geändert habe und Chatology daher nicht mehr funktioniere (wobei offen bleibt, ob das prinzipiell nicht geht oder die Entwickler keine Lust auf umfangreiche Anpassungen haben).

Nun bin ich im Augenblick noch auf Mojave und werde auch nicht so schnell auf Big Sur upgraden, aber irgendwann wird das ja passieren (ob nun Big Sur oder ein Nachfolger).

Daher zwei Fragen:

• Weiß jemand, der schon Big Sur nutzt und sich auch mit den Innereien etwas auskennt, was sich da Grundlegendes am Speicherformat von Nachrichten geändert hat?
• Kennt jemand ein ähnliches Programm wie Chatology, das aber auch noch unter Big Sur funktioniert?

Danke im Voraus für Eure Infos! Ich nervenbündele gerade etwas wegen dieser Situation … 😬

Hi Weia! Du hattest ja speziell die datumsorientierte Suche in Chatnachrichten angesprochen. Wahrscheinlich ist das kein Ersatz für Chatology für Dich, Du wirkst ja recht enttäuscht, aber Spotlight findet Nachrichten, die auch um ein spezifisches Datum herum liegen, also wenn Du z.B. in Spotlight nach 19.02.10 suchst, werden Nachrichten vom 19.01., aber auch vom 18.01. angezeigt - was ich potentiell in gut finde, aber leider auch Nachrichten, die in einem beliebigen Jahr um 19:01 Uhr verschickt oder empfangen wurden.
Ich starte diese Suchen nicht im Spotlight-Suchfeld, sondern direkt im Finder und schalte den Finder nicht in die Listen - oder Spaltendarstellung, sondern in die Bilddarstellung und lasse nach "Programm" gruppieren: durch die Bilddarstellung geht es am schnellsten und Du bekommst nicht eine Liste mit 10000 Texten zu sehen, in denen die Ziffernkombination des Datums irgendwie vorkommt, weil in der Bilddarstellung ja immer nur wenige Ergebnisse je Gruppe - bei Gruppierung nach Programm also Chat-Nachrichten - dargestellt werden.
Vielleicht läßt sich das noch mit eigenen Spotlight-Suchstrings verbessern oder Du läßt Houdah-Spot direkt im Filesystem suchen: ~/Library/Containers/com.apple.iChat/Data/Library/Messages/Archive.(Haber ich selber noch nicht ausprobiert, müsste aber klappen). Im Filesystem sind die Nachrichten übrigens auch nach Datum sortiert...
Eine spezifische App-Alternative kenne ich leider nicht.

unter Schock trifft’s besser.
Danke für den Tipp, das wusste ich nicht und das ist schon mal besser als nichts. Aber in der Tat wäre das kein vollwertiger Ersatz, denn ich „blättere“ manchmal gerne versonnen in Chatology wie in einem Tagebuch, suche also nicht unbedingt nach einem ganz spezifischen Datum, sondern will einfach einen problemlosen Zugriff auch auf jahrelang zurückliegende Nachrichten zum Stöbern. Nicht zuletzt auch, um sicher sein zu können, dass noch alles da ist (bei so proprietären Datenformaten wie bei Nachrichten weiß man ja nie …)
Nutzt Du selbst denn schon Big Sur und kannst da eine großartige Änderung in der Art erkennen, wie die Nachrichten im Dateisystem abgespeichert werden? Denn damit begründet der Hersteller von Chatology ja dessen Einstellung.

Zu einer möglicherweise geänderten Nachrichten-Struktur- oder Format unter Big Sur kann ich nichts sagen, denn ich verwende noch Mojave und Catalina. Erwägst Du den Hersteller von Chatology zu kontaktieren?

Seit macOS Big Sur ist Nachrichten/Messages eine Catalyst App, mehr oder weniger also eine für macOS angepasste iPadOS App.
Inwieweit sich am Dateiformat etwas geändert hat, kann ich leider nicht beurteilen. Es liegt jedoch nahe, dass nun ein gemeinsames Nachrichten Dateiformat verwendet wird, das iOS, iPadOS und macOS gemeinsam nutzen.

Könntest Du hierzu mal bitte in dieses Verzeichnis gehen: ~/Library/Containers/com.apple.iChat/Data/Library/Messages/Archive
(Zeile einfach kopieren und in gehe zu>gehe zum Ordner einfügen)
und nachsehen, ob sich dort nach Datum sortierte Ordner befinden, in welchen sich einzelne Nachrichten befinden. Falls ja, könntest Du Textedit öffnen und dann eine der Nachrichten auf das Textedit-Symbol im Dock ziehen und dann nachsehen, ob das erste Wort in der ersten Zeile "bplist" ist und in der vierten Zeile "
ZNS.objectsV$class®
" steht?
(danach das Textedit-Fenster bitte schließen, ohne etwas am Nachrichten-Text zu editieren)

In älteren Nachrichten ist das noch zu finden, in neueren jedoch nicht mehr.

Eher nicht. Ich habe davon zwar erst jetzt erfahren, aber die Entscheidung fiel schon letzten Herbst und klang sehr definitiv. Seit 1.1.2021 ist auch der Support bereits eingestellt.

Danke fürs Nachsehen! Kann es sein, dass die älteren Nachrichten, in denen "bplist" und "
ZNS.objectsV$class®
" noch stehen, von einem älteren System stammen und die Nachrichten, in denen sie nicht mehr stehen unter Big Sur empfangen oder versendet wurden?
Ich vermute, Du kannst die älteren Nachrichten dennoch in der App "Nachrichten" normal lesen, oder?

Ah, ich verstehe! Durch die Endgültigkeit erklärt sich auch der Schock-Zustand
Schade. Die Fakten von Mr. Pink deuten darauf hin - wenn auch nicht zwingend - dass Apple tatsächlich das Datenformat geändert hat oder Verschlüsselung beteiligt ist - was auch nicht gut für Chatology wäre.

Ahaaaa! Das ist schon mal eine wichtige Info. Danke!
In der Tat.

Das ist vielleicht sogar ein Hoffnungsschimmer. Denn es gibt Mac-Apps wie z.B. iMazing, die zum Datenaustausch und Backup von iOS/iPadOS-Geräten mit/auf dem Mac dienen und die auf iOS/iPadOS gespeicherten Nachrichten offenkundig auch auslesen können. iMazing z.B. erlaubt zwar nur, die gesammelten Nachrichten als PDF (in einem sehr unförmigen Layout) zu exportieren, aber wenn es die Nachrichten überhaupt auslesen kann, müsste im Prinzip ja auch so eine App wie Chatology weiterhin möglich sein.

Wenn ich die Fakten von Mr. Pink richtig interpretiere, dann müsste so eine App für Deine Zwecke (Du willst ja gerade auch in alten Nachrichten stöbern) wahrscheinlich und im besten Fall (der schlechtere Fall wäre, die Nachrichten sind jetzt verschlüsselt) jedoch zwei Nachrichten-Formate lesen können. Die Entwickler hätten also mehr Aufwand, wenn sie sich dafür entscheiden, auch das alte Format lesen können zu wollen.
Vielleicht holt Apple in den nächsten OS-Updates mehr aus der Spotlight-Technologie und die Funktionalität wird auf diesem Weg direkt in "Nachrichten" integriert. Vielleicht ahnen die Chatology-Macher diesen Schritt schon...

Hmpf, da hast Du natürlich Recht.

Natürlich, hier ist Messages schon seit OS X 10.8 im Einsatz. Unter macOS 11 sind auch alle alten Nachrichten einsehbar.
Jedoch ist mir aufgefallen, dass Nachrichten die unter Big Sur versendet wurden nicht wie bisher unter archiviert werden.

Das ist interessant. Also die neu unter Big Sur empfangenen (und alle alten) werden noch an alter Stelle gespeichert in wohl zwei verschiedenen Formaten, und die neu versendeten werden an bisher unbekannter Stelle gespeichert.

Chats können mit iMazing aus Nachrichten als pdf, Excel, CSV oder Text exportiert werden. So lassen sich Nachrichten-Archive auch verwalten und durchsuchen.
Ohnehin lassen sich leider nur aus Whatsapp und Nachrichten die Chats exportieren, aus allen anderen Messengern nicht.

Nein, das Archiv unter oben genannter Stelle endet am Tag an dem ich auf Big Sur umgestiegen bin. Alle gesendeten und empfangenen Nachrichten seither sind wohl an anderer Stelle gesichert.

Wenn Dich interessiert, wo diese „andere Stelle“ genau ist, könntest Du das just von mir in ganz anderem Kontext vorgestellte Skript findchanges verwenden. Die Installation ist ganz einfach und dort genau beschrieben. Falls Big Sur nicht sonderbare neue Speicherorte für Nutzerdaten etabliert hat, müsstest Du (nach der Installation) erfolgreich Folgendes tun können:

Im Terminal eingeben:
aber noch nicht Return drücken!

In Nachrichten eine Nachricht versenden.

Sofort wieder zurück zum Terminal und nun Return drücken. Im Terminal sollten Dir nun nach und nach (das kann etwas dauern) alle Dateien angezeigt werden, die in Deinem Nutzerordner in der letzten Minute erstellt oder verändert wurden. Weil sich in macOS laufend etwas tut, können das auch mehrere andere Dateien sein, aber hoffentlich wird leicht erkennbar sein, welche Datei der neuen Nachricht zu verdanken ist.

Ist da nichts zu finden, könntest Du das Ganze (von einem Nutzerkonto mit Admin-Rechten aus) auch noch versuchen mit
(Du musst auf Nachfrage dann Dein Admin-Passwort eintippen und nochmals Return drücken.)
Dann wird der ganze Mac durchsucht (was einige Zeit dauern kann) und nicht nur Dein Nutzerordner.

Da hatte ich Dich oben wohl zu wörtlich genommen, als Du geschrieben hast
"Jedoch ist mir aufgefallen, dass Nachrichten die unter Big Sur versendet wurden nicht wie bisher unter
~/Library/Containers/com.apple.iChat/Data/Library/Messages/Archive
archiviert werden."
Macht nichts, jetzt ist es ja geklärt. Macht auch mehr Sinn

Leider konnte ich auch mit Hilfe des Skriptes keinen neuen Speicherort eruieren.

Hm, blöd. Ich hatte schon sowas befürchtet mit all dem neuen Zeug in Big Sur. Aber danke!

@ Weia, wenn ich Dein Unix-Skript richtig verstanden habe, könnten die Nachrichten lokal eigentlich nur in einem Cache gespeichert worden sein, ohne von Deinem Skript gefunden zu werden.

Möglicherweise werden die neuen Nachrichten unter Big Sur zunächst überhaupt nicht lokal gespeichert, sondern nur auf Apple Servern. Das könnte man ausschließen, indem man direkt nach dem Versenden einer Nachricht offline geht (am einfachsten indem man in den Systemeinstellungen>Netzwerk eine neue Umgebung einrichtet, in der keine Verbindungen erlaubt sind), dann den Rechner ausschaltet (dadurch wird der RAM gelöscht, wo die Nachricht noch sein könnte) und nach dem Neustart (Rechner ist ja noch offline) in Nachrichten nachsieht, ob die zuletzt gesendete Nachricht noch da ist.

Eine Kombination aus Nachricht primär auf den Server speichern, zusätzlich oder weil technisch notwendig noch im Cache ablegen und erst später vom Server holen und lokal speichern, wäre möglich.
Ob Apple das so macht?

Yep. (Oder getarnt als Emails … )
Keine Ahnung, das ist jetzt alles wilde Spekulation. Da muss ich mich wohl hinsetzen und nachforschen. Eine Freundin von mir hat auf einem MacBook schon Big Sur (und flucht …); vielleicht stellt sie mir das mal für ein paar Stunden remote zur Verfügung.

Ich tippe darauf, dass die Nachrichten weiterhin primär lokal gespeichert werden. Apple scheint ungern Binärformate zu entwickeln. Vermutlich ist es deshalb ein xml-Format, das verschlüsselt wird. Möglicherweise hat sie Mr. Pink in der Ausgabe Deines Skripts übersehen, vielleicht auch weil sie eben verschlüsselt sind. Es wäre schön, wenn Du die Ergebnisse hier teilst, falls Deine Recherche klappt. Dann hätten die Spekulationen eine Ende und wir wüssten es mit Gewissheit.

Na selbstverständlich.

Ich muss sie nur erst haben …

Ja, ist doch klar.
Ich werde auch die Augen offen halten und es hier posten, falls ich dazu etwas finde.

Ich habe das Skript noch einmal laufen lassen.
Ersichtlich ist auf jeden Fall, dass Änderungen in stattfinden...

Jetzt bin ich verwirrt. Das (eine SQLite-Datenbank) ist doch der althergebrachte Standardspeicherort, seit es Nachrichten gibt?!?

Den Speicherort kannte ich noch nicht. Genial. Danke für das erneute Nachsehen!
Ja, das ist eine SQLite-DB mit 16 Tabellen. Die Tabelle "message" hat 71 Felder; im Feld "text" stehen die Textnachrichten in Reinform! Es sind alles fast selbsterklärende Feldnamen wie z.B. "account", "service", "date", "is delivered", "is_sent"). Eine anderer Tabellenname lautet "chat" und hat ein Feld "guid" in der die Chatpartner eingetragen sind.
Unter dem von mir oben genannten Speicherort werden die Nachrichtenobjekte dagegen in serialisierter Form archiviert (wenn man dem übergeordneten Verzeichnisnamen trauen kann).

Weia: Das Programm "TablePlus" (der Name ist Understatement !) ist eine wunderbare native Software um SQLlite-DBs zu bearbeiten. Es gibt eine freie Version, die gut nutzbar ist. Damit hast Du fast schon eine Lösung um in alten Nachrichten zu stöbern. "DB Browser for SQLite" ist zwar nicht so chick, aber Open Source.

"chic" natürlich

Weia: ach so ein Schritt fehlt ja noch:
Mr. Pink: könntest Du in Deiner Nachrichten-Datenbank unter Big Sur mal nachsehen, ob die SQLite-DB weiterhin 16 Tabellen hat und es die Tabelle "message" mit dem Feld "text" gibt, in dem die Nachrichten unverschlüsselt zu sehen sind? Mit dem bereits erwähnten TablePlus läuft das fast so wie das Öffnen eines normalen Textdokuments. Wichtig ist dabei, vorher eine Kopie von ~/Library/Messages/chat.db anzulegen und diese Kopie dann in TablePlus zu öffnen.
~/Library/Messages/chat.db scheint die eigentliche Nachrichten-DB zu sein, nicht ~/Library/Messages/chat.db-wal

Aber das ist der Standard-Speicherort sie über 10 Jahren? Weshalb ich überhaupt nicht verstehe, warum Chatology die Daten angeblich plötzlich nicht mehr auslesen kann.

Wobei auch ich jetzt etwas durch diese Diskussion dazugelernt habe. Ich hielt ~/Library/Containers/com.apple.iChat/Data/Library/Messages/Archive bislang stets nur für ein Sicherheitsbackup im alten iChat-Format. Nun sehe ich aber angeregt durch diese Diskussion, dass die SQLite-Daten bei mir nur bis genau zu dem Tag zurückreichen, als ich von Mavericks auf Mojave aktualisiert habe. Alle älteren Einträge existieren ausschließlich in ~/Library/Containers/com.apple.iChat/Data/Library/Messages/Archive.

Dort existieren allerdings auch alle Einträge bis zum heutigen Tag. Der Unterschied zu Big Sur scheint also zu sein, dass das Archiv in Mojave tagaktuell gehalten wird und in Big Sur nicht mehr; Big Sur scheint für aktuelle Mitteilungen nur noch auf die SQLite-Datenbank zu setzen.

Wenn nun Chatology daher nur das alte iChat-Format unterstützt hat, dann haben sie jetzt also in der Tat ein Problem, allerdings eigentlich ja keines, das nicht lösbar wäre, denn es ist ja nun kein Geheimnis, wie man eine SQLite-Datenbank ausliest. Da hatten sie wohl leider wirklich einfach keine Motivation mehr.

Interessant wird nun, was passiert, wenn das nächste Update von Big Sur auf den Nachfolger stattfindet: Löscht Nachrichten dann erneut alles in der SQLite-Datenbank vor dem Update und speichert es dafür in ~/Library/Containers/com.apple.iChat/Data/Library/Messages/Archive oder hält es die Daten nun in SQLite oder geht am Ende gar etwas verloren (kann ich mir nicht vorstellen)?
SQLite-Datenbanken auslesen kann ich schon.
Leider nicht, weil alles vor 2019 da ja fehlt …
Eine SQLite-Datenbank besteht immer aus den drei Dateien .db, .db-shm und .db-wal, aber Du hast Recht, die „eigentliche“ Datenbank steckt in .db.

Solltest Du Dir den Inhalt wie von Wellenbrett beschrieben einmal ansehen, könntest Du dann bitte auch gucken, wie weit die Einträge in der SQLite-Datenbank zurückreichen? Insbesondere, reichen sie nur bis zu dem Tag zurück, wo Du auf Big Sur aktualisiert hast (und alles davor eben in ~/Library/Containers/com.apple.iChat/Data/Library/Messages/Archive), oder reichen sie weiter zurück?

Daran hatte ich nicht den geringsten Zweifel. Nur in TablePlus ist das so ästhetisch und komfortabel, dass es fast schon in die Richtung Chatology geht. Ok. fast.

OK, ich guck’s mir später an.

Bei mir sind in der SQLite-DB definitiv ältere Nachrichten.
Wie bestimmst Du das Absendedatum in der SQL-DB? Ich habe es bisher indirekt gemacht, indem ich für eine eindeutige Textnachricht, die ich in der SQLite-DB sehe in iMessage eine Textsuche durchführe und dann so auf das Absende- bzw. Empfangsdatum komme. Direkt im Feld "date" in der Tabelle "message" drängt sich das Datum für Menschen nicht gerade auf: es ist eine 18 Ziffern lange SQL-Integerzahl in der Art 635878106982577180. Hab noch nicht nachgerechnet, ob das die Anzahl der Millisekunden seit dem Jahre 0 sind oder seitdem Brad Cox und Tom Love Objective-C entwickelt haben...
Es ist ja für Deine Bitte an Mr. Pink relevant, in der SQLite-DB zu gucken, wie weit die Einträge zurückreichen...

Also zurückreichend vor Dein letztes (großes) macOS-Update?

Ich bin direkt von Mavericks auf Mojave gesprungen, vielleicht deswegen …
Ich auch.
Stimmt.

Es sind 16 Tabellen, inklusive "message", unter dem Reiter "text" sind die Nachrichten unverschlüsselt einzusehen.
Es sind alle Nachrichten einzusehen, die seit OS X 10.8 versendet und empfangen wurden.

Ahaaa! Also setzt Big Sur nur noch auf SQLite und beerdigt das alte iChat-Format. Das ergibt ja auch Sinn.

Danke fürs Nachsehen!

Laut einzelner Kommentare in den "Apple Support Communities" scheint das Update auf macOS 11 die bisherigen Nachrichten Archive sogar aktiv zu löschen. Ich hatte einen Clean Install von macOS 11 durchgeführt und dann die Archive unter und wiederhergestellt.

Das wäre ja plausibel, wenn komplett auf das SQLite-Format umgestellt werden soll.
Ah, okay, dann hast Du dadurch die Installationsroutine ausgetrickst, die das alte Format löschen wollte. Deshalb hast Du jetzt noch beide Formate, aber logischerweise werden neue Nachrichten nur noch im SQLite-Format gespeichert. Hört sich soweit alles konsistent an.

Ja das ergibt jetzt alles Sinn und die Aussage von Flexibits (Chatology) stimmt zumindest vordergründig. So ganz trivial ist das Reverse Engineering der SQLite-DB nicht, aber machbar; die Arbeit war es ihnen wohl nicht wert.
Das sagst Du jetzt erst? Da hast Du mich ja ganz schön auf den Holzweg geführt. Dennoch danke fürs Nachsehen.