Zum Hauptinhalt springen

Tenant-Datenbank-Ownership

Mehrere OctoMesh-Instanzen können einen MongoDB-Server gemeinsam nutzen. Typische Fälle sind die Haupt- und die Dev-Instanz einer gemeinsamen Testumgebung (Systemdatenbanken octosystem und OctoSystemDev) sowie die Stack-Slots lokaler octo-devstack-Feature-Environments. Jede Instanz wird über ihre Systemdatenbank (SystemDatabaseName) identifiziert; RabbitMQ und CrateDB werden pro Instanz auf die gleiche Weise getrennt.

Eine Tenant-Datenbank auf einem solchen Server muss genau einer Instanz gehören. Registrieren zwei Instanzen dieselbe Datenbank, führen beide ihre Controller, Scheduler und Pipelines darauf aus (Split Brain), und keine von beiden bemerkt es. Diese Seite beschreibt, wie OctoMesh die Ownership eindeutig hält und was ein Operator tut, wenn sie es nicht ist.

Der Ownership-Marker​

Jede Tenant-Datenbank trägt einen Ownership-Marker: ein Dokument in der Collection tenant_ownership der Tenant-Datenbank selbst, das die besitzende Instanz über ihre Systemdatenbank (in Kleinbuchstaben normalisiert), die Tenant-ID und den Schreibzeitpunkt benennt. Da er in der Tenant-Datenbank liegt, kann jede Instanz auf dem Server ihn lesen.

WannWas mit dem Marker geschieht
CreateWird für die erstellende Instanz geschrieben.
AttachWird für die anhängende Instanz geschrieben, nachdem der Attach-Guard (unten) den Attach durchgelassen hat.
Tenant-ResolveWird nur geschrieben, wenn noch keiner existiert (insert-if-absent). Datenbanken aus der Zeit vor dem Marker erhalten ihre Ownership so beim ersten Zugriff auf den Tenant. Ein vorhandener Marker wird nie überschrieben.
DetachWird entfernt, aber nur, wenn er diese Instanz benennt. Detach ist der einzige Weg, eine Datenbank an eine andere Instanz zu übergeben.

Attach-Guard​

Ein Attach wird abgelehnt, wenn die Datenbank

  • den Marker einer anderen Instanz trägt, oder
  • keinen Marker hat, aber in der Systemdatenbank einer anderen Instanz auf demselben Server als Tenant-Datenbank registriert ist (eine Datenbank aus der Zeit vor dem Marker, die ihr Besitzer seither nicht verwendet hat), oder
  • die Systemdatenbank einer anderen Instanz ist.

Der Aufrufer erhält denselben generischen Konflikt wie bei jedem anderen nicht verfügbaren Namen („is not available“); welche Instanz die Datenbank besitzt, steht nur im Service-Log des Asset Repository. Eine Datenbank ohne Marker, die keine Systemdatenbank auf dem Server registriert, kann weiterhin angehängt werden, und der Attach schreibt den Marker.

Die Prüfung liest die Tenant-Registries aller Datenbanken auf dem Server mit dem Admin-Benutzer. Eine Datenbank gilt als Systemdatenbank, wenn sie den System-Database-Marker trägt, den eine Instanz beim Erstellen ihres System-Tenants und bei jedem Start ihres Identity Service in ihre eigene Systemdatenbank schreibt. So wird auch die Systemdatenbank einer Instanz erkannt, die noch keinen Tenant hat. Solange eine Instanz keine Version betreibt, die den Marker schreibt, gilt ihre Systemdatenbank als solche, wenn sie eine Tenant-Registry enthält, keinen Ownership-Marker trägt und nirgends sonst als Tenant-Datenbank registriert ist; so bleiben Tenants, die eigene Child-Tenants haben, aus der Liste heraus.

Warnung beim Resolve​

Löst eine Instanz einen Tenant auf, dessen Marker eine andere Instanz benennt, dann

  • schreibt sie einmal pro Prozess und Tenant eine Warnung ins Log, die den Tenant, die Datenbank und die besitzende Systemdatenbank nennt, und
  • meldet ihren Service-Health-Check (TenantContext, MongoDB-Tag) mit denselben drei Werten als Degraded, solange der Konflikt besteht.

Der Resolve selbst wird nicht abgelehnt und der Marker nicht verändert, bestehende Tenants arbeiten also weiter. Die Warnung bedeutet, dass sehr wahrscheinlich zwei Instanzen auf derselben Datenbank arbeiten: Lösen Sie die Doppelregistrierung wie unten beschrieben auf.

Ownership auflisten und stempeln​

ReviewTenantOwnership listet die Tenant-Datenbanken der Instanz, mit der Sie verbunden sind, deren Ownership nicht eindeutig ist. Führen Sie es im System-Tenant-Kontext jeder Instanz auf dem Server aus.

octo-cli -c ReviewTenantOwnership
Aufgelistet alsBedeutung--stamp
UnmarkedKein Marker, nur in dieser Instanz registriert.Schreibt den Marker dieser Instanz.
MarkedByOtherInstanceDer Marker benennt eine andere Instanz.Lässt ihn unberührt.
RegisteredByOtherInstanceEine andere Systemdatenbank auf dem Server registriert die Datenbank ebenfalls (Doppelregistrierung).Lässt sie unberührt.
octo-cli -c ReviewTenantOwnership --stamp

Ohne --stamp wird nichts geschrieben. Mit --stamp werden nur die Unmarked-Datenbanken gestempelt; alle anderen bleiben unverändert und bleiben aufgelistet. Ein zweiter Lauf stempelt nichts Neues und listet dieselben mehrdeutigen Datenbanken. Registry-Zeilen, deren Datenbank nicht existiert, werden gezählt und nie gestempelt.

Der Befehl ruft POST system/v1/tenants/review-ownership?stamp=false|true des Asset Repository auf. Er wird nur im System-Tenant-Kontext beantwortet (Benutzer-Tokens benötigen die Rolle AdminPanelManagement).

Eine Doppelregistrierung auflösen​

  1. Finden Sie heraus, welche Instanz den Tenant wirklich verwendet (ihre Benutzer, Adapter, Pipelines und Daten). Diese Instanz behält ihn.

  2. Führen Sie in der anderen Instanz Detach für den Tenant aus:

    octo-cli -c Detach -tid "<Tenant-ID in der anderen Instanz>"

    Detach behält die Datenbank und ändert keinen Marker, der ihm nicht gehört: Es entfernt nur einen Marker der eigenen Instanz, der Marker des Besitzers bleibt also bestehen, und eine Datenbank ohne Marker bleibt ohne Marker. Es gelten dieselben Voraussetzungen wie für jedes Detach (Stream Data, Communication, Reporting und AI Services deaktiviert), siehe Einen Tenant abhängen.

  3. Führen Sie ReviewTenantOwnership in beiden Instanzen erneut aus; die Datenbank wird nicht mehr als von einer anderen Instanz registriert aufgelistet, und der Degraded-Zustand verschwindet, sobald die Services das Detach verarbeitet haben. Eine Datenbank, die keinen Marker hatte, wird in der Instanz, die sie behält, weiter als Unmarked aufgelistet; führen Sie dort ReviewTenantOwnership --stamp aus, um sie zu stempeln.

Muss die Datenbank in die andere Instanz wechseln, führen Sie zuerst in der besitzenden Instanz Detach aus; der Marker wird entfernt, und die andere Instanz kann die Datenbank anhängen.

Löschen Sie den Tenant nicht, um eine Doppelregistrierung zu beenden: Delete verwirft die MongoDB-Datenbank. Delete lehnt deshalb eine Datenbank ab, die einer anderen Instanz gehört (siehe unten); der Weg ist Detach.

Einen Tenant löschen​

Das Löschen eines Tenants verwirft seine MongoDB-Datenbank. Bevor etwas gelöscht wird, prüft die Instanz, dass die Datenbank ihr gehört. Das Löschen wird abgelehnt, wenn

  • der Ownership-Marker der Datenbank eine andere Instanz benennt, oder
  • die Systemdatenbank einer anderen Instanz auf dem Server die Datenbank registriert (eine Doppelregistrierung, auch auf der Seite der Instanz, deren Marker die Datenbank trägt).

Die Ablehnung ist dasselbe 409 wie für jeden nicht verfügbaren Namen (Database name '<name>' is not available.); es wird nichts gelöscht, und beide Instanzen behalten ihren Tenant. Das Server-Log der ablehnenden Instanz nennt den Besitzer (Warnung Rejected database name '<name>' ... because the delete would drop a database that ...). Clear eines Tenants (Drop und leeres Neuanlegen) wird auf dieselbe Weise abgelehnt.

Um einen solchen Tenant zu löschen, lösen Sie zuerst die Doppelregistrierung wie oben beschrieben auf und löschen ihn dann in der Instanz, der er gehört.

Trägt die Datenbank nur den Marker einer anderen Instanz, die sie nicht mehr registriert (ein verwaister Marker, zum Beispiel einer entfernten Instanz), kann ein Administrator sie bewusst verwerfen:

octo-cli -c Delete -tid "<Tenant-ID>" --override-foreign-ownership -y

Der Service protokolliert den Override als Warnung, die mit OWNERSHIP OVERRIDE beginnt und den Besitzer nennt. Der Override verwirft nie eine Datenbank, die die Systemdatenbank einer anderen Instanz noch registriert, und nie die Systemdatenbank einer anderen Instanz: Diese Instanz arbeitet möglicherweise noch darauf, führen Sie dort zuerst Detach für den Tenant aus. Der REST-Aufruf lautet DELETE <tenant>/v1/tenants?childTenantId=<id>&overrideForeignOwnership=true.

Der Override gilt genau für den Marker, den der Delete gesehen hat. Läuft das Verwerfen später (der Delete-Settle-Sweep schließt einen unterbrochenen Delete ab) und trägt die Datenbank inzwischen einen anderen Marker, zum Beispiel weil eine andere Instanz unter demselben Namen eine neue Datenbank angelegt hat, wird das Verwerfen abgelehnt und die Datenbank bleibt erhalten.

Ein Delete, dessen Records bereits entfernt sind, dessen Verwerfen aber abgelehnt wird, bleibt offen: Die Tenant-ID bleibt blockiert, bis ein Administrator für die Datenbank manuell Detach ausführt oder sie bereinigt. Für einen offenen Delete ohne gespeicherten Override gibt es keine automatische Wiederherstellung.

Gemeinsame Testumgebung und lokale octo-devstack-Slots​

  • Haupt- und Dev-Instanz auf einem MongoDB-Server: Beide Instanzen sehen die Registrierungen der jeweils anderen. Führen Sie nach einem Upgrade ReviewTenantOwnership in beiden aus, um Datenbanken aus der Zeit vor dem Marker aufzulisten, und dann --stamp in der Instanz, der sie gehören. Eine Datenbank, die in beiden Instanzen als RegisteredByOtherInstance aufgelistet wird, ist eine Doppelregistrierung; lösen Sie sie wie oben auf.
  • Lokale octo-devstack-Slots: Jeder Slot hat seine eigene Systemdatenbank auf dem gemeinsamen lokalen MongoDB. In einem Slot erstellte Tenants gehören diesem Slot. Das Anhängen der Tenant-Datenbank eines anderen Slots wird abgelehnt; führen Sie dort zuerst Detach aus.