Source: Konfiguration und Verwaltung von Si3 Deduplication Store mit Hilfe des CLI

From SEPsesam
Revision as of 11:12, 17 May 2022 by Sta (talk | contribs)
Other languages:

Copyright © SEP AG 1999-2024. Alle Rechte vorbehalten.

Jede Form der Reproduktion der Inhalte dieses Benutzerhandbuches, ganz oder in Teilen, ist nur mit der ausdrücklichen schriftlichen Erlaubnis der SEP AG gestattet. Bei der Erstellung dieses Benutzerhandbuches wurde mit größtmöglicher Sorgfalt gearbeitet, um korrekte und fehlerfreie Informationen bereit stellen zu können. Trotzdem kann die SEP AG keine Gewähr für die Richtigkeit der Inhalte dieses Benutzerhandbuches übernehmen.

Docs latest icon.png Willkommen in der aktuellsten Version der SEP sesam Dokumentation 4.4.3 Beefalo/5.0.0 Jaglion. Frühere Versionen der Dokumentation finden Sie hier: Dokumentation Archiv.


Übersicht

SEP Sesam bietet eine zielseitige (Si3T) und eine quellseitige Deduplizierung (Si3S). Details zu Deduplizierungskonzepten und Empfehlungen finden Sie hier Deduplication.

Beide Arten, Si3T und Si3S benötigen einen konfigurierten Si3 Deduplication Store. An einem Server kann jeweils nur ein Si3 Deduplication Store angelegt werden. Für jeden Si3 Deduplication Store wird eine gültige Lizenz benötigt. Beachten Sie, dass Sie einen Si3 Deduplication Store auch über die GUI konfigurieren können. Weitere Informationen finden Sie unter Konfiguation eines Si3 Deduplication Store.

Typically, only one Si3 deduplication store can be configured on a server. However, since a direct upgrade from the old Si3 to Si3 NG is not supported, you can replicate from Si3 to Si3 NG. For this purpose, you can also configure a new Si3-NG and an old Si3 in parallel on the same host by enabling the key enable_gui_allow_multi_dedup. For details, see Enabling Si3 NG setup on the same host.

  • A valid licence is required for each Si3 deduplication store.

Voraussetzungen

Die minimalen Si3 Hardware Anforderungen, die für den SEP sesam Si3 Deduplication Server gelten, bitte hier kontrollieren. Beachten Sie, dass diese Anforderungen nur die Deduplizierung betreffen. Zusätzlich sollte der Speicherplatz für das Betriebssystem und andere Dienste berücksichtigt werden.

Die folgenden Voraussetzungen müssen erfüllt sein, um einen Si3 Deduplication Store zu konfigurieren.

Si3 Deduplication Hardware Requirements/de

Konfiguration über das CLI

Die Größe des Index (max_pages) und die RAM Anforderungen für Java sind wichtige Parameter für den Betrieb des Si3 Data Stores, da beide Parameter beim Anlegen benutzt werden.

SEP sesam provides command utilities for configuring and managing Si3 data stores. The following section provides some examples of commands and syntax.

Information sign.png Anmerkung
You must have SEP sesam administrator privileges to run SEP sesam CLI commands and use the command prompt as an administrator. All commands are run from the <SESAM_ROOT>/bin/sesam/ directory. If you want to execute SEP sesam commands globally (and not from the actual run directory), set the SEP sesam profile as described in What happens when I set a profile?.

The index size (max_pages) and Java's RAM requirements are important parameters for the operation of a Si3 data store as both parameters are used during its creation.

Das sm_dedup_Interface wird benutzt, um die Hardware für einen Si3 Data Store zu konfigurieren. Man muss dabei die Kapazitätsgröße des Data Stores (Data Store Partition) angeben.

stpd_conf

Die Si3 und die stpd Konfiguration sind in einer .ini Datei im Verzeichnis gv_rw_ini:stpd_conf gespeichert.

Der Dateiname wird abgeleitet aus hw_drives.device (DS@ds1_2), wie es auch für jedes andere DS Laufwerk der Fall ist. Einige Informationen werden dupliziert, da sie von beiden benutzt werden, dem Si3 Server und stpd.

bigsrv1:/var/opt/sesam/var/ini/stpd_conf # cat ds1_2.ini
 [DEDUP]
 Backend=dedup
 Hostname=localhost
 defaultRepoPath="/datastore/ds1/ds1"
 maxPages=481900
 port=11703
 sds_jvm_options="-Xmx1032M -XX:MaxDirectMemorySize=1355M"

 [DISK_STORE]
 Storage_Location=/datastore/ds1/ds1
 Size=1000GB
 backend=dedup
 hostname=localhost
 port=11703
sm.ini

Die RAM-Parameter für Java können manuell in der sm.ini-Datei gesetzt werden. Diese überschreiben die automatisch generierten Parameter der Laufwerksdatei .ini. Der empfohlene Xmx-Wert ist ¼ (ein Viertel) des verfügbaren RAM. Falls z.B. 16 GB verfügbar sind, dann sollten mindestens 4 GB (4096 MB) für den Si3 DataStore konfiguriert werden.

Um die von Java auf dem Zielsystem verwendeten Standardparameter zu erhalten, führen Sie den Befehl java -XX:+PrintFlagsFinal aus und suchen Sie nach MaxHeapSize (-> Xmx) und InitialHeapSize (-> Xms).

max_pages

Der zweite Parameter (max_pages) bezieht sich direkt auf den Java Memory Parameter. Der RAM wird benötigt, um den gesamten Index (beschrieben durch max_pages) im Hauptspeicher zu halten. Die MaxDirectMemorySize hängt direkt ab von max_pages.

Der Wert max_pages wird in der SEP Sesam Datenbank im Laufwerksfeld hw_drives.block_size gespeichert und wird bei Bedarf dynamisch vergrößert. Der Parameter wird berechnet aus (hw_drives.block_size (*100)) und anschließend in die Laufwerkskonfigurationsdatei .ini kopiert.

Fortgeschrittene CLI Administration

Die beiden wichtigsten Wartungsaufgaben - Garbage Collection (gc) und File System Check (fsck) - laufen automatisch. Sie werden von sm_start während dem SEP sesam Tageswechsel gestartet. Man kann ihren Status prüfen oder die Aufträge manuell starten/stoppen.

The new generation of Si3 deduplication store, Si3 NG, has two types of file system check (fsck): object check (occk), which checks if the Si3 data part is still readable, and page check (pcck), which checks the physical data on the disk. All processes (gc, occk and pcck) can run simultaneously.

You can check their status or start/stop the tasks manually.

sm_dedup_interface

Gültige Kommandos und deren Verwendung

Information sign.png Anmerkung
Depending on the deduplication store used, Si3 or Si3-NG, some of the commands may be slightly different. When relevant, both command versions are described.

sm_dedup_interface -d <datastore> <command>

  - purge
  - objectinfo <remote filename>
  - put <input filename> <dest filename>
  - get <remote filename> <dest filename> [<bytes skipped then> [<bytes read at beginning>]]
  - delete <remote filename> [<filename 2>]*
  - getlabel
  - getuuid
  - list
  - fsck [start|stop|autopurge|status|incremental|purge now|dump status into <file>|fsck incr start from <file>]
  - gc <start|stop|status|result>
  - key <set <key> <value>|get <key>|list>
  - log@server <msg>
  - propose serverconfig <repository netto GiB>
  - propose jvmconfig <repository netto Gib> (for Si3 store; slightly different usage for Si3 NG, see Notea)
  - snapshot
  - replicate from [-f] <remote hostname> <remote port> <remote filename>
  - replicate show
  - replicate abort <task id>
Notea

Depending on the deduplication store used, Si3 or Si3-NG, the command to find out how much RAM is needed at what capacity of Si3/Si3-NG differs slightly. Example:

Si3-NG
Use the command sm_dedup_interface -T dedup2 propose jvmconfig <Si3_capacity>.
Si3
Use the command sm_dedup_interface propose jvmconfig <Si3_capacity>.

The output of MaxDirectMemorySize is the required RAM value.
Note, however, that SEP sesam calculates the RAM consumption and uses these commands in the background. It is usually not needed to set the values manually. These manual changes are overwritten with the next drive configuration.
The index calculation is also associated with the command. If the index grows and is 95% full, backups can no longer be performed. The RAM must hold the entire index (described by max_pages) in memory. The MaxDirectMemorySize depends directly on max_pages. To solve the problems with the growing index, refer to Si3 Deduplication Troubleshooting.

Die meisten Parameter sind für den internen Gebrauch oder für zukünftige Zwecke gedacht.

status

Bieted Informationen über den benutzten Platz, die gesicherte Daten, die Label Uuid und ob gc oder fsck gerade laufen.

Der Wert Overall DeDup ratio zeigt an, um wie viel Prozent die gespeicherten Daten reduziert wurden.

gc start
  • Startet Garbage Collection.
  • Identifiziert nicht referenzierte Chunks und verschiebt sie in den Papierkorb.
  • Wird von SEP sesam mit sm_start gestartet.
gc stop
  • Stoppt Garbage Collection.
  • Kann später wieder gestartet werden.
gc status
Si3 NG gc status output example
sm_dedup_interface -d 3 gc status
Current gc status:
 State:                       Finished
 Started:                     2022-03-07 08:10:56
 Ended:                       2022-03-07 10:00:15
 Message:                     Sweep Phase: swept 97124/97124 pages [deleted=2194,rewritten=13611,skipped=79550,locked=1769,missing=0]
STATUS=SUCCESS MSG=Sweep Phase: swept 97124/97124 pages [deleted=2194,rewritten=13611,skipped=79550,locked=1769,missing=0]
get
  • Liest ein Objekt (Datei, Sicherungssatz) aus dem Deduplizierungsspeicher.
  • '-' kann verwendet werden, um STDIN zu spezifizieren
put
  • Schreibt ein Objekt (Datei, Sicherungssatz) in den Deduplizierungsspeicher.
  • '-' kann verwendet werden, um STDOUT zu spezifizieren
fsck
  • Startet eine Datenspeicherprüfung.
  • Muss manuell gestartet werden.
  • Wenn der Parameter autopurge gesetzt ist, werden alle beschädigten Objekte gelöscht.
fsck status

Zeigt den aktuellen Zustand oder den Zustand des letzten DataStore Checks an.

purge
  • Löscht alle Seiten, die durch den letzten Lauf der Garbage Collection (gc) als veraltet markiert wurden (leerer Papierkorb).
  • Wird gestartet durch sm_start nach einem SEP sesam Tageswechsel.
  • getlabel und getuuid können durch status ersetzt werden

Protokollierung

Die Protokollfunktion benutzt eine mächtige Logback Bibliothek. Weitere Informationen finden Sie unter Logback Project. Bitte beachten Sie, dass diese Informationen nur für erfahrene Nutzer gedacht sind.

Info Protokollierung
  • gv_rw_ini:sm_sds.xml (/var/opt/sesam/var/ini/sm_sds.xml)
  • /var/opt/sesam/var/log/sms enthält zwei Protokolldateien:
    • sm_dedup_server_info-<drive>.log: INFO Protokollstufe und höher.
    • sm_dedup_server-<drive>.log: DEBUG und höher. Diese Datei kann sehr groß werden.
    • sm_dedup_gc-<drive>.log: Garbage Collection Protokoll.
    • sm_dedup_fsck-<drive>.log: Dateisystem-Prüfprotokoll.
  • Automatische Rotation, wenn die Größe der Protokolldatei 100 MB erreicht.

Dateien und Verzeichnisse

Objekt

Für jeden SEP Sesam Sicherungssatz werden drei Objekte (Dateien) im Si3 Store gespeichert:

  • <ssid>.data
  • <ssid>.info
  • <ssid>.info2

Die Dateien .data und .info sind identisch zu denen eines normalen DataStores. Die Datei .info2 wird für die Daten benötigt, die an ein Si3 Objekt angehängt werden. Alle Datenbankinformationen, die nicht vor Abschluss der Sicherung verfügbar sind, werden in diese Datei geschrieben.

Verzeichnisse

Der Pfad <repo root path>/Si3-POOL/Si3-POOL00001/ ist ein veralteter Pfad des SEP sesam DataStores und hat nichts mit dem Si3 Store zu tun. Er wird in einer zukünftigen Version entfernt werden.

Wie geht's weiter?

Nach Konfiguration des Si3 Deduplication Store müssen Sie zuerst die Medienpools definieren und dann ihre |Sicherungs-Strategie aufsetzen.