4 4 3:Konfiguration und Verwaltung von Si3 Deduplication Store mit Hilfe des CLI

From SEPsesam
Jump to: navigation, search
This page is a translated version of the page 4 4 3:Configuring and Administering Si3 Deduplication Store by using CLI and the translation is 96% complete.

Other languages:
Deutsch • ‎English

Copyright © SEP AG 1999-2022. Alle Rechte vorbehalten.

Jede Form der Reproduktion der Inhalte dieses Benutzerhandbuches, ganz oder in Teilen, ist nur mit der ausdrücklichen schriftlichen Erlaubnis der SEP AG gestattet. Bei der Erstellung dieses Benutzerhandbuches wurde mit größtmöglicher Sorgfalt gearbeitet, um korrekte und fehlerfreie Informationen bereit stellen zu können. Trotzdem kann die SEP AG keine Gewähr für die Richtigkeit der Inhalte dieses Benutzerhandbuches übernehmen.

Docs latest icon.png Willkommen in der aktuellsten Version der SEP sesam Dokumentation 4.4.3 Beefalo/5.0.0 Jaglion. Frühere Versionen der Dokumentation finden Sie hier: Dokumentation Archiv.


Übersicht

SEP Sesam bietet eine zielseitige (Si3T) und eine quellseitige Deduplizierung (Si3S). Details zu Deduplizierungskonzepten und Empfehlungen finden Sie hier Deduplication.

Beide Arten, Si3T und Si3S benötigen einen konfigurierten Si3 Deduplication Store. An einem Server kann jeweils nur ein Si3 Deduplication Store angelegt werden. Für jeden Si3 Deduplication Store wird eine gültige Lizenz benötigt. Beachten Sie, dass Sie einen Si3 Deduplication Store auch über die GUI konfigurieren können. Weitere Informationen finden Sie unter Konfiguation eines Si3 Deduplication Store.

Sie können sich das SEP Tachometer herunterladen, um die Struktur Ihrer Daten zu analysieren und das mögliche Einsparpotential mit der SEP sesam Si3 Deduplizierung auszurechnen. Siehe SEP Tachometer.

Voraussetzungen

Die minimalen Si3 Hardware Anforderungen, die für den SEP sesam Si3 Deduplication Server gelten, bitte hier kontrollieren. Beachten Sie, dass diese Anforderungen nur die Deduplizierung betreffen. Zusätzlich sollte der Speicherplatz für das Betriebssystem und andere Dienste berücksichtigt werden.

Die folgenden Voraussetzungen müssen erfüllt sein, um einen Si3 Deduplication Store zu konfigurieren.

Zusätzliche RAM / CPU Anforderungen

  • Details zur benötigten Java-Version finden Sie unter Java Compatibility Matrix. Si3 ist nicht obligatorisch, daher gibt es keine Abhängigkeitsregel in den RPM/DEB-Paketen für Si3.
  • Wenn Sie die maximale Größe für einen Si3 Deduplication Store abschätzen möchten, müssen Sie sicherstellen, dass auch genügend Platz für den Si3 Reparaturbereich vorhanden ist. Andernfalls hat der Si3 Deduplication Store zu wenig Platz für einen einwandfreien Betrieb. Der benötigte Speicherplatz sollte anhand der Größe eines FULL-Backups aller erforderlichen Daten berechnet und um weitere 50% (dieser Datenmenge) vergrößert werden. Dies ergibt eine Abschätzung für den insgesamt benötigten Speicherplatz.

Festplattenanbindung und Protokolle

Si3 unterstützt jede Form von direkt angeschlossenem Plattenspeicher, wie Serial Attached SCSI (SAS), Serial ATA (SATA) und Fibre Channel (FC)/LUN. Si3 ist NICHT für die Netzwerkprotokolle CIFS und NFS geeignet.

Hinweis zur Leistungssteigerung

Gilt nur für Windows: SEP AG empfiehlt die Verwendung des Energiesparplans Hochleistung, um die Leistung Ihres Backups zu erhöhen. Beachten Sie, dass Windows-Systeme standardmäßig den Energiesparplan Ausbalanciert verwenden, deshalb sollte in diesem Fall auf den Energiesparplan Höchstleistung umgestellt werden. Auf diese Weise verbraucht Ihr Windows-System zwar mehr Strom, aber der Si3 kann dann die volle Leistung verwenden.

  • Öffnen Sie die Energieoptionen in der Systemsteuerung und ändern Sie die Einstellung auf Höchstleistung.

Einschränkung

Um Probleme zu vermeiden, die sich aus der Kombination von zu großen Si3-Deduplizierungsspeichern und ineffizienter Hardware ergeben, ist die maximale anfängliche Größe des Si3-Deduplizierungsspeichers auf 40 TB beschränkt.

Diese Einschränkung ist beim Erstellen eines neuen Si3-Deduplizierungsspeichers in der GUI gültig.

Benötigte zusätzliche Menge an RAM- und CPU-Cores

Die folgenden Tabellen zeigen die benötigte zusätzliche Menge an RAM- und CPU-Cores für einen Si3-Datenspeicher. Der TB Wert ist die Kapazität des Si3 Datenspeichers.

Information sign.png Anmerkung
Es wird nicht empfohlen, Si3 Deduplizierung (SEP sesam Server oder RDS) auf einer virtuellen Maschine auszuführen. Wenn dies der Fall ist, denken Sie daran, die Kapazität des Si3-Datenspeichers auf 100 GB zu begrenzen, um einen normalen VM-Betrieb zu ermöglichen. Denken Sie daran, dass die Deduplizierung eine Menge Server-Ressourcen zum Lesen, Verarbeiten und Schreiben deduplizierter Daten verbraucht, daher sollten Sie sich bewusst sein, dass der Si3 durch die VM-Umgebung eingeschränkt ist. Für andere Anforderungen an virtuelle Server sollten Sie die gleichen Empfehlungen befolgen wie für physische Server.
Kapazität des Si3-Datenspeichers

(bitte beachten Sie die anfängliche Größenbeschränkung)

RAM
<20 TB 16 GiB
20-40 TB 32 GiB

Um herauszufinden, wie viel RAM vom Si3 bei welcher Kapazität benötigt wird, geben Sie bitte den Befehl sm_dedup_interface propose jvmconfig <Si3-Kapazität> in einer Admin-Kommandozeile ein (Sie müssen das sesam Profil setzen, um den Befehl ausführen zu können). Die Ausgabe von MaxDirectMemorySize ist der erforderliche RAM-Wert.

Die folgende Tabelle zeigt die Anzahl der benötigten CPU-Cores für einen Si3-Datenspeicher. Der TB-Wert ist die Menge der gesicherten Daten (vor der Deduplizierung)!

Gesicherte Daten (vor Deduplizierung) CPU Cores
10 TB 4
20 TB 4
40 TB 8
Information sign.png Anmerkung
Beachten Sie, dass die angegebenen Anforderungen nur die Forderung nach Deduplizierung repräsentieren. Zusätzlich zu diesen Anforderungen sollte der Speicherplatz für das Betriebssystem und andere Dienste berücksichtigt werden.


Konfiguration über das CLI

Die Größe des Index (max_pages) und die RAM Anforderungen für Java sind wichtige Parameter für den Betrieb des Si3 Data Stores, da beide Parameter beim Anlegen benutzt werden.

Das sm_dedup_Interface wird benutzt, um die Hardware für einen Si3 Data Store zu konfigurieren. Man muss dabei die Kapazitätsgröße des Data Stores (Data Store Partition) angeben.

sm_dedup

Kommando: sm_dedup_interface propose jvmconfig <Wert in GB>

Für eine Data Store Partition von z.B. 50 TB (50000 GB) geben Sie dieses Kommando ein:

sm_dedup_interface propose jvmconfig 50000

bigsrv1:~ # sm_dedup_interface propose jvmconfig 50000

JAVA_OPTS=-Xmx1333M -XX:MaxDirectMemorySize=11724M

Diese Java RAM Parameter werden automatisch in die Si3 Data Store Laufwerks-Konfigurationsdatei kopiert, welche sich im Verzeichnis <SESAM_VAR>/ini/stpd_conf befindet.

stpd_conf

Die Si3 und die stpd Konfiguration sind in einer .ini Datei im Verzeichnis gv_rw_ini:stpd_conf gespeichert.

Der Dateiname wird abgeleitet aus hw_drives.device (DS@ds1_2), wie es auch für jedes andere DS Laufwerk der Fall ist. Einige Informationen werden dupliziert, da sie von beiden benutzt werden, dem Si3 Server und stpd.

bigsrv1:/var/opt/sesam/var/ini/stpd_conf # cat ds1_2.ini

 [DEDUP]
 Backend=dedup
 Hostname=localhost
 defaultRepoPath="/datastore/ds1/ds1"
 maxPages=481900
 port=11703
 sds_jvm_options="-Xmx1032M -XX:MaxDirectMemorySize=1355M"

 [DISK_STORE]
 Storage_Location=/datastore/ds1/ds1
 Size=1000GB
 backend=dedup
 hostname=localhost
 port=11703
sm.ini

Die RAM-Parameter für Java können manuell in der sm.ini-Datei gesetzt werden. Diese überschreiben die automatisch generierten Parameter der Laufwerksdatei .ini. Der empfohlene Xmx-Wert ist ¼ (ein Viertel) des verfügbaren RAM. Falls z.B. 16 GB verfügbar sind, dann sollten mindestens 4 GB (4096 MB) für den Si3 DataStore konfiguriert werden.

Um die von Java auf dem Zielsystem verwendeten Standardparameter zu erhalten, führen Sie den Befehl java -XX:+PrintFlagsFinal aus und suchen Sie nach MaxHeapSize (-> Xmx) und InitialHeapSize (-> Xms).

maxPages

Der zweite Parameter (max_pages) bezieht sich direkt auf den Java Memory Parameter. Der RAM wird benötigt, um den gesamten Index (beschrieben durch max_pages) im Hauptspeicher zu halten. Die MaxDirectMemorySize hängt direkt ab von max_pages.

Der Wert max_pages wird in der SEP Sesam Datenbank im Laufwerksfeld hw_drives.block_size gespeichert und wird bei Bedarf dynamisch vergrößert. Der Parameter wird berechnet aus (hw_drives.block_size (*100)) und anschließend in die Laufwerkskonfigurationsdatei .ini kopiert.

Fortgeschrittene CLI Administration

Die beiden wichtigsten Wartungsaufgaben - Garbage Collection (gc) und File System Check (fsck) - laufen automatisch. Sie werden von sm_start während dem SEP sesam Tageswechsel gestartet. Man kann ihren Status prüfen oder die Aufträge manuell starten/stoppen.

sm_dedup_interface

Gültige Kommandos und deren Verwendung

sm_dedup_interface -d <datastore> <command>

Status

  - purge
  - objectinfo <remote filename>
  - put <input filename> <dest filename>
  - get <remote filename> <dest filename> [<bytes skipped then> [<bytes read at beginning>]]
  - delete <remote filename> [<filename 2>]*
  - getlabel
  - getuuid
  - list
  - fsck [start|stop|autopurge|status|incremental|purge now|dump status into <file>|fsck incr start from <file>]
  - gc <start|stop|status|result>
  - key <set <key> <value>|get <key>|list>
  - log@server <msg>
  - propose serverconfig <repository netto GiB>
  - propose jvmconfig <repository netto Gib>
  - snapshot
  - replicate from [-f] <remote hostname> <remote port> <remote filename>
  - replicate show
  - replicate abort <task id>

Die meisten Parameter sind für den internen Gebrauch oder für zukünftige Zwecke gedacht.

gc start
  • Startet Garbage Collection.
  • Identifiziert nicht referenzierte Chunks und verschiebt sie in den Papierkorb.
  • Wird von SEP sesam mit sm_start gestartet.
gc stop
  • Stoppt Garbage Collection.
  • Kann später wieder gestartet werden.
get
  • Liest ein Objekt (Datei, Sicherungssatz) aus dem Deduplizierungsspeicher.
  • '-' kann verwendet werden, um STDIN zu spezifizieren
put
  • Schreibt ein Objekt (Datei, Sicherungssatz) in den Deduplizierungsspeicher.
  • '-' kann verwendet werden, um STDOUT zu spezifizieren
status

Bieted Informationen über den benutzten Platz, die gesicherte Daten, die Label Uuid und ob gc oder fsck gerade laufen.

 bigsrv1:/var/opt/sesam/var/ini/stpd_conf # sm_dedup_interface -d ds1_2 status

INFO Successfully initialized i2dedup library version v2.1.0-SNAPSHOT5

 Server Status:
 Repository information:
 Version:                   2.1.1
 UUID:                      3b9ec2ae-34e1-11e3-b88b-001b2146
 Label:                     ds1
 Max Pages:                 481900
 Max Pages recommended:     154100 (-Xmx1010M -XX:MaxDirectMemorySize=603M)
 GC process status:         not running: GC finished.
 Fsck process status:       not running: Fsck finished. Interrupted: false. Total Runtime: 1296.68s
 Bytes in repository:           259.02 GB
 Bytes delete pending:            9.18 GB
Object information:
 Objects stored:                   258
 Data before deduplication:    1541.56 GB
 Data after  deduplication:      58.94 GB
 Overall DeDup ratio:            96.18 %
Key-Values:
 No keys stored.

Der Wert Overall DeDup ratio zeigt an, um wie viel Prozent die gespeicherten Daten reduziert wurden.

fsck
  • Startet eine Datenspeicherprüfung.
  • Muss manuell gestartet werden.
  • Wenn der Parameter autopurge gesetzt ist, werden alle beschädigten Objekte gelöscht.
  • Hinweis: SEP sesam hat diese Informationen bisher nicht bekommen.
fsck status

Zeigt den aktuellen Zustand oder den Zustand des letzten DataStore Checks an.

si3fix:/var/opt/sesam/var/log/sms # sm_dedup_interface -d Si3_5 fsck status

 INFO  Successfully initialized i2dedup library version v2.0.0-beta2
 Current fsck status:
 Message:       Logfile check progress: Bytes: 1270925865083/1512422546049 Throughput: 91.25 MiB/s
 Running:       yes
 Started:       2013-05-29 20:57:17
 Ended:         -
 Bytes Checked: 0
 Bytes Lost:    0
 Objects checked:
purge
  • Löscht alle Seiten, die durch den letzten Lauf der Garbage Collection (gc) als veraltet markiert wurden (leerer Papierkorb).
  • Wird gestartet durch sm_start nach einem SEP sesam Tageswechsel.
  • getlabel und getuuid können durch status ersetzt werden

meteorologix:/var/opt/sesam/var/ini # sm_main reload sds

 2013-05-28 16:42:06: sm_main[5697] started
 2013-05-28 16:42:06: Arguments: sm_main reload sds
 2013-05-28 16:42:06: SDS Server: "java" -Xmx1700M -XX:MaxDirectMemorySize=900M -classpath "/opt/sesam/bin/sds/i2dedup-server.jar" \
 -Dlogback.configurationFile=/va   /opt/sesam/var/ini/sm_sdslog.xml -Dgv_rw_stpd=/var/opt/sesam/var/log/sms/ -Ddrive_num=31 \
 -Dconfig.inifile="/var/opt/sesam/var/ini/stpd_conf/SI3_31.ini"    i2.dedup.streaming.BinaryProtocolServer
  Requesting server shut down...
 2013-05-28 16:42:07.587 [main] INFO  i.d.streaming.BinaryProtocolServer$ - Welcome to SEP DeDup Service. Loading configuration...
 2013-05-28 16:42:07.637 [main] DEBUG i2.dedup.streaming.ServerOptions$ - Loaded configuration from ini file: dedup {
 backend=dedup
 hostname=localhost
 defaultRepoPath=/srv/5tb/data/defaultrepo/SI3
 maxPages=262143
 port=11732
 }

Protokollierung

Die Protokollfunktion benutzt eine mächtige Logback Bibliothek. Weitere Informationen finden Sie unter Logback Project. Bitte beachten Sie, dass diese Informationen nur für erfahrene Nutzer gedacht sind.

Info Protokollierung
  • gv_rw_ini:sm_sds.xml (/var/opt/sesam/var/ini/sm_sds.xml)
  • /var/opt/sesam/var/log/sms enthält zwei Protokolldateien:
    • sm_dedup_server_info-<drive>.log: INFO Protokollstufe und höher.
    • sm_dedup_server-<drive>.log: DEBUG und höher. Diese Datei kann sehr groß werden.
    • sm_dedup_gc-<drive>.log: Garbage Collection Protokoll.
    • sm_dedup_fsck-<drive>.log: Dateisystem-Prüfprotokoll.
  • Automatische Rotation, wenn die Größe der Protokolldatei 100 MB erreicht.

Dateien und Verzeichnisse

Objekt

Für jeden SEP Sesam Sicherungssatz werden drei Objekte (Dateien) im Si3 Store gespeichert:

  • <ssid>.data
  • <ssid>.info
  • <ssid>.info2

Die Dateien .data und .info sind identisch zu denen eines normalen DataStores. Die Datei .info2 wird für die Daten benötigt, die an ein Si3 Objekt angehängt werden. Alle Datenbankinformationen, die nicht vor Abschluss der Sicherung verfügbar sind, werden in diese Datei geschrieben.

Verzeichnisse

Der Pfad <repo root path>/Si3-POOL/Si3-POOL00001/ ist ein veralteter Pfad des SEP sesam DataStores und hat nichts mit dem Si3 Store zu tun. Er wird in einer zukünftigen Version entfernt werden.

Wie geht's weiter?

Nach Konfiguration des Si3 Deduplication Store müssen Sie zuerst die Medienpools definieren und dann ihre |Sicherungs-Strategie aufsetzen.