Configuring an Si3 Deduplication Store/de: Difference between revisions

From SEPsesam
No edit summary
(Updating to match new version of source page)
Tag: Redirect target changed
Line 1: Line 1:
#REDIRECT [[Special:MyLanguage/4_4_3_Grolar:Configuring_Si3_Deduplication_Store]]
#REDIRECT [[4_4_3_Grolar:Configuring_Si3_Deduplication_Store]]
<languages />
<languages />
<div class="mw-translate-fuzzy">
<div class="mw-translate-fuzzy">

Revision as of 12:11, 17 January 2020

Other languages:

Copyright © SEP AG 1999-2024. Alle Rechte vorbehalten.

Jede Form der Reproduktion der Inhalte dieses Benutzerhandbuches, ganz oder in Teilen, ist nur mit der ausdrücklichen schriftlichen Erlaubnis der SEP AG gestattet. Bei der Erstellung dieses Benutzerhandbuches wurde mit größtmöglicher Sorgfalt gearbeitet, um korrekte und fehlerfreie Informationen bereit stellen zu können. Trotzdem kann die SEP AG keine Gewähr für die Richtigkeit der Inhalte dieses Benutzerhandbuches übernehmen.

Docs latest icon.png Willkommen in der aktuellsten Version der SEP sesam Dokumentation 4.4.2/4.4.3 Tigon V2. Frühere Versionen der Dokumentation finden Sie hier: Dokumentationsarchiv.


Übersicht

SEP Sesam bietet eine zielseitige (Si3T) und eine quellseitige Deduplizierung (Si3S). Details zu Deduplizierungskonzepten und Empfehlungen finden Sie hier Deduplication.

Beide Arten, Si3T und Si3S benötigen einen konfigurierten Si3 Deduplication Store. An einem Server kann jeweils nur ein Si3 Deduplication Store angelegt werden. Für jeden Si3 Deduplication Store wird eine gültige Lizenz benötigt.

Sie können sich das SEP Tachometer herunterladen, um die Struktur Ihrer Daten zu analysieren und das mögliche Einsparpotential mit der SEP sesam Si3 Deduplizierung auszurechnen. Siehe SEP Tachometer.

Voraussetzungen

Die minimalen Si3 Hardware Anforderungen, die für den SEP sesam Si3 Deduplizierungsserver gelten, bitte hier kontrollieren. Beachten Sie, dass diese Anforderungen nur die Deduplizierung betreffen. Zusätzlich sollte der Speicherplatz für das Betriebssystem und andere Dienste berücksichtigt werden.

Die folgenden Voraussetzungen müssen erfüllt sein, um einen Si3 Deduplikationsspeicher zu konfigurieren.

Zusätzliche RAM / CPU Anforderungen

Si3 Deduplication Hardware Requirements/de

Konfiguration über das GUI

Der SEP sesam Datenspeicher ist ein diskbasierter Speicher, welcher es ermöglicht Savesets (d.h. zu sichernde Daten) direkt auf ein konfiguriertes Speichermedium zu schreiben. Die SEP Si3 zeilseitige Deduplizierung kann einfach durch Auswahl des Typs SEP Si3 Deduplication Store konfiguriert werden.

Schritte
  1. In Auswahl->Komponenten klicken Sie Date Stores, um den Inhalt des Data Stores anzuzeigen.
  2. Im Menu Data Stores wählen Sie Neuer Data Store. Die Dialogbox Neuer Data Store erscheint.
  3. GUI new data store de.png
  4. In den Data Store Eigenschaften im Feld Namen geben Sie bitte einen sinnvollen Namen für den Data Store an.
  5. Aus der Dropdown-Liste Store Type wählen Sie SEP Si3 Deduplication Store. Überspringen Sie den Bereich Meldungen, der von SEP Sesam genutzt wird, um die letzte ausgeführte Aktion anzuzeigen.
  6. GUI new data store 1 de.png
  7. Stellen Sie sicher, dass im Bereich der Laufwerks-Parameter die Option Erstelle Laufwerk für Data Store angewählt ist. Der vordefinierte Wert für das Laufwerk wird automatisch im Feld Laufwerksnummer hinzugefügt.
  8. Aus der Dropdown-Liste Device Server wählen Sie den Device Server für ihren Data Store.
  9. Im Feld Pfad tragen Sie den Ort ihres Data Stores ein oder nutzen den Button Browse, um das korrekte Verzeichnis auszuwählen. Markieren Sie das korrekte Verzeichnis und klicken Sie OK.
    Wenn zum Auswählen des Verzeichnisses der Browse-Button benutzt wird, erscheint das Fenster mit den Informationen und den voreingestellten Werten zu den Größen des neuen Data Store. Klicken Sie OK um den Ort und die empfohlenen Werte zu bestätigen. Sie können die Werte jederzeit später bei den Größen Eigenschaften ändern (Siehe Schritt 10).
  10. GUI new data store information de.png
  11. Unter den Eigenschaften zur Laufwerksgruppe wählen Sie Neue Laufwerksgruppe und geben Sie den Namen der ihrem Si3 Deduplizierungsspeicher zugeordneten Gruppe an.
  12. Der voreingestellte Anzahl an Kanälen wird bereits in der Dropdown-Liste Max. Kanäle angezeigt. Die Anzahl der verfügbaren Kanäle hängt von ihrem SEP Sesam Paket ab. Die Standardlizenz beinhaltet 5 parallele Streams, was 5 parallele Sicherungsprozesse ermöglicht. Details zur Lizenzierung, siehe SEP sesam Lizenz.
  13. Unter den Größen Eigenschaften definieren oder verändern Sie das Folgende:
    • Kapazität: Geben Sie die Größe (in GB) der Partition für Sicherungen an.
    • High Water Mark [GB]: Geben Sie den Wert für die High Watermark (HWM) in GB an. Die HWM definiert eine Obergrenze für den genutzten Plattenplatz. Wenn dieser Wert erreicht wird, wird für alle abgelaufenen Savesets (EOL) ein Purge-Prozess gestartet und so wieder Platz im Data Store geschaffen.
    • Low Water Mark [GB]: Geben Sie den Wert für die Low Watermark (LWM) in GB an. Die LWM definiert wie viel Speicherplatz im Data Store verfügbar ist für abgelaufene Savesets (->EOL). Wenn die LWM auf 0 gesetzt wird, werden alle abgelaufenen Savesets vom Data Store gelöscht. Die ältesten Savesets werden immer zuerst gelöscht. Die LWM für einen Si3 Deduplizierungsspeicher steht immer auf 0 und kann nicht geändert werden.

    Die Eigenschaften Speicherplatz nutzt der SEP Sesam für folgende Werte:

    • Belegt [GB]: Gesamter genutzter Speicherplatz in GB auf der Partition.
    • Total [GB]: Maximal verfügbarer Speicherplatz in GB auf der Partition wie es vom Betriebssystem ausgegeben wird.
    • Frei [GB]: Verfügbarer Speicherplatz in GB für den SEP Sesam.
    • Deduplication Rate: Die Deduplizierung beginnt, wenn der Backupprozess gestartet wurde. SEP Sesam analysiert die Datenblöcke und entscheidet, ob der Block neu ist oder ob er bereist zuvor schon mal an den Si3 Data Store übertragen wurde. Nur neue noch nicht vorhandene Blöcke werden zum Data Store übertragen und ersetzen jede deduplizierte Datei mit einem Platzhalter (stub file). Die Deduplikationsrate wird größer, wenn es copy und full Sicherungen gibt und je größer die Datenmenge ist. Die Deduplication Rate wird angegeben mit Ratio:1.

Seit V4.4.3 Tigon ist es möglich den Si3 Deduplication Store zu verschlüsseln. Details finden Sie hier Encryption eines Si3 Deduplication Store.

Ebenso mit Tigon eingeführt wurde das Initial Seed, was es Ihnen ermöglicht, einen Si3 Deduplication Store zum Zwecke der Replikation Initial vorzubefüllen. Details finden Sie hier Befüllen eines Si3 Deduplication Store.

Information sign.png Anmerkung
Ab Version 4.4.3. Grolar, können Sie den Status (letzte Deduplizierung Meldung) Ihrer Si3-Deduplizierung einsehen, indem Sie Si3-Deduplizierung speichern auswählen und auf Eigenschaften klicken. Unter der Registerkarte Si3 Status können Sie den Status der aktiven Aufträge, den Verschlüsselungsprozess, den gespeicherten Speicherplatz usw. überprüfen. Sie können den Status der Si3 Deduplizierung auch in den Eigenschaften der Medienaktionen überprüfen.

Konfiguration über das CLI

Die Größe des Index (max_pages) und die RAM Anforderungen für Java sind wichtige Parameter für den Betrieb des Si3 Data Stores, da beide Parameter beim Anlegen benutzt werden.

Das sm_dedup_Interface wird benutzt, um die Hardware für einen Si3 Data Store zu konfigurieren. Man muss dabei die Kapazitätsgröße des Data Stores (Data Store Partition) angeben.

sm_dedup

Kommando: sm_dedup_interface propose jvmconfig <value in GB>

Für eine Data Store Partition von 50 TB (50000 GB) z.B. geben Sie dieses Kommando ein:

sm_dedup_interface propose jvmconfig 50000

bigsrv1:~ # sm_dedup_interface propose jvmconfig 50000

JAVA_OPTS=-Xmx1333M -XX:MaxDirectMemorySize=11724M

Diese Java RAM Parameter werden automatisch in die Si3 Data Store Laufwerks-Konfigurationsdatei kopiert, welche sich im Verzeichnis <SESAM_VAR>/ini/stpd_conf befindet.

stpd_conf

Die Si3 und die stpd Konfiguration sind in einer .ini Datei im Verzeichnis gv_rw_ini:stpd_conf gespeichert.

Der Dateiname wird abgeleitet aus hw_drives.device (DS@ds1_2), wie es auch für jedes andere DS Laufwerk der Fall ist. Einige Informationen werden dupliziert, da sie von beiden benutzt werden, dem Si3 Server und stpd.

bigsrv1:/var/opt/sesam/var/ini/stpd_conf # cat ds1_2.ini

 [DEDUP]
 Backend=dedup
 Hostname=localhost
 defaultRepoPath="/datastore/ds1/ds1"
 maxPages=481900
 port=11703
 sds_jvm_options="-Xmx1032M -XX:MaxDirectMemorySize=1355M"

[DISK_STORE]

 Storage_Location=/datastore/ds1/ds1
 Size=1000GB
 backend=dedup
 hostname=localhost
 port=11703
sm.ini

Die RAM-Parameter für Java können manuell in der sm.ini-Datei gesetzt werden. Diese überschreiben die automatisch generierten Parameter der Laufwerksdatei .ini. Der empfohlene Xmx-Wert ist ¼ (ein Viertel) des verfügbaren RAM. Falls z.B. 16 GB verfügbar sind, dann sollten mindestens 4 GB (4096 MB) für den Si3 DataStore konfiguriert werden.

Um die von Java genutzten Defaultparameter auf dem Zielsystem zu erhalten, bitte folgendes Kommando starten java -XX:+PrintFlagsFinal and search for MaxHeapSize (-> Xmx) and InitialHeapSize (-> Xms).

Linux und SEP sesam 4.4.2 Windows

[Params]

 sds_jvm_options=-Xms1024M -Xmx4096M

SEP sesam 4.4.1 Windows

[DEDUP]

 sds_jvm_options=-Xms1024M -Xmx4096M
Information sign.png Anmerkung
Es ist möglich die max_pages für einen existierenden Si3 DataStore manuell zu setzen, allerdings ist dies nicht empfohlen. Tun Sie dies bitte nur auf Rat des SEP Supports. Eine Änderung dieses Werts bewirkt eine vollständige Neugenerierung des Index, was beträchtlich Zeit in Anspruch nehmen kann.

[Params]

 sds_jvm_options=-Xmx1333M -XX:MaxDirectMemorySize=11724M
maxPages

Der zweite Parameter (max_pages) bezieht sich direkt auf den Java Memory Parameter. Der RAM wird benötigt, um den gesamten Index (beschrieben durch max_pages) im Hauptspeicher zu halten. Die MaxDirectMemorySize hängt direkt ab von max_pages.

Der Wert max_pages wird in der SEP Sesam Datenbank im Laufwerksfeld hw_drives.block_size gespeichert und wird bei Bedarf dynamisch vergrößert. Der Parameter wird berechnet aus (hw_drives.block_size (*100)) und anschließend in die Laufwerkskonfigurationsdatei .ini kopiert.

Fortgeschrittene CLI Administration

Die beiden wichtigsten Wartungsaufgaben - Garbage Collection (gc) und File System Check (fsck) - laufen automatisch. Sie werden von sm_start während dem SEP sesam Tageswechsel gestartet. Man kann ihren Status prüfen oder die Aufträge manuell starten/stoppen.

sm_dedup_interface

Gültige Kommandos und deren Verwendung

sm_dedup_interface -d <datastore> <command>

status

  - purge
  - objectinfo <remote filename>
  - put <input filename> <dest filename>
  - get <remote filename> <dest filename> [<bytes skipped then> [<bytes read at beginning>]]
  - delete <remote filename> [<filename 2>]*
  - getlabel
  - getuuid
  - list
  - fsck [start|stop|autopurge|status|incremental|purge now|dump status into <file>|fsck incr start from <file>]
  - gc <start|stop|status|result>
  - key <set <key> <value>|get <key>|list>
  - log@server <msg>
  - propose serverconfig <repository netto GiB>
  - propose jvmconfig <repository netto Gib>
  - snapshot
  - replicate from [-f] <remote hostname> <remote port> <remote filename>
  - replicate show
  - replicate abort <task id>

Die meisten Parameter sind für den internen Gebrauch oder für zukünftige Zwecke gedacht.

gc start
  • Startet die Garbage Collection
  • Identifiziert nicht referenzierte Blöcke und löscht sie
  • Wird vom SEP sesam gestartet mit sm_start.
gc stop
  • Stoppt die Garbage Collection
  • Kann später neugestartet werden
get
  • Liest ein Objekt (Datei, Sicherungssatz) aus dem Si3 DedupStore
  • '' kann zum Spezifizieren von STDIN benutzt werden
put
  • Schreibt ein Objekt (Datei, Sicherungssatz) in den Si3 DedupStore.
  • '-' kann zum Spezifizieren von STDOUT benutzt werden.
status
  • Gibt Informationen über den benutzten Platz, gesicherte Daten, Label uuid und ob gc oder fsck gerade laufen.


 bigsrv1:/var/opt/sesam/var/ini/stpd_conf # sm_dedup_interface -d ds1_2 status
 INFO  Successfully initialized i2dedup library version v2.1.0-SNAPSHOT5
 Server Status:
 Repository information:
 Version:                   2.1.1
 UUID:                      3b9ec2ae-34e1-11e3-b88b-001b2146
 Label:                     ds1
 Max Pages:                 481900
 Max Pages recommended:     154100 (-Xmx1010M -XX:MaxDirectMemorySize=603M)
 GC process status:         not running: GC finished.
 Fsck process status:       not running: Fsck finished. Interrupted: false. Total Runtime: 1296.68s
 Bytes in repository:           259.02 GB
 Bytes delete pending:            9.18 GB
Object information:
 Objects stored:                   258
 Data before deduplication:    1541.56 GB
 Data after  deduplication:      58.94 GB
 Overall DeDup ratio:            96.18 %
 Key-Values:
 No keys stored.
 The value Overall DeDup ratio shows by what percentage the stored data has been reduced.
fsck
  • Startet einen Check des DataStores
  • Muss manuell gestartet werden.
  • Falls der Parameter autopurge gesetzt ist, werden alle korrupten Objekte gelöscht
  • " "Note: Sesam erhält diese Infos bis jetzt noch nicht. " -
fsck status
  • Zeigt den aktuellen Zustand oder den Zustand des letzten DataStore Checks an.

si3fix:/var/opt/sesam/var/log/sms # sm_dedup_interface -d Si3_5 fsck status

 INFO  Successfully initialized i2dedup library version v2.0.0-beta2
 Current fsck status:
 Message:       Logfile check progress: Bytes: 1270925865083/1512422546049 Throughput: 91.25 MiB/s
 Running:       yes
 Started:       2013-05-29 20:57:17
 Ended:         -
 Bytes Checked: 0
 Bytes Lost:    0
 Objects checked:
purge
  • Löscht alle durch den letzten Garbage Collecton (gc) Lauf als überflüssig markierten Seiten (empty trash).
  • Wird nach einem Tageswechsel vom sm_start gestartet.
  • getlabel und getuuid können durch status ersetzt werden

meteorologix:/var/opt/sesam/var/ini # sm_main reload sds

 2013-05-28 16:42:06: sm_main[5697] started
 2013-05-28 16:42:06: Arguments: sm_main reload sds
 2013-05-28 16:42:06: SDS Server: "java" -Xmx1700M -XX:MaxDirectMemorySize=900M -classpath "/opt/sesam/bin/sds/i2dedup-server.jar" \
 -Dlogback.configurationFile=/va   /opt/sesam/var/ini/sm_sdslog.xml -Dgv_rw_stpd=/var/opt/sesam/var/log/sms/ -Ddrive_num=31 \
 -Dconfig.inifile="/var/opt/sesam/var/ini/stpd_conf/SI3_31.ini"    i2.dedup.streaming.BinaryProtocolServer
  Requesting server shut down...
 2013-05-28 16:42:07.587 [main] INFO  i.d.streaming.BinaryProtocolServer$ - Welcome to SEP DeDup Service. Loading configuration...
 2013-05-28 16:42:07.637 [main] DEBUG i2.dedup.streaming.ServerOptions$ - Loaded configuration from ini file: dedup {
 backend=dedup
 hostname=localhost
 defaultRepoPath=/srv/5tb/data/defaultrepo/SI3
 maxPages=262143
 port=11732
 }

Logging

Die Logging Funktion benutzt eine mächtige Logback Bibliothek. Weitere Informationen findet man unter http://logback.qos.ch/. Bitte beachten Sie, dass diese Informationen nur für erfahrene Nutzer gedacht sind.

Logging info
  • gv_rw_ini:sm_sds.xml (/var/opt/sesam/var/ini/sm_sds.xml)
  • Die Logging Funktion nutzt eine mächtige logback Bibliothek. Weitere Informationen unter http://logback.qos.ch/.
  • /var/opt/sesam/var/log/sms enthält zwei Logdateien (vier Logdateien seit V4.4.1.22):
    • sm_dedup_server_info-<drive>.log: INFO level and higher.
    • sm_dedup_server-<drive>.log: DEBUG and higher. Diese Datei wird sehr groß.
    • sm_dedup_gc-<drive>.log: garbage collection log (version 4.4.1-22 and higher).
    • sm_dedup_fsck-<drive>.log: file system check log (version 4.4.1-22 and higher).
  • Wenn Sie von Version 4.4.1.22 oder kleiner updaten, wo die Logdateien von gc und fsck fehlen, kopieren Sie bitte /opt/sesam/skel/templates/sm_sds.xml nach /var/opt/sesam/var/ini/.
  • Auto Rotation wenn die Loggröße 100 MB erreicht.

Dateien und Verzeichnisse

Objekte

Für jeden SEP Sesam Sicherungssatz werden drei Objekte (Dateien) im Si3 Store gespeichert:

  • <ssid>.data
  • <ssid>.info
  • <ssid>.info2

Die Dateien .data und .info sind identisch zu denen eines normalen DataStores. Die Datei .info2 wird für die Daten benötigt, die an ein Si3 Objekt angehängt werden. Alle Datenbankinformationen, die nicht vor Abschluss der Sicherung verfügbar sind, werden in diese Datei geschrieben.

Verzeichnisse

Der Pfad <repo root path>/Si3-POOL/Si3-POOL00001/ ist ein veralteter Pfad des SEP sesam DataStores und hat nichts mit dem Si3 Store zu tun. Er wird in einer zukünftigen Version entfernt werden.

Wie geht's weiter?

Nach Konfiguration des Si3 Deduplication Store müssen Sie zuerst die Medienpools definieren und dann ihre Backup-Strategie aufsetzen.

Siehe auch

Encryption eines Si3 Deduplication StoreClientseitige Deduplizierung konfigurierenReplikation(Erst-)Befüllung eines Si3 Deduplication Stores für die Replikation (Initial Seed)SEP TachometerLizenzliste