Configuring an Si3 Deduplication Store/de: Difference between revisions
No edit summary |
(Updating to match new version of source page) Tag: Redirect target changed |
||
Line 1: | Line 1: | ||
#REDIRECT [[ | #REDIRECT [[4_4_3_Grolar:Configuring_Si3_Deduplication_Store]] | ||
<languages /> | <languages /> | ||
<div class="mw-translate-fuzzy"> | <div class="mw-translate-fuzzy"> |
Revision as of 12:11, 17 January 2020
Weiterleitung nach:
Copyright © SEP AG 1999-2024. Alle Rechte vorbehalten.
Jede Form der Reproduktion der Inhalte dieses Benutzerhandbuches, ganz oder in Teilen, ist nur mit der ausdrücklichen schriftlichen Erlaubnis der SEP AG gestattet. Bei der Erstellung dieses Benutzerhandbuches wurde mit größtmöglicher Sorgfalt gearbeitet, um korrekte und fehlerfreie Informationen bereit stellen zu können. Trotzdem kann die SEP AG keine Gewähr für die Richtigkeit der Inhalte dieses Benutzerhandbuches übernehmen.
Übersicht
SEP Sesam bietet eine zielseitige (Si3T) und eine quellseitige Deduplizierung (Si3S). Details zu Deduplizierungskonzepten und Empfehlungen finden Sie hier Deduplication.
Beide Arten, Si3T und Si3S benötigen einen konfigurierten Si3 Deduplication Store. An einem Server kann jeweils nur ein Si3 Deduplication Store angelegt werden. Für jeden Si3 Deduplication Store wird eine gültige Lizenz benötigt.
Sie können sich das SEP Tachometer herunterladen, um die Struktur Ihrer Daten zu analysieren und das mögliche Einsparpotential mit der SEP sesam Si3 Deduplizierung auszurechnen. Siehe SEP Tachometer.
Voraussetzungen
Die minimalen Si3 Hardware Anforderungen, die für den SEP sesam Si3 Deduplizierungsserver gelten, bitte hier kontrollieren. Beachten Sie, dass diese Anforderungen nur die Deduplizierung betreffen. Zusätzlich sollte der Speicherplatz für das Betriebssystem und andere Dienste berücksichtigt werden.
Die folgenden Voraussetzungen müssen erfüllt sein, um einen Si3 Deduplikationsspeicher zu konfigurieren.
Zusätzliche RAM / CPU Anforderungen
Konfiguration über das GUI
Der SEP sesam Datenspeicher ist ein diskbasierter Speicher, welcher es ermöglicht Savesets (d.h. zu sichernde Daten) direkt auf ein konfiguriertes Speichermedium zu schreiben. Die SEP Si3 zeilseitige Deduplizierung kann einfach durch Auswahl des Typs SEP Si3 Deduplication Store konfiguriert werden.
- Schritte
- In Auswahl->Komponenten klicken Sie Date Stores, um den Inhalt des Data Stores anzuzeigen.
- Im Menu Data Stores wählen Sie Neuer Data Store. Die Dialogbox Neuer Data Store erscheint.
- In den Data Store Eigenschaften im Feld Namen geben Sie bitte einen sinnvollen Namen für den Data Store an.
- Aus der Dropdown-Liste Store Type wählen Sie SEP Si3 Deduplication Store. Überspringen Sie den Bereich Meldungen, der von SEP Sesam genutzt wird, um die letzte ausgeführte Aktion anzuzeigen.
- Stellen Sie sicher, dass im Bereich der Laufwerks-Parameter die Option Erstelle Laufwerk für Data Store angewählt ist. Der vordefinierte Wert für das Laufwerk wird automatisch im Feld Laufwerksnummer hinzugefügt.
- Aus der Dropdown-Liste Device Server wählen Sie den Device Server für ihren Data Store.
- Im Feld Pfad tragen Sie den Ort ihres Data Stores ein oder nutzen den Button Browse, um das korrekte Verzeichnis auszuwählen. Markieren Sie das korrekte Verzeichnis und klicken Sie OK.
Wenn zum Auswählen des Verzeichnisses der Browse-Button benutzt wird, erscheint das Fenster mit den Informationen und den voreingestellten Werten zu den Größen des neuen Data Store. Klicken Sie OK um den Ort und die empfohlenen Werte zu bestätigen. Sie können die Werte jederzeit später bei den Größen Eigenschaften ändern (Siehe Schritt 10). - Unter den Eigenschaften zur Laufwerksgruppe wählen Sie Neue Laufwerksgruppe und geben Sie den Namen der ihrem Si3 Deduplizierungsspeicher zugeordneten Gruppe an.
- Der voreingestellte Anzahl an Kanälen wird bereits in der Dropdown-Liste Max. Kanäle angezeigt. Die Anzahl der verfügbaren Kanäle hängt von ihrem SEP Sesam Paket ab. Die Standardlizenz beinhaltet 5 parallele Streams, was 5 parallele Sicherungsprozesse ermöglicht. Details zur Lizenzierung, siehe SEP sesam Lizenz.
- Unter den Größen Eigenschaften definieren oder verändern Sie das Folgende:
- Kapazität: Geben Sie die Größe (in GB) der Partition für Sicherungen an.
- High Water Mark [GB]: Geben Sie den Wert für die High Watermark (HWM) in GB an. Die HWM definiert eine Obergrenze für den genutzten Plattenplatz. Wenn dieser Wert erreicht wird, wird für alle abgelaufenen Savesets (EOL) ein Purge-Prozess gestartet und so wieder Platz im Data Store geschaffen.
- Low Water Mark [GB]: Geben Sie den Wert für die Low Watermark (LWM) in GB an. Die LWM definiert wie viel Speicherplatz im Data Store verfügbar ist für abgelaufene Savesets (->EOL). Wenn die LWM auf 0 gesetzt wird, werden alle abgelaufenen Savesets vom Data Store gelöscht. Die ältesten Savesets werden immer zuerst gelöscht. Die LWM für einen Si3 Deduplizierungsspeicher steht immer auf 0 und kann nicht geändert werden.
Die Eigenschaften Speicherplatz nutzt der SEP Sesam für folgende Werte:
- Belegt [GB]: Gesamter genutzter Speicherplatz in GB auf der Partition.
- Total [GB]: Maximal verfügbarer Speicherplatz in GB auf der Partition wie es vom Betriebssystem ausgegeben wird.
- Frei [GB]: Verfügbarer Speicherplatz in GB für den SEP Sesam.
- Deduplication Rate: Die Deduplizierung beginnt, wenn der Backupprozess gestartet wurde. SEP Sesam analysiert die Datenblöcke und entscheidet, ob der Block neu ist oder ob er bereist zuvor schon mal an den Si3 Data Store übertragen wurde. Nur neue noch nicht vorhandene Blöcke werden zum Data Store übertragen und ersetzen jede deduplizierte Datei mit einem Platzhalter (stub file). Die Deduplikationsrate wird größer, wenn es copy und full Sicherungen gibt und je größer die Datenmenge ist. Die Deduplication Rate wird angegeben mit Ratio:1.
Seit V4.4.3 Tigon ist es möglich den Si3 Deduplication Store zu verschlüsseln. Details finden Sie hier Encryption eines Si3 Deduplication Store.
Ebenso mit Tigon eingeführt wurde das Initial Seed, was es Ihnen ermöglicht, einen Si3 Deduplication Store zum Zwecke der Replikation Initial vorzubefüllen. Details finden Sie hier Befüllen eines Si3 Deduplication Store.
Anmerkung | |
Ab Version 4.4.3. Grolar, können Sie den Status (letzte Deduplizierung Meldung) Ihrer Si3-Deduplizierung einsehen, indem Sie Si3-Deduplizierung speichern auswählen und auf Eigenschaften klicken. Unter der Registerkarte Si3 Status können Sie den Status der aktiven Aufträge, den Verschlüsselungsprozess, den gespeicherten Speicherplatz usw. überprüfen. Sie können den Status der Si3 Deduplizierung auch in den Eigenschaften der Medienaktionen überprüfen. |
Konfiguration über das CLI
Die Größe des Index (max_pages) und die RAM Anforderungen für Java sind wichtige Parameter für den Betrieb des Si3 Data Stores, da beide Parameter beim Anlegen benutzt werden.
Das sm_dedup_Interface wird benutzt, um die Hardware für einen Si3 Data Store zu konfigurieren. Man muss dabei die Kapazitätsgröße des Data Stores (Data Store Partition) angeben.
- sm_dedup
Kommando: sm_dedup_interface propose jvmconfig <value in GB>
Für eine Data Store Partition von 50 TB (50000 GB) z.B. geben Sie dieses Kommando ein:
sm_dedup_interface propose jvmconfig 50000
bigsrv1:~ # sm_dedup_interface propose jvmconfig 50000
JAVA_OPTS=-Xmx1333M -XX:MaxDirectMemorySize=11724M
Diese Java RAM Parameter werden automatisch in die Si3 Data Store Laufwerks-Konfigurationsdatei kopiert, welche sich im Verzeichnis <SESAM_VAR>/ini/stpd_conf
befindet.
- stpd_conf
Die Si3 und die stpd Konfiguration sind in einer .ini Datei im Verzeichnis gv_rw_ini:stpd_conf
gespeichert.
Der Dateiname wird abgeleitet aus hw_drives.device (DS@ds1_2), wie es auch für jedes andere DS Laufwerk der Fall ist. Einige Informationen werden dupliziert, da sie von beiden benutzt werden, dem Si3 Server und stpd.
bigsrv1:/var/opt/sesam/var/ini/stpd_conf # cat ds1_2.ini
[DEDUP] Backend=dedup Hostname=localhost defaultRepoPath="/datastore/ds1/ds1" maxPages=481900 port=11703 sds_jvm_options="-Xmx1032M -XX:MaxDirectMemorySize=1355M"
[DISK_STORE]
Storage_Location=/datastore/ds1/ds1 Size=1000GB backend=dedup hostname=localhost port=11703
- sm.ini
Die RAM-Parameter für Java können manuell in der sm.ini-Datei gesetzt werden. Diese überschreiben die automatisch generierten Parameter der Laufwerksdatei .ini. Der empfohlene Xmx-Wert ist ¼ (ein Viertel) des verfügbaren RAM. Falls z.B. 16 GB verfügbar sind, dann sollten mindestens 4 GB (4096 MB) für den Si3 DataStore konfiguriert werden.
Um die von Java genutzten Defaultparameter auf dem Zielsystem zu erhalten, bitte folgendes Kommando starten java -XX:+PrintFlagsFinal and search for MaxHeapSize (-> Xmx) and InitialHeapSize (-> Xms).
Linux und SEP sesam 4.4.2 Windows
[Params]
sds_jvm_options=-Xms1024M -Xmx4096M
SEP sesam 4.4.1 Windows
[DEDUP]
sds_jvm_options=-Xms1024M -Xmx4096M
Anmerkung | |
Es ist möglich die max_pages für einen existierenden Si3 DataStore manuell zu setzen, allerdings ist dies nicht empfohlen. Tun Sie dies bitte nur auf Rat des SEP Supports. Eine Änderung dieses Werts bewirkt eine vollständige Neugenerierung des Index, was beträchtlich Zeit in Anspruch nehmen kann. |
[Params]
sds_jvm_options=-Xmx1333M -XX:MaxDirectMemorySize=11724M
- maxPages
Der zweite Parameter (max_pages) bezieht sich direkt auf den Java Memory Parameter. Der RAM wird benötigt, um den gesamten Index (beschrieben durch max_pages) im Hauptspeicher zu halten. Die MaxDirectMemorySize hängt direkt ab von max_pages.
Der Wert max_pages wird in der SEP Sesam Datenbank im Laufwerksfeld hw_drives.block_size gespeichert und wird bei Bedarf dynamisch vergrößert. Der Parameter wird berechnet aus (hw_drives.block_size (*100)) und anschließend in die Laufwerkskonfigurationsdatei .ini kopiert.
Fortgeschrittene CLI Administration
Die beiden wichtigsten Wartungsaufgaben - Garbage Collection (gc) und File System Check (fsck) - laufen automatisch. Sie werden von sm_start während dem SEP sesam Tageswechsel gestartet. Man kann ihren Status prüfen oder die Aufträge manuell starten/stoppen.
sm_dedup_interface
- Gültige Kommandos und deren Verwendung
sm_dedup_interface -d <datastore> <command>
status
- purge - objectinfo <remote filename> - put <input filename> <dest filename> - get <remote filename> <dest filename> [<bytes skipped then> [<bytes read at beginning>]] - delete <remote filename> [<filename 2>]* - getlabel - getuuid - list - fsck [start|stop|autopurge|status|incremental|purge now|dump status into <file>|fsck incr start from <file>] - gc <start|stop|status|result> - key <set <key> <value>|get <key>|list> - log@server <msg> - propose serverconfig <repository netto GiB> - propose jvmconfig <repository netto Gib> - snapshot - replicate from [-f] <remote hostname> <remote port> <remote filename> - replicate show - replicate abort <task id>
Die meisten Parameter sind für den internen Gebrauch oder für zukünftige Zwecke gedacht.
- gc start
- Startet die Garbage Collection
- Identifiziert nicht referenzierte Blöcke und löscht sie
- Wird vom SEP sesam gestartet mit sm_start.
- gc stop
- Stoppt die Garbage Collection
- Kann später neugestartet werden
- get
- Liest ein Objekt (Datei, Sicherungssatz) aus dem Si3 DedupStore
- '–' kann zum Spezifizieren von STDIN benutzt werden
- put
- Schreibt ein Objekt (Datei, Sicherungssatz) in den Si3 DedupStore.
- '-' kann zum Spezifizieren von STDOUT benutzt werden.
- status
- Gibt Informationen über den benutzten Platz, gesicherte Daten, Label uuid und ob gc oder fsck gerade laufen.
bigsrv1:/var/opt/sesam/var/ini/stpd_conf # sm_dedup_interface -d ds1_2 status INFO Successfully initialized i2dedup library version v2.1.0-SNAPSHOT5 Server Status: Repository information: Version: 2.1.1 UUID: 3b9ec2ae-34e1-11e3-b88b-001b2146 Label: ds1 Max Pages: 481900 Max Pages recommended: 154100 (-Xmx1010M -XX:MaxDirectMemorySize=603M) GC process status: not running: GC finished. Fsck process status: not running: Fsck finished. Interrupted: false. Total Runtime: 1296.68s Bytes in repository: 259.02 GB Bytes delete pending: 9.18 GB
Object information: Objects stored: 258 Data before deduplication: 1541.56 GB Data after deduplication: 58.94 GB Overall DeDup ratio: 96.18 %
Key-Values: No keys stored.
The value Overall DeDup ratio shows by what percentage the stored data has been reduced.
- fsck
- Startet einen Check des DataStores
- Muss manuell gestartet werden.
- Falls der Parameter autopurge gesetzt ist, werden alle korrupten Objekte gelöscht
- " "Note: Sesam erhält diese Infos bis jetzt noch nicht. " -
- fsck status
- Zeigt den aktuellen Zustand oder den Zustand des letzten DataStore Checks an.
si3fix:/var/opt/sesam/var/log/sms # sm_dedup_interface -d Si3_5 fsck status
INFO Successfully initialized i2dedup library version v2.0.0-beta2 Current fsck status: Message: Logfile check progress: Bytes: 1270925865083/1512422546049 Throughput: 91.25 MiB/s Running: yes Started: 2013-05-29 20:57:17 Ended: - Bytes Checked: 0 Bytes Lost: 0 Objects checked:
- purge
- Löscht alle durch den letzten Garbage Collecton (gc) Lauf als überflüssig markierten Seiten (empty trash).
- Wird nach einem Tageswechsel vom sm_start gestartet.
- getlabel und getuuid können durch status ersetzt werden
meteorologix:/var/opt/sesam/var/ini # sm_main reload sds
2013-05-28 16:42:06: sm_main[5697] started 2013-05-28 16:42:06: Arguments: sm_main reload sds 2013-05-28 16:42:06: SDS Server: "java" -Xmx1700M -XX:MaxDirectMemorySize=900M -classpath "/opt/sesam/bin/sds/i2dedup-server.jar" \ -Dlogback.configurationFile=/va /opt/sesam/var/ini/sm_sdslog.xml -Dgv_rw_stpd=/var/opt/sesam/var/log/sms/ -Ddrive_num=31 \ -Dconfig.inifile="/var/opt/sesam/var/ini/stpd_conf/SI3_31.ini" i2.dedup.streaming.BinaryProtocolServer Requesting server shut down... 2013-05-28 16:42:07.587 [main] INFO i.d.streaming.BinaryProtocolServer$ - Welcome to SEP DeDup Service. Loading configuration... 2013-05-28 16:42:07.637 [main] DEBUG i2.dedup.streaming.ServerOptions$ - Loaded configuration from ini file: dedup { backend=dedup hostname=localhost defaultRepoPath=/srv/5tb/data/defaultrepo/SI3 maxPages=262143 port=11732 }
Logging
Die Logging Funktion benutzt eine mächtige Logback Bibliothek. Weitere Informationen findet man unter http://logback.qos.ch/. Bitte beachten Sie, dass diese Informationen nur für erfahrene Nutzer gedacht sind.
- Logging info
- gv_rw_ini:sm_sds.xml (/var/opt/sesam/var/ini/sm_sds.xml)
- Die Logging Funktion nutzt eine mächtige logback Bibliothek. Weitere Informationen unter http://logback.qos.ch/.
- /var/opt/sesam/var/log/sms enthält zwei Logdateien (vier Logdateien seit V4.4.1.22):
- sm_dedup_server_info-<drive>.log: INFO level and higher.
- sm_dedup_server-<drive>.log: DEBUG and higher. Diese Datei wird sehr groß.
- sm_dedup_gc-<drive>.log: garbage collection log (version 4.4.1-22 and higher).
- sm_dedup_fsck-<drive>.log: file system check log (version 4.4.1-22 and higher).
- Wenn Sie von Version 4.4.1.22 oder kleiner updaten, wo die Logdateien von gc und fsck fehlen, kopieren Sie bitte /opt/sesam/skel/templates/sm_sds.xml nach /var/opt/sesam/var/ini/.
- Auto Rotation wenn die Loggröße 100 MB erreicht.
Dateien und Verzeichnisse
- Objekte
Für jeden SEP Sesam Sicherungssatz werden drei Objekte (Dateien) im Si3 Store gespeichert:
- <ssid>.data
- <ssid>.info
- <ssid>.info2
Die Dateien .data und .info sind identisch zu denen eines normalen DataStores. Die Datei .info2 wird für die Daten benötigt, die an ein Si3 Objekt angehängt werden. Alle Datenbankinformationen, die nicht vor Abschluss der Sicherung verfügbar sind, werden in diese Datei geschrieben.
- Verzeichnisse
Der Pfad <repo root path>/Si3-POOL/Si3-POOL00001/ ist ein veralteter Pfad des SEP sesam DataStores und hat nichts mit dem Si3 Store zu tun. Er wird in einer zukünftigen Version entfernt werden.
Wie geht's weiter?
Nach Konfiguration des Si3 Deduplication Store müssen Sie zuerst die Medienpools definieren und dann ihre Backup-Strategie aufsetzen.
Siehe auch
Encryption eines Si3 Deduplication Store – Clientseitige Deduplizierung konfigurieren – Replikation – (Erst-)Befüllung eines Si3 Deduplication Stores für die Replikation (Initial Seed) – SEP Tachometer – Lizenzliste