Source:Configuring and Administering Si3 Deduplication Store by using CLI/de: Difference between revisions
No edit summary |
No edit summary |
||
Line 93: | Line 93: | ||
====={{anchor|sm.ini}}sm.ini===== | ====={{anchor|sm.ini}}sm.ini===== | ||
Die RAM-Parameter für Java können manuell in der <tt>sm.ini</tt>-Datei gesetzt werden. Diese überschreiben die automatisch generierten Parameter der Laufwerksdatei <tt>.ini</tt>. Der empfohlene <tt>Xmx</tt>-Wert ist ¼ (ein Viertel) des verfügbaren RAM. Falls z.B. 16 GB verfügbar sind, dann sollten mindestens 4 GB (4096 MB) für den Si3 DataStore konfiguriert werden. | Die RAM-Parameter für Java können manuell in der <tt>sm.ini</tt>-Datei gesetzt werden. Diese überschreiben die automatisch generierten Parameter der Laufwerksdatei <tt>.ini</tt>. Der empfohlene <tt>Xmx</tt>-Wert ist ¼ (ein Viertel) des verfügbaren RAM. Falls z.B. 16 GB verfügbar sind, dann sollten mindestens 4 GB (4096 MB) für den Si3 DataStore konfiguriert werden. | ||
Um die von Java auf dem Zielsystem verwendeten Standardparameter zu erhalten, führen Sie den Befehl <tt>java -XX:+PrintFlagsFinal</tt> aus und suchen Sie nach <tt>MaxHeapSize</tt> (-> Xmx) und <tt>InitialHeapSize</tt> (-> Xms). | Um die von Java auf dem Zielsystem verwendeten Standardparameter zu erhalten, führen Sie den Befehl <tt>java -XX:+PrintFlagsFinal</tt> aus und suchen Sie nach <tt>MaxHeapSize</tt> (-> Xmx) und <tt>InitialHeapSize</tt> (-> Xms). |
Revision as of 12:08, 17 May 2022
Übersicht
SEP Sesam bietet eine zielseitige (Si3T) und eine quellseitige Deduplizierung (Si3S). Details zu Deduplizierungskonzepten und Empfehlungen finden Sie hier Deduplication.
Beide Arten, Si3T und Si3S benötigen einen konfigurierten Si3 Deduplication Store. An einem Server kann jeweils nur ein Si3 Deduplication Store angelegt werden. Für jeden Si3 Deduplication Store wird eine gültige Lizenz benötigt. Beachten Sie, dass Sie einen Si3 Deduplication Store auch über die GUI konfigurieren können. Weitere Informationen finden Sie unter Konfiguation eines Si3 Deduplication Store.
Typically, only one Si3 deduplication store can be configured on a server. However, since a direct upgrade from the old Si3 to Si3 NG is not supported, you can replicate from Si3 to Si3 NG. For this purpose, you can also configure a new Si3-NG and an old Si3 in parallel on the same host by enabling the key enable_gui_allow_multi_dedup. For details, see Enabling Si3 NG setup on the same host.
- A valid licence is required for each Si3 deduplication store.
- For more detailed comparison of Si3 and Si3 NG, see Comparison of Si3 and Si3 NG.
- For information on configuring the Si3 deduplication store via the GUI, see Configuring Si3 Deduplication Store.
Voraussetzungen
Die minimalen Si3 Hardware Anforderungen, die für den SEP sesam Si3 Deduplication Server gelten, bitte hier kontrollieren. Beachten Sie, dass diese Anforderungen nur die Deduplizierung betreffen. Zusätzlich sollte der Speicherplatz für das Betriebssystem und andere Dienste berücksichtigt werden.
Die folgenden Voraussetzungen müssen erfüllt sein, um einen Si3 Deduplication Store zu konfigurieren.
Si3 Deduplication Hardware Requirements/de
Konfiguration über das CLI
Die Größe des Index (max_pages) und die RAM Anforderungen für Java sind wichtige Parameter für den Betrieb des Si3 Data Stores, da beide Parameter beim Anlegen benutzt werden.
SEP sesam provides command utilities for configuring and managing Si3 data stores. The following section provides some examples of commands and syntax.
Anmerkung | |
You must have SEP sesam administrator privileges to run SEP sesam CLI commands and use the command prompt as an administrator. All commands are run from the <SESAM_ROOT>/bin/sesam/ directory. If you want to execute SEP sesam commands globally (and not from the actual run directory), set the SEP sesam profile as described in What happens when I set a profile?.
|
The index size (max_pages) and Java's RAM requirements are important parameters for the operation of a Si3 data store as both parameters are used during its creation.
Das sm_dedup_Interface wird benutzt, um die Hardware für einen Si3 Data Store zu konfigurieren. Man muss dabei die Kapazitätsgröße des Data Stores (Data Store Partition) angeben.
stpd_conf
Die Si3 und die stpd Konfiguration sind in einer .ini Datei im Verzeichnis gv_rw_ini:stpd_conf
gespeichert.
Der Dateiname wird abgeleitet aus hw_drives.device (DS@ds1_2), wie es auch für jedes andere DS Laufwerk der Fall ist. Einige Informationen werden dupliziert, da sie von beiden benutzt werden, dem Si3 Server und stpd.
bigsrv1:/var/opt/sesam/var/ini/stpd_conf # cat ds1_2.ini [DEDUP] Backend=dedup Hostname=localhost defaultRepoPath="/datastore/ds1/ds1" maxPages=481900 port=11703 sds_jvm_options="-Xmx1032M -XX:MaxDirectMemorySize=1355M" [DISK_STORE] Storage_Location=/datastore/ds1/ds1 Size=1000GB backend=dedup hostname=localhost port=11703
sm.ini
Die RAM-Parameter für Java können manuell in der sm.ini-Datei gesetzt werden. Diese überschreiben die automatisch generierten Parameter der Laufwerksdatei .ini. Der empfohlene Xmx-Wert ist ¼ (ein Viertel) des verfügbaren RAM. Falls z.B. 16 GB verfügbar sind, dann sollten mindestens 4 GB (4096 MB) für den Si3 DataStore konfiguriert werden.
Um die von Java auf dem Zielsystem verwendeten Standardparameter zu erhalten, führen Sie den Befehl java -XX:+PrintFlagsFinal aus und suchen Sie nach MaxHeapSize (-> Xmx) und InitialHeapSize (-> Xms).
max_pages
Der zweite Parameter (max_pages) bezieht sich direkt auf den Java Memory Parameter. Der RAM wird benötigt, um den gesamten Index (beschrieben durch max_pages) im Hauptspeicher zu halten. Die MaxDirectMemorySize hängt direkt ab von max_pages.
Der Wert max_pages wird in der SEP Sesam Datenbank im Laufwerksfeld hw_drives.block_size gespeichert und wird bei Bedarf dynamisch vergrößert. Der Parameter wird berechnet aus (hw_drives.block_size (*100)) und anschließend in die Laufwerkskonfigurationsdatei .ini kopiert.
Fortgeschrittene CLI Administration
Die beiden wichtigsten Wartungsaufgaben - Garbage Collection (gc) und File System Check (fsck) - laufen automatisch. Sie werden von sm_start während dem SEP sesam Tageswechsel gestartet. Man kann ihren Status prüfen oder die Aufträge manuell starten/stoppen.
The new generation of Si3 deduplication store, Si3 NG, has two types of file system check (fsck): object check (occk), which checks if the Si3 data part is still readable, and page check (pcck), which checks the physical data on the disk. All processes (gc, occk and pcck) can run simultaneously.
You can check their status or start/stop the tasks manually.
sm_dedup_interface
Gültige Kommandos und deren Verwendung
Anmerkung | |
Depending on the deduplication store used, Si3 or Si3-NG, some of the commands may be slightly different. When relevant, both command versions are described. |
sm_dedup_interface -d <datastore> <command>
- purge - objectinfo <remote filename> - put <input filename> <dest filename> - get <remote filename> <dest filename> [<bytes skipped then> [<bytes read at beginning>]] - delete <remote filename> [<filename 2>]* - getlabel - getuuid - list - fsck [start|stop|autopurge|status|incremental|purge now|dump status into <file>|fsck incr start from <file>] - gc <start|stop|status|result> - key <set <key> <value>|get <key>|list> - log@server <msg> - propose serverconfig <repository netto GiB> - propose jvmconfig <repository netto Gib> (for Si3 store; slightly different usage for Si3 NG, see Notea) - snapshot - replicate from [-f] <remote hostname> <remote port> <remote filename> - replicate show - replicate abort <task id>
Depending on the deduplication store used, Si3 or Si3-NG, the command to find out how much RAM is needed at what capacity of Si3/Si3-NG differs slightly. Example:
- Si3-NG
- Use the command
sm_dedup_interface -T dedup2 propose jvmconfig <Si3_capacity>
. - Si3
- Use the command
sm_dedup_interface propose jvmconfig <Si3_capacity>
.
The output of MaxDirectMemorySize is the required RAM value.
Note, however, that SEP sesam calculates the RAM consumption and uses these commands in the background. It is usually not needed to set the values manually. These manual changes are overwritten with the next drive configuration.
The index calculation is also associated with the command. If the index grows and is 95% full, backups can no longer be performed. The RAM must hold the entire index (described by max_pages) in memory. The MaxDirectMemorySize depends directly on max_pages. To solve the problems with the growing index, refer to Si3 Deduplication Troubleshooting.
Die meisten Parameter sind für den internen Gebrauch oder für zukünftige Zwecke gedacht.
- status
Bieted Informationen über den benutzten Platz, die gesicherte Daten, die Label Uuid und ob gc oder fsck gerade laufen.
sm_dedup_interface -d ds1_2 status INFO Successfully initialized i2dedup library version v2.1.0-SNAPSHOT5 Server Status: Repository information: Version: 2.1.1 UUID: 3b9ec2ae-34e1-11e3-b88b-001b2146 Label: ds1 Max Pages: 481900 Max Pages recommended: 154100 (-Xmx1010M -XX:MaxDirectMemorySize=603M) GC process status: not running: GC finished. Fsck process status: not running: Fsck finished. Interrupted: false. Total Runtime: 1296.68s Bytes in repository: 259.02 GB Bytes delete pending: 9.18 GB Object information: Objects stored: 258 Data before deduplication: 1541.56 GB Data after deduplication: 58.94 GB Overall DeDup ratio: 96.18 % Key-Values: No keys stored. |
sm_dedup_interface -d 3 status Server Status: Repository information: 2022-03-07 16:01:31 Start time: 2022-02-22 16:32:15 Server: localhost:11704 Path: /srv/single_disk/Si3-NG-b11 Version: Version: Si3-NG Branch: 4321a7ba7bafbfb7e9a186a3821b0e0bf08d19bc Build: 4321a7b Commit: 2022-02-09 15:37:49 Build date: 2022-02-09 15:41:18 UUID: 5e999930-bd3f-11ea-8471-b79d351122df Label: Si3-NG-b11 PCCK process status: not running: No items found to process: Stop time: 2022-03-07 16:00:48 (Started: 2022-03-07 16:00:48) OCCK process status: not running: No items found to process: Stop time: 2022-03-07 16:00:47 (Started: 2022-03-07 16:00:47) GC process status: not running: Sweep Phase: swept 97124/97124 pages [deleted=2194,rewritten=13611,skipped=79550,locked=1769,missing=0]: Stop time: 2022-03-07 10:00:15 (Started: 2022-03-07 08:10:56) Bytes in repository: 534.49 GiB Bytes delete pending: 159.60 GiB Pages dir size: 534.42 GiB Object dir size: 0.45 GiB Trash dirs size: 159.60 GiB Active tasks: All: 0, Backup: 0, Restore: 0, GC: 0, OCCK: 0, PCCK: 0 Sanity state: OK JVM arguments: -Xmx3335M, -Dlogback.configurationFile=/var/opt/sesam/var/ini/sm_sdslog2.xml, -Dgv_rw_stpd=/var/opt/sesam/var/log/sms, -Dlogs.dir=/var/opt/sesam/var/log/sms, -Ddrive_num=3, -Dconfig.inifile=/var/opt/sesam/var/ini/stpd_conf/Si3-NG-b11_3.ini Recommended JVM arguments: -Xmx3312M Si3-storage: Bytes All: 1999421108224, Use: 736072216576, Free: 1263348891648, Used: 36% Index information: Size: 0.34 GiB Utilization: 57.35% (32890421/57344000) Reindex: - Object information: Objects stored: 36090 Data before deduplication: 10.66 TiB Overall DeDup ratio: 1 / 20.32 Saved storage space: 95.08 % S3 information: State: OFF Bucket: |
Der Wert Overall DeDup ratio zeigt an, um wie viel Prozent die gespeicherten Daten reduziert wurden.
- gc start
- Startet Garbage Collection.
- Identifiziert nicht referenzierte Chunks und verschiebt sie in den Papierkorb.
- Wird von SEP sesam mit sm_start gestartet.
- gc stop
- Stoppt Garbage Collection.
- Kann später wieder gestartet werden.
- gc status
- Si3 NG gc status output example
sm_dedup_interface -d 3 gc status Current gc status: State: Finished Started: 2022-03-07 08:10:56 Ended: 2022-03-07 10:00:15 Message: Sweep Phase: swept 97124/97124 pages [deleted=2194,rewritten=13611,skipped=79550,locked=1769,missing=0] STATUS=SUCCESS MSG=Sweep Phase: swept 97124/97124 pages [deleted=2194,rewritten=13611,skipped=79550,locked=1769,missing=0]
- get
- Liest ein Objekt (Datei, Sicherungssatz) aus dem Deduplizierungsspeicher.
- '-' kann verwendet werden, um STDIN zu spezifizieren
- put
- Schreibt ein Objekt (Datei, Sicherungssatz) in den Deduplizierungsspeicher.
- '-' kann verwendet werden, um STDOUT zu spezifizieren
- fsck
- Startet eine Datenspeicherprüfung.
- Muss manuell gestartet werden.
- Wenn der Parameter autopurge gesetzt ist, werden alle beschädigten Objekte gelöscht.
- fsck status
Zeigt den aktuellen Zustand oder den Zustand des letzten DataStore Checks an.
si3fix:/var/opt/sesam/var/log/sms # sm_dedup_interface -d Si3_5 fsck status INFO Successfully initialized i2dedup library version v2.0.0-beta2 Current fsck status: Message: Logfile check progress: Bytes: 1270925865083/1512422546049 Throughput: 91.25 MiB/s Running: yes Started: 2018-05-29 20:57:17 Ended: - Bytes Checked: 0 Bytes Lost: 0 Objects checked: |
sm_dedup_interface -d 3 fsck status Current occk status: Mode: Incremental. Since 2022-03-07 09:18:25 State: Finished Started: 2022-03-07 16:01:53 Ended: 2022-03-07 16:01:53 Last Full successful: 2022-01-04 10:41:20 Message: No items found to process Previous error: - Current pcck status: Mode: Incremental. Since 2022-03-07 09:58:48 State: Finished Started: 2022-03-07 16:01:53 Ended: 2022-03-07 16:01:53 Last Full successful: 2022-01-04 11:58:25 Message: No items found to process Previous error: - |
- purge
- Löscht alle Seiten, die durch den letzten Lauf der Garbage Collection (gc) als veraltet markiert wurden (leerer Papierkorb).
- Wird gestartet durch sm_start nach einem SEP sesam Tageswechsel.
- getlabel und getuuid können durch status ersetzt werden
Protokollierung
Die Protokollfunktion benutzt eine mächtige Logback Bibliothek. Weitere Informationen finden Sie unter Logback Project. Bitte beachten Sie, dass diese Informationen nur für erfahrene Nutzer gedacht sind.
- Info Protokollierung
- gv_rw_ini:sm_sds.xml (/var/opt/sesam/var/ini/sm_sds.xml)
- /var/opt/sesam/var/log/sms enthält zwei Protokolldateien:
- sm_dedup_server_info-<drive>.log: INFO Protokollstufe und höher.
- sm_dedup_server-<drive>.log: DEBUG und höher. Diese Datei kann sehr groß werden.
- sm_dedup_gc-<drive>.log: Garbage Collection Protokoll.
- sm_dedup_fsck-<drive>.log: Dateisystem-Prüfprotokoll.
- Automatische Rotation, wenn die Größe der Protokolldatei 100 MB erreicht.
Dateien und Verzeichnisse
- Objekt
Für jeden SEP Sesam Sicherungssatz werden drei Objekte (Dateien) im Si3 Store gespeichert:
- <ssid>.data
- <ssid>.info
- <ssid>.info2
Die Dateien .data und .info sind identisch zu denen eines normalen DataStores. Die Datei .info2 wird für die Daten benötigt, die an ein Si3 Objekt angehängt werden. Alle Datenbankinformationen, die nicht vor Abschluss der Sicherung verfügbar sind, werden in diese Datei geschrieben.
- Verzeichnisse
Der Pfad <repo root path>/Si3-POOL/Si3-POOL00001/ ist ein veralteter Pfad des SEP sesam DataStores und hat nichts mit dem Si3 Store zu tun. Er wird in einer zukünftigen Version entfernt werden.
Wie geht's weiter?
Nach Konfiguration des Si3 Deduplication Store müssen Sie zuerst die Medienpools definieren und dann ihre |Sicherungs-Strategie aufsetzen.