[1] 2 >>> MLD-6.x / General / MergerFS
 

Offline stelo

  • Newbie
  • *
  • Posts: 17
    • View Profile
MergerFS
« on: May 13, 2024, 20:33:49 »
Hi, dann streue ich doch auch mal eine Frage ein :-)

Bin mit einem RPI 3 als Server mit 5.4 und zwei Festplatten mittels mergerfs sehr zufrieden.
Kann leider für die 6.4 das mergerfs über die Paketsuche nicht finden.
Kommt das noch, mach ich was falsch oder gibt es für mergerfs eine Alternative?

Danke für die tolle Distri,
SteLo
Standalone: MLD 5.4 - Raspberry Pi 3 - 2x Sundtec DVB-S LiveTV - 2x 5TB HD  / MLD 5.1 Raspberry 2 mit Vompclient

Offline clausmuus

  • Administrator
  • Expert Member
  • ********
  • Posts: 20445
    • View Profile
    • ClausMuus.de
MergerFS
« Reply #1 on: May 14, 2024, 08:55:12 »
Hi,
da mergerfs (und auch mhddfs) leider sehr viel CPU Power benötigt und die einzige mir bekannte (und gut funktionierende performantere) Alternative aufs nicht teil des Kernel ist, sondern hineingepatcht werden muss, habe ich für's erste nicht geplant eine solche Funktion mit aufzunehmen.

Ich werde aber noch mal da drüber nachdenken, diese Funktion zumindest auf der Kommandozeile wieder anzubieten.
« Last Edit: May 14, 2024, 09:51:26 by clausmuus »
MLD 5.5 - Raspberry PI - 7" Touch TFT - Squeeze Play
MLD 5.5 - lirc yaUsbIR - OctopusNet - XFX GeForce 9300 mit Intel E3200 - 2GB RAM - 12TB HDD - Lian Li PC-C37B - Samsung LE40A559

Offline villeneuve

  • Adv. Member
  • ***
  • Posts: 119
    • View Profile
MergerFS
« Reply #2 on: May 14, 2024, 14:53:30 »
Obwohl es mich persönlich nicht betrifft, da ich im VDR nur eine Festplatte habe, fände ich es dennoch merkwürdig mergerfs wegzulassen, ist es doch die von KLS offiziell als Ersatz genannte Lösung für das weggefallene VDR-eigene System zur Nutzung mehrerer Videospeicherpartitionen.
Ich nutze mergerfs auf meinen OpenMediaVault-Systemen, die allesamt aus ziemlich alter Hardware bestehen (z. B. Pentium Dual Core und Athlon X2) und dort benötigt mergerfs beim Kopieren von Daten darauf mehr CPU als der Samba-Dienst, was zusammengerechnet dann schon eine gewisse Last ergibt, aber Dateien können trotzdem ausreichend schnell darauf kopiert werden.
In welcher Situation soll mergerfs auf einem MLD-System denn überhaupt zum Flaschenhals werden?
Haupt-VDR: Gigabyte GA-F2A88XM-HD3 - AMD A8-7600 - 4 Gb RAM - Ausgabe via MSI N220GT-MD1GZ mit softhddevice & vdpau - 19.2E & 28.2E Empfang via Linux4Media L4M-Twin S2 ver 6.5 - Terratec Aureon 5.1 Fun TTP8 - Crucial m4 CT064M4SSD2 - Seagate Exos 7E8 - Medion X10 RF Remote Control 20016398

Offline clausmuus

  • Administrator
  • Expert Member
  • ********
  • Posts: 20445
    • View Profile
    • ClausMuus.de
MergerFS
« Reply #3 on: May 14, 2024, 17:45:37 »
Bei der MLD-5.5 war bei RPI Systemen, dass bei der Verwendung von mergerfs (oder mhddfs) die CPU Last bei der Wiedergabe oder Aufnahme auf nahezu 100% ansteigt. Bei Intel Systemen betrug die zusätzliche CPU last nur wenige Prozent, und war daher zu vernachlässigen.
MLD 5.5 - Raspberry PI - 7" Touch TFT - Squeeze Play
MLD 5.5 - lirc yaUsbIR - OctopusNet - XFX GeForce 9300 mit Intel E3200 - 2GB RAM - 12TB HDD - Lian Li PC-C37B - Samsung LE40A559

Offline villeneuve

  • Adv. Member
  • ***
  • Posts: 119
    • View Profile
MergerFS
« Reply #4 on: May 15, 2024, 12:20:50 »
Ok, ich hätte nicht gedacht, daß ein RPI damit solche Probleme hat. Die mergerfs-Konfiguration hat allerdings ein paar Stellschrauben in Sachen CPU-Nutzung, die man auf RPI mal testen könnte. Ansonsten wäre sonst wohl ideal nur auf RPI mergerfs wegzulassen, zumal es wohl eher selten sein dürfte, daß mehrere HDDs an einem RPI betrieben werden.
Haupt-VDR: Gigabyte GA-F2A88XM-HD3 - AMD A8-7600 - 4 Gb RAM - Ausgabe via MSI N220GT-MD1GZ mit softhddevice & vdpau - 19.2E & 28.2E Empfang via Linux4Media L4M-Twin S2 ver 6.5 - Terratec Aureon 5.1 Fun TTP8 - Crucial m4 CT064M4SSD2 - Seagate Exos 7E8 - Medion X10 RF Remote Control 20016398

Offline clausmuus

  • Administrator
  • Expert Member
  • ********
  • Posts: 20445
    • View Profile
    • ClausMuus.de
MergerFS
« Reply #5 on: May 15, 2024, 14:30:18 »
Zumindest werde ich einen Hinweis hinzufügen, sofern ich das in's Webif integriere.
MLD 5.5 - Raspberry PI - 7" Touch TFT - Squeeze Play
MLD 5.5 - lirc yaUsbIR - OctopusNet - XFX GeForce 9300 mit Intel E3200 - 2GB RAM - 12TB HDD - Lian Li PC-C37B - Samsung LE40A559

Offline stelo

  • Newbie
  • *
  • Posts: 17
    • View Profile
MergerFS
« Reply #6 on: May 16, 2024, 18:57:23 »
Danke das ihr euch Gedanken darüber macht es ev. zuzufügen. Bin mit dem RPi3 in den letzten Jahren gut gefahren und würde nur ungern deswegen auf ein Intel-System wechseln. RPi ist halt so schön plug&play.
Grüße
Standalone: MLD 5.4 - Raspberry Pi 3 - 2x Sundtec DVB-S LiveTV - 2x 5TB HD  / MLD 5.1 Raspberry 2 mit Vompclient

Offline clausmuus

  • Administrator
  • Expert Member
  • ********
  • Posts: 20445
    • View Profile
    • ClausMuus.de
MergerFS
« Reply #7 on: May 17, 2024, 00:38:56 »
Ich habe das mergerfs Paket erstellt. Den Eintrag in der fstab musst Du bisher aber manuell erstellen.
MLD 5.5 - Raspberry PI - 7" Touch TFT - Squeeze Play
MLD 5.5 - lirc yaUsbIR - OctopusNet - XFX GeForce 9300 mit Intel E3200 - 2GB RAM - 12TB HDD - Lian Li PC-C37B - Samsung LE40A559

Offline stelo

  • Newbie
  • *
  • Posts: 17
    • View Profile
MergerFS
« Reply #8 on: May 18, 2024, 10:29:20 »
Cool, vielen herzlichen Dank dafür Claus! Das Den alten Eintrag zu übernehmen sollte ich hinbekommen.
Werde Rückmeldung geben wie es funktioniert.
Grüße, SteLo

PS: Welche Paketquelle muss ich denn verwenden? Bei nightbuild erschein mergerfs nicht und wenn ich Claus wähle erhalte ich Fehler:  404  Not Found [IP: 157.90.32.175 443]

# apt-get install
Reading package lists...
...
525 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.
Need to get 88.6 MB of archives.
After this operation, 0 B of additional disk space will be used.
Get:1 https://mld6.minidvblinux.de/claus/deb/raspberrypi3 ./ base-files 3.0.14-r89.8 [3616 B]
Get:2 https://mld6.minidvblinux.de/claus/deb/cortexa7t2hf-neon-vfpv4 ./ base-passwd 3.5.29-r0.9 [1504 B]
Err:3 https://mld6.minidvblinux.de/claus/deb/cortexa7t2hf-neon-vfpv4 ./ libc6 2.35-r0.13
  404  Not Found [IP: 157.90.32.175 443]

Danke.
« Last Edit: May 18, 2024, 15:39:35 by stelo »
Standalone: MLD 5.4 - Raspberry Pi 3 - 2x Sundtec DVB-S LiveTV - 2x 5TB HD  / MLD 5.1 Raspberry 2 mit Vompclient

Offline clausmuus

  • Administrator
  • Expert Member
  • ********
  • Posts: 20445
    • View Profile
    • ClausMuus.de
MergerFS
« Reply #9 on: May 19, 2024, 00:51:51 »
Da gab's nen Problem mit dem RPI Build. Das ist behoben.
MLD 5.5 - Raspberry PI - 7" Touch TFT - Squeeze Play
MLD 5.5 - lirc yaUsbIR - OctopusNet - XFX GeForce 9300 mit Intel E3200 - 2GB RAM - 12TB HDD - Lian Li PC-C37B - Samsung LE40A559

Offline stelo

  • Newbie
  • *
  • Posts: 17
    • View Profile
MergerFS
« Reply #10 on: May 19, 2024, 12:52:05 »
Habs nun mit dem nightbuild versucht und sofort gefunden. Klasse!

In der fstab musste ich nur eine Zeile auskommentieren und die drei letzten Zeilen einfügen und in /mnt/78.. ändern.
# alte Zeile auskommentiert /mnt/7822a096-9830-4fe2-ab9b-ab52e999c975/tv /data none bind 0 0
/mnt/7822a096-9830-4fe2-ab9b-ab52e999c975:/mnt/sda1:/mnt/sdb1  /data  mergerfs  defaults,category.create=mfs,direct_io,use_ino  0 0
/dev/sda1   /mnt/sda1       xfs    defaults         0 0
/dev/sdb1   /mnt/sdb1       xfs    defaults         0 0

Der CPU-Auslastung mit HTOP gemessen beträgt beim Abspielen lediglich 0,7%.

Vielen Dank Claus!
« Last Edit: May 19, 2024, 12:54:09 by stelo »
Standalone: MLD 5.4 - Raspberry Pi 3 - 2x Sundtec DVB-S LiveTV - 2x 5TB HD  / MLD 5.1 Raspberry 2 mit Vompclient

Offline clausmuus

  • Administrator
  • Expert Member
  • ********
  • Posts: 20445
    • View Profile
    • ClausMuus.de
MergerFS
« Reply #11 on: May 20, 2024, 22:38:21 »
Hi,

ich habe jetzt das mergerfs Setup jetzt im Webif integriert. Beim einstellen der Speichermedien können jetzt mehrere Datenträger ausgewählt werden.
Deine manuell hinzugefügten Zeilen in der fstab müssten zuvor entfernt werden, da diese nicht kompatibel zum setup sind.
Es wäre nett, wenn Du das testen könntest.
MLD 5.5 - Raspberry PI - 7" Touch TFT - Squeeze Play
MLD 5.5 - lirc yaUsbIR - OctopusNet - XFX GeForce 9300 mit Intel E3200 - 2GB RAM - 12TB HDD - Lian Li PC-C37B - Samsung LE40A559

Offline stelo

  • Newbie
  • *
  • Posts: 17
    • View Profile
MergerFS
« Reply #12 on: May 21, 2024, 18:47:37 »
Hallo Claus,

ich habe nun meine Zeile gelöscht und die fstab sieht nun so aus:
Code: [Select]
# stock fstab - you probably want to override this with a machine specific one

/dev/root            /                    auto       defaults              1  1
proc                 /proc                proc       defaults              0  0
devpts               /dev/pts             devpts     mode=0620,ptmxmode=0666,gid=5      0  0
tmpfs                /run                 tmpfs      mode=0755,nodev,nosuid,strictatime 0  0
tmpfs                /var/volatile        tmpfs      defaults              0  0

# uncomment this if your device has a SD/MMC/Transflash slot
#/dev/mmcblk0p1       /media/card          auto       defaults,sync,noauto  0  0

UUID=4227-F204 /boot auto defaults 1 2
UUID=7822a096-9830-4fe2-ab9b-ab52e999c975 /mnt/7822a096-9830-4fe2-ab9b-ab52e999c975 auto defaults 1 2

Danach habe ich den RPI neu gestartet. Bei Hinzufügen der Platten sehe ich aber nur 4x die erste Festplatte plus die SD-Karte im Dropdown. Ich hätte beide Festplatten vermutet.
Bild im Anhang und zusätzlich ein Support Log id 2ScxTy erstellt.

Mache ich was falsch?
« Last Edit: May 21, 2024, 18:50:12 by stelo »
Standalone: MLD 5.4 - Raspberry Pi 3 - 2x Sundtec DVB-S LiveTV - 2x 5TB HD  / MLD 5.1 Raspberry 2 mit Vompclient

Offline clausmuus

  • Administrator
  • Expert Member
  • ********
  • Posts: 20445
    • View Profile
    • ClausMuus.de
MergerFS
« Reply #13 on: May 21, 2024, 19:15:06 »
Hi,
Du hast alles richtig gemacht.
Gib mir mal Bitte die Ausgabe von:
Code: [Select]
settings get disks.partitionsund von:
Code: [Select]
parted -lsm
MLD 5.5 - Raspberry PI - 7" Touch TFT - Squeeze Play
MLD 5.5 - lirc yaUsbIR - OctopusNet - XFX GeForce 9300 mit Intel E3200 - 2GB RAM - 12TB HDD - Lian Li PC-C37B - Samsung LE40A559

Offline stelo

  • Newbie
  • *
  • Posts: 17
    • View Profile
MergerFS
« Reply #14 on: May 21, 2024, 19:41:41 »
Dies sind die Ausgaben:
Code: [Select]
root@mld2:~# settings get disks.partitions
-sh: settings: command not found
root@mld2:~# parted -lsm
BYT;
/dev/sda:5001GB:scsi:512:4096:gpt:WD My Passport 2627:;
1:1049kB:5001GB:5001GB:xfs::;

BYT;
/dev/sdb:5001GB:scsi:512:4096:gpt:WD My Passport 2627:;
1:1049kB:5001GB:5001GB:xfs::;

BYT;
/dev/mmcblk0:31,9GB:sd/mmc:512:512:gpt:SD SD32G:pmbr_boot;
1:1049kB:99,6MB:98,6MB:fat32:boot:legacy_boot, msftdata;
2:99,6MB:31,9GB:31,8GB:btrfs:root:;

Vielleicht hilft dir dies noch weiter
Code: [Select]
root@mld2:~# fdisk -l
Disk /dev/mmcblk0: 30 GB, 31914983424 bytes, 62333952 sectors
973968 cylinders, 4 heads, 16 sectors/track
Units: sectors of 1 * 512 = 512 bytes

Device       Boot StartCHS    EndCHS        StartLBA     EndLBA    Sectors  Size Id Type
/dev/mmcblk0p1 *  32,0,1      1023,254,63       2048     194559     192512 94.0M  c Win95 FAT32 (LBA)
/dev/mmcblk0p2    0,0,2       31,3,16              1       2047       2047 1023K ee EFI GPT

Partition table entries are not in disk order
fdisk: device has more than 2^32 sectors, can't use all of them
Disk /dev/sda: 2048 GB, 2199023255040 bytes, 4294967295 sectors
267349 cylinders, 255 heads, 63 sectors/track
Units: sectors of 1 * 512 = 512 bytes

Device  Boot StartCHS    EndCHS        StartLBA     EndLBA    Sectors  Size Id Type
/dev/sda1    0,0,1       1023,254,63          1 4294967295 4294967295 2047G ee EFI GPT
fdisk: device has more than 2^32 sectors, can't use all of them
Disk /dev/sdb: 2048 GB, 2199023255040 bytes, 4294967295 sectors
267349 cylinders, 255 heads, 63 sectors/track
Units: sectors of 1 * 512 = 512 bytes

Device  Boot StartCHS    EndCHS        StartLBA     EndLBA    Sectors  Size Id Type
/dev/sdb1    0,0,1       1023,254,63          1 4294967295 4294967295 2047G ee EFI GPT

Update: Habe jetzt einfach mal beide gleichlautenden Platten zugefügt. Dies scheint zu funktionieren.
Die fstab sieht nun so aus:
Code: [Select]
# stock fstab - you probably want to override this with a machine specific one

/dev/root            /                    auto       defaults              1  1
proc                 /proc                proc       defaults              0  0
devpts               /dev/pts             devpts     mode=0620,ptmxmode=0666,gid=5      0  0
tmpfs                /run                 tmpfs      mode=0755,nodev,nosuid,strictatime 0  0
tmpfs                /var/volatile        tmpfs      defaults              0  0

# uncomment this if your device has a SD/MMC/Transflash slot
#/dev/mmcblk0p1       /media/card          auto       defaults,sync,noauto  0  0

UUID=4227-F204 /boot auto defaults 1 2

UUID=7822a096-9830-4fe2-ab9b-ab52e999c975 /mnt/7822a096-9830-4fe2-ab9b-ab52e999c975 auto defaults 1 2
UUID=71c8ba8b-b2dc-4cf5-9ae9-c9cf202891c1 /mnt/71c8ba8b-b2dc-4cf5-9ae9-c9cf202891c1 auto defaults 1 2
/mnt/7822a096-9830-4fe2-ab9b-ab52e999c975:/mnt/71c8ba8b-b2dc-4cf5-9ae9-c9cf202891c1 /data mergerfs category.create=epmfs,direct_io,use_ino,fsname=/dev/sda1:/dev/sdb1 0 0

Im Anhang der Screenshot vom Config-Screen. Wenn ich noch was testen soll, sag einfach bescheid. 
« Last Edit: May 21, 2024, 20:26:41 by stelo »
Standalone: MLD 5.4 - Raspberry Pi 3 - 2x Sundtec DVB-S LiveTV - 2x 5TB HD  / MLD 5.1 Raspberry 2 mit Vompclient

[1] 2 >>> MLD-6.x / General / MergerFS
 



Users Online Users Online

0 Members and 1 Guest are viewing this topic.