Das NAS Eigenbau-Tutorial

Hallo verehrte Forengemeinde!

Da die Frage ja nun doch schon ein paar mal aufkam, fühlte ich mich dazu bewogen, mal ein kleines Tutorial, oder eher einen Leitfaden, zum Thema: "NAS selber zusammenstellen" anzulegen.
Hier geht es also nicht um die Frage, Eigenbau oder Fertig-NAS, diese Frage habt ihr für euch, höchstwahrscheinlich, bereits beantwortet, wenn ihr hier gelandet seit.
Bei meinen Ausführungen lasse ich natürlich hauptsächlich meine eigenen Erfahrungen einfließen. Verbesserungsvorschläge sind aber selbstverständlich willkommen.

Überlegungen

Bevor ihr anfangt, nach konkreter Hardware oder Software zu suchen, solltet ihr natürlich wissen, was genau ihr von eurem NAS verlangt. Folgende Schlagwörter sollten euch dabei helfen:

Samba? DLNA Server? Netzwerk Gateway? Datenverfügbarkeit? Ausfallsicherheit? Datenschutz?

Einen einfachen Netzwerkspeicher könnt ihr schon mit einem TP-Link TL-WR1043ND und einer USB Festplatte haben.
Verlangt ihr aber mehr, zum Beispiel höhere Übertragungsraten (1 GBit Ethernet, max. ~120MiB/s) dann wird es der Router nicht mehr tun. Kommen dann noch diverse andere Anforderungen ins Spiel, z.B. ein DLNA Server evtl. sogar mit Transcoding, dann wird der kauf schnellerer, funktionellerer Hardware unerlässlich.
Der Mensch ist Jäger und Sammler und gerade hier im Forum sind, so denke ich, mehr und mehr Sammler unterwegs. Infolge dessen entsteht ja überhaupt erst der Wunsch sich einen NAS zuzulegen. Je mehr man sammelt, desto mehr Speicherplatz benötigt man. Derzeit haben HDDs mit 4TB Kapazität das beste Preis-/Leistungsverhältnis pro GB. Die 8TB SMR Festplatten von Seagate sind auf Grund nicht verfügbarer Dateisysteme mit Host Aware Implementierung erstmal außen vor zu lassen.
Bei großen Datenmengen wäre ein Verlust aller Daten, selbst Animes die man neu runterladen könnte, schon verdammt ärgerlich. Deshalb empfehle ich ganz klar einen RAID Verbund zu nutzen.

RAID0 - Striping, erhöht die Transferrate je nach Anzahl der Festplatten. Nettodatenkapazität: Anzahl HDDs x Größe einer HDD, bei Nutzung von ZFS beliebig erweiterbar
RAID1 - Mirror, erhöht die Datenverfügbarkeit. Steigt eine HDD aus, liegen die Daten auf min. einer weiteren. Nettodatenkapazität: 50% der Gesamtkapazität, bei Nutzung von ZFS beliebig erweiterbar
RAID5 - Parität, eine HDD im Verbund kann ausfallen, nach ersetzen und einem Resilvering stehen die Daten wieder zur Verfügung. Nettodatenkapazität: Anzahl HDDs x Größe einer HDD - Größe einer HDD
RAID6 - siehe RAID5, hier können bis zu 2 HDDs ausfallen. Nettodatenkapazität: Anzahl HDDs x Größe einer HDD - Summe der Größe zweier HDDs
RAIDZ1 - equivalent zu RAID5, aber mit diversen Vorteilen von ZFS
RAIDZ2 - siehe RAIDZ1, hier können bis zu 2 HDDs ausfallen.

Wer eine Vollverschlüsselung seiner Daten wünscht, sollte einen Blick auf ecryptfs werfen.
Jedem, der seinen NAS mit einer Linuxdistribution aufsetzt, lege ich ZFS als Dateisystem ans Herz. Die Vorteile sprechen für sich. Selbstreparatur von beschädigten Blöcken, sehr ausgefeiltes Cache Management, Copy on Write Semantik, RAID Funktionalitäten, Kompression uvm.

Vorschläge für die Hardware

Exemplarisch habe ich mal zwei Zusammenstellungen kreiiert.
Die erste mit AMD APU mit Sockel AM1 ist extrem günstig und für die meisten Anwender ausreichend. Beim Transcoding könnte es mit mehreren Clients allerdings zum Ruckeln der Videostreams kommen.
Wer Geschwindigkeit, Ausbaufähigkeit und Performance möchte, sollte einen Blick auf die zweite Konfiguration werfen. Besonders hervorheben möchte ich hier außerdem die Nutzung von ECC Speicher, welche ich für ZFS ausdrücklich empfehle. Natürlich ist das nur sinnvoll, wenn Mainboard und CPU den ECC Speicher unterstützen.
Selbstverständlich kann man auch immer zu Intel greifen, da weiß ich aber nicht, was zu empfehlen ist.
Je nach Anzahl der HDDs wird die Verwendung zusätzlicher SATA Controllerkarten nötig sein. Im billig Segment kann ich die Digitus DS-30104-1 empfehlen. (4 SATA Ports, 2 Lanes PCIe 2.0)
Dürfen es ein paar Ports mehr sein? Dann greift zu der IBM m1015. (2 SAS Ports bzw. 8 SATA Ports, 8 Lanes, PCIe 2.0)
Zur Wahl der Festplatten gilt, als die ersten HDDs mit NAS Label eingeführt wurden, gab es zwischen den Desktop und den NAS Modellen tatsächlich keine Unterschiede. noigel2 hat mich aber darauf hingewiesen, dass dies nun nicht mehr der Fall ist. Für weiterführende Informationen empfehle ich den storagereview Artikel in der Linksammlung. Generell kann aber gesagt werden, wer seinen NAS nicht rund um die Uhr, also 24x7, laufen lässt, der kann auch zu den Desktop Modellen greifen. Bedenkt immer, wenn ihr eure Platten ohnehin aus Gründen des Speichermangels alle 2-3 Jahre durch größere ersetzen müsst, welchen Sinn hätte es dann, eine NAS oder gar Enterprise HDD zu kaufen?
Ich empfehle hierzu auch die Ausfallstatistik von Backblaze. Die Betreiben große Server die quasi ständig unter Last laufen. Deren Favorit in punkto Preis-Leistung ist die Seagate 4TB ST4000DM000. Der zweite die Western Digital 3TB Red (WD30EFRX).


Zusammenstellung 1
Zusammenstellung 2



Software

Als OS kann im Prinzip jeder Nutzen, was er will. Ich persönlich, habe mich für Ubuntu Server entschieden. Ich bereue diese Entscheidung nicht. Es läuft seit gut anderthalbjahren, alles stabil und schnell.
ZFS ist in den offiziellen Paketquellen nicht enthalten, kann aber über PPAs installiert werden.
Als DLNA Server nutze ich MiniDLNA alias Readymedia. Sehr stabil, allerdings unterstützt MiniDLNA kein Transcoding, wer das will sollte einen Blick auf Mediatomb, Universal Media Server oder Plex werfen. Letzteres ist eine kommerzielle Lösung.
Zum Speicherbedarf von ZFS gibt es zu sagen, ja, ZFS ist sehr speicherhungrig. Im Prinzip nutzt ZFS ALLES was an RAM zur Verfügung steht, bis er voll ist. Deshalb solltet ihr unbedingt die Option zfs_arc_max nutzen, um die Größe des ARC (Adaptive Replacement Cache) zu limitieren. Beachtet auch die umfangreichen Optionen, die ZFS beim erstellen von Pools und Datasets bietet. Ich empfehle die Dateikompression lz4 für jeden Pool zu nutzen. Die CPU Belastung ist minimal, aber gerade beim Speichern von Raw Imagedateien profitiert man gewaltig davon.
Möchtet ihr ein Dataset erstellen, auf das z.B. per Samba auch von Windows aus zugegriffen wird, dann nutzt beim erstellen die Option casesensitivity=mixed.

Nennenswerte Alternativen zu Ubuntu wären:

FreeNAS
NAS4Free
OpenMediaVault

Der Vorteil an den genannten Betriebssystemen ist wohl, dass sie Standardmäßig über ein Webinterface verfügen, über welches man fast alles konfigurieren kann. FreeNAS und NAS4Free basieren auf FreeBSD und unterstützen ebenso ZFS wie das auf Debian basierende OpenMediaVault.



Laufende Kosten

Schlussendlich ist es soweit, ihr habt euren NAS euren Wünschen und eurem Budget entspreched zusammengestellt.
Nun bekommt ihr nach einem Jahr die erste Stromrechnung und mit ihr fast einen Herzinfarkt.
Tatsache ist, Computer haben keine Effizienz. Alles was unsere Halbleiterkomponenten an Leistung aufnehmen wird in Form von Wärme wieder abgegeben. P_aufnahme (elektrisch) = P_abgabe (thermisch)
Solltet ihr euch also im Winter noch darüber gefreut haben, dass ihr die Heizung kaum aufdrehen musstet, so wird euch eure Stromrechnung verraten, warum dem so war.

Vergesst also im Vorfeld nicht, auch diesen Aspekt zu berücksichtigen. Hier mal eine einfache Rechnung zur ersten Zusammenstellung mit Sockel AM1 CPU:

Zunächst wird erstmal berechnet, was die Komponenten unter Volllast an Leistung benötigen:

(Board+CPU+RAM)+(2x HDD)+Lüfter = 35W + 30W +10W = 75W
Gesamtleistungsaufnahme, unter Berücksichtigung der 19% Verluste des NTs, entspricht ~93W.

Kosten bei 0,33€/kWh:

24x7
Volllast Stromkosten ~0,74€/Tag bzw. ~269€/Jahr.


24x7 mit 8h Volllast und 16h Idle, unter Annahme von:
CPU+RAM+Board+(2x HDD)+Lüfter = 23W + 20W + 10W = 53W (+19% Verluste ~66W)
Kosten etwa 0,60€/Tag bzw. 217,-€ p.a..



So könnte eine Zusammenstellung mit Sockel AM1 umgesetzt aussehen:



AsRock AM1B-ITX
AMD Athlon 5350 @2,05Ghz
8GB RAM
2x Seagate ST4000LM016
1x Crucial M4 128GB mSATA
als OS dient OpenMediaVault
Gehäuse: Chieftec IX-01B (gerademal 197mm x 220mm x 67mm [BxTxH])




Ich hoffe, ich konnte erstmal die meisten grundlegenden Fragen klären. Solltet ihr weitere haben, dann fragt einfach in diesem Thread, ich werde dann den Leitfaden ergänzen.



Hilfreiche links:

Aaron Topince' Blog zum Thema ZFS
Achieving 450 MB/s network file transfers using Linux Bonding
Logical Volume Manager
ReadyMedia alias MiniDLNA
Computerbase Athlon 5350 Review
Zum Thema Desktop oder NAS HDD
Das ubuntuusers.de Wiki, das Repositorium für alle Ubuntu Neulinge
Das Thomas-Krenn Wiki, sehr hilfreich, vorallem bei Netzwerkproblemen
Hier erfahrt ihr wirklich alles über ZFS, die ZFS Doku von Oracle
Backblaze HDD Ausfallstatistiken

Für Leute, die in ihrem Haus keinen einzigen Desktop PC mehr haben möchten, aber dennoch die ganze Familie "versorgen" wollen, siehe hier.

AW: Das NAS Eigenbau-Tutorial

Es ist ja so, wie ich bereits im ersten Beitrag erwähnte, dass sich von vornherein jeder selbst die Frage stellen muss, wofür er den NAS brauch. Klar will jeder die eierlegende Wollmilchsau, aber nicht jeder braucht sie. Darüber muss man sich einfach im klaren sein.
Wie Eingangs erwähnt, begrüße ich berechtigte Kritik. Deine Stromkostenrechnung ist allerdings, wie soll ich sagen, etwas stark aufgerundet^^
Du berücksichtigst nicht, dass das Netzteil zwar 300W Ausgangsleistung liefern kann, aber das niemals der Fall sein wird, außer man knallt die Kiste mit zig HDDs zu. Meine derzeitige Zusammenstellung ist ähnlich der zweiten, mit 10 Seagate ST4000, ner Intel NC364T, einer IBM m1015, einem Opteron 3350 HE und ner Radeon R5 230. Wenn die Pools mal exzessiv ausgelastet sind, liegt die Leistungsaufnahme des gesamten Systems bei etwa 220W. Im Leerlauf sind es 140W.
Die 50W, die du für die erste Zusammenstellung veranschlagt hast, sind tatsächlich nur Träumen entsprungen^^
Ich möchte dabei mal auf folgenden Computerbase Artikel verweisen. Dort benötigt das gesamte System, inkl. SSD keine 40W unter Last.
Ich selbst kann bestätigen, dass AM1 sehr sparsam ist, ich hab nen Desktop damit ausgestattet, die Werte sind realistisch. Für die Lüfter 10W zu veranschlagen, halte ich auch für ziemlich fett. Aber das hängt von den verwendeten Lüftern ab. Eine HDD zieht beim Anlaufen ca. 2-3A, abhängig davon, wie schnell der Spindelmotor beschleunigt. Aber im Leerlauf 20W zu veranschlagen is schon etwas übertrieben. Ich denke, aufgerundet, kann man für ne HDD im Leerlauf 10W veranschlagen und unter Last 15W.
Das wären dann (Board+CPU+RAM)+(2x HDD)+Lüfter = 35W + 30W +10W = 75W bei Volllast. Rechnet man dann die Gesamtleistungsaufnahme, unter Berücksichtigung der 19% Verluste des NTs ein, so kommen wir auf ca. 93W.
Bei einem Strompreis von 0,33€/kWh hätten wir so unter Volllast Stromkosten von ~0,74€/Tag bzw. ~269€/Jahr. Dabei würde die Kiste nur 24x7 unter Last laufen.
Bei 24x7 mit 8h Volllast und 16h Idle wären wir dann, unter Annahme von: CPU+RAM+Board+(2x HDD)+Lüfter = 23W + 20W + 10W = 53W (+19% Verluste ~66W)
bei etwa 0,60€/Tag bzw. 217,-€ p.a..

Ok, was das mit den HDDs angeht, da habe ich gerade folgenden Artikel gelesen. Sehr bedauerlich diese Entwicklung, das war früher anders.
Da bin ich schon schwer enttäuscht von Seagate, sicherlich ein Resultat mangelnder Konkurrenz, es gibt ja nur noch WD und Seagate.
Unnötigerweise ein Schrottsegment einzuführen, was für ein Unfug. Das werde ich dann gleich mal im Tut korrigieren.

Ja was die Sache mit den OS Einstellungen angeht, hast du recht. Das hab ich weggelassen, da ich zwar Linux empfehle, aber nicht davon ausgegangen bin, dass es auch jeder für den NAS nutzen wird. HDD Sleep abzuschalten würde ich generell jedem empfehlen.
Wenn du dazu was ausführliches schreiben möchtest, sehr gern, das würde ich dann oben hinzufügen. Obwohl mir etwas unklar ist, warum du am Journaling etwas ändern würdest. Das Jounral wird doch nur nur zum Schreiben geöffnet, wenn eine Datei geschrieben wird.

Jeglicher Support in diesem oder einem Parallel- (Support-)Thread im Hardware Unterforum wäre ok. Das würde ich unterstützen, so wie ich kann.

AW: Das NAS Eigenbau-Tutorial

Die Graka war nötig, da mein Board, wie die meisten anderen auch, ohne nicht bootet. Wenn sich ein ordentliches Board mit integrierter Grafik finden würde, könnte man sich da einen Slot frei machen. Aber ich bin eigentlich soweit gut ausgerüstet, einen Slot hätte ich ja noch, wenn ich doch noch 6 HDDs nachrüsten möchte und noch ne m1015 brauche :D

AW: Das NAS Eigenbau-Tutorial

rmax67 schrieb:

Villeicht hättest du noch Diverse alternativen zu Ubuntu Server erwähnen sollen. Nicht jeder der einen PC Zusammenschrauben kann, wenn auch als NAS, kann sofort mit Ubuntu Server im CLI Modus ZFS installieren und einen Samba und UPNP Medienserver mit Mediathomb aufsetzen. Es sei denn du erklärst den Usern hier im Detail wie sie ein solches System aufsetzen.

Zum Vergrößern anklicken....

Das habe ich bewusst nicht getan, da es zu diesen Themen genügend Anleitungen im Netz gibt, nicht zuletzt das ubuntuusers.de Wiki, die Bibel für jeden Ubuntu Neuling.


Deine Empfehlungen habe ich dem ersten Beitrag hinzugefügt.

AW: Das NAS Eigenbau-Tutorial

Unterstützen deine NICs Jumboframes? Wenn ja, dann solltest du die Paketgröße so groß wie möglich einstellen, je nachdem, was deine NICs unterstützen.
Über LACP könntest du auch nachdenken, wenn du mehr Geschwindigkeit möchtest. Zwar nutzt Samba zur Übertragung einer Datei nur eine TCP Verbindung, aber wenn du mehrere Schreib/Lese Zugriffe auf eine Freigabe hast, werden die Verbindungen auf mehrere NICs verteilt.

AW: Das NAS Eigenbau-Tutorial

Das muss ja nicht heißen, dass man die Leute nicht ein wenig fordern kann^^
Außerdem kann das auch für Anfänger hilfreich sein, wenn sie nach einer Lösung suchen, Netzwerktransfers zu beschleunigen, so wie ich vor zwei Jahren, bis ich dann auf das Thema NIC Bonding kam.

AW: Das NAS Eigenbau-Tutorial

Mit dem noch nicht implementierten Multichannel feature hat das nichts zu tun.
SMB2 startet für den Transfer einer Datei auch nur eine TCP Session, ergo müsste man beim Transfer mehrerer Dateien eine höhere Transferrate erzielen, da bei 802.3ad die TCP Sessions auf die Verfügbaren NICs verteilt werden. Getestet hab ich das allerdings noch nie, da ich round-robin für die Verbindung zwischen meinem NAS und dem Desktop PC benutze. Mit round-robin ist es möglich, auch einzelne TCP Sessions zu beschleunigen. Bedauerlicherweise kann ich trotz 4 NICs bei Samba nicht mehr als 200MiB/s rausholen. Mit NFS aber kann man durchaus 400MiB/s erreichen (bei meiner Konfig.).
Da du aber ohnehin schon 10GBit/s Ethernet nutzt, ist das für dich wohl unerheblich.

AW: Das NAS Eigenbau-Tutorial

Also prinzipiell bin ich für die Wiederverwertung von alt-Teilen :-)
Ob ich mir, angesichts der Auswahl und Preise aktueller Gehäuse, allerdings die Mühe machen würde, selbst eines zu bauen, denke ich nicht, aber das kann ja jeder für sich entscheiden.
Die vorgeschlagenen Systeme waren eher für Leute, die keine Teile für nen Zweitrechner daheim rumliegen haben, solche Leute soll's geben, und somit sowieso neu/gebraucht kaufen müssten.
Prinzipbedingt geht es immer billiger, und teurer sowieso, wie man hier sehen kann:

https://www.pugetsystems.com/labs/articles/Multi-headed-VMWare-Gaming-Setup-564/