Forum - improve disk performance

Forum / Linux / improve disk performance

Autor	Wiadomość
nospam@gmail.com	Posted: 5 Lut 2010 21:22:30 Wiam Mam pytanie takie czy jest mozliwość poprzez wykorzystanie wiekszej ilosc ram jako disk cache , lub zmiany na inny system plikow xfs, risefs, btrfs ,ext4 ,moze jakis cachefs,vfs etc moze jest mozliwosc zestawienia tmpfs i lokalnego dysku po to aby zwikszyc wydjanosc ?Tzn interesuje mnie uzyskanie na lokalnym systemie zapis ciagly ok 400 lub wiecej Mb/s,Obecnie w systemie dysk SCSI wyciagaja ok 120Mb/s (zapis ciagly).Zakdaladam niewielki % utylizacji fs,. Co o tym sadzicie,proponujecie,opinie?Dziekuje sk
Krzysztof Halasa	Posted: 6 Lut 2010 16:06:33 Mam pytanie takie czy jest mozliwoĹÄ poprzez wykorzystanie wiekszej ilosc ram jako disk cache , lub zmiany na inny system plikow xfs, risefs, btrfs ,ext4 ,moze jakis cachefs,vfs etc moze jest mozliwosc zestawienia tmpfs i lokalnego dysku po to aby zwikszyc wydjanosc ?Tzn interesuje mnie uzyskanie na lokalnym systemie zapis ciagly ok 400 lub wiecej Mb/s,Obecnie w systemie dysk SCSI wyciagaja ok 120Mb/s (zapis ciagly).Zakdaladam niewielki % utylizacji fs,. Przy zapisie ciaglym cache nic nie da. Zakladam ze chodzi o MBajty/s, nie o Mbity/s. 400 MB/s przy liniowym zapisie jest do uzyskania bez problemu z RAID-5 albo np. RAID-10 (a jesli dane nie sa specjalnie wazne, to moze byc nawet RAID-0). Trzeba pamietac o narzutach zwiazanych z systemem plikow, ale przy dlugich plikach to jest zwykle maly problem (o ile nie robimy journalingu samych danych).
	Posted: 6 Lut 2010 21:19:19 Krzysku tak interesuje mnie transer w okolicach 400Mbajty/s lub wiecej,W moim testcase moge sprobowac w raid0, wykonany na software raid, bo jakos nie szczegolnie zalezy mi na bezpieczenstwie.Generalnie interesuje mnie uzyskanie jak najwiekszego transferu majac do dyspozycji RAM i 6 dyskow SCSI, Jakie inne czynnosci moge wykonac w systemie (zakladam ze juz raid0 mam), systemie plikow, tunning jakich parametrow, aby podkrecic osiagi?Dziekuje za informacje sk Mam pytanie takie czy jest mozliwość poprzez wykorzystanie wiekszej ilosc ram jako disk cache , lub zmiany na inny s ystem plikow xfs, risefs, btrfs ,ext4 ,moze jakis cachefs,vfs etc moze jest mozliwosc zestawienia tmpfs i lokalnego dysku po to aby zwikszyc wydjanosc ?Tzn interesuje mnie uzyskanie na lokalnym systemie zapis ciagly ok 400 lub wiecej Mb/s,Obecnie w systemie dysk SCSI wyciagaja ok 120Mb/s (zapis ciagly).Zakdaladam niewielki % utylizacji fs,. Przy zapisie ciaglym cache nic nie da. Zakladam ze chodzi o MBajty/s, nie o Mbity/s. 400 MB/s przy liniowym zapisie jest do uzyskania bez problemu z RAID-5 albo np. RAID-10 (a jesli dane nie sa specjalnie wazne, to moze byc nawet RAID-0). Trzeba pamietac o narzutach zwiazanych z systemem plikow, ale przy dlugich plikach to jest zwykle maly problem (o ile nie robimy journalingu samych danych). -- Krzysztof Halasa
Michoo	Posted: 6 Lut 2010 21:25:24 na serwerze mam do dyspozycji 6 dyskow ultra3 SCSI i 4 GB RAM dla tego celu Ok, uznałem, że skoro piszesz Mb/s to masz na myśli Mb/s. Imo zrób RAID 0 i zobacz co wyjdzie. Cache ma znaczenie głównie przy zmniejszaniu czasu zapisu pojedynczych plików, nie zwiększa przepustowości a jak rozumiem to chcesz optymalizować (zwłaszcza, że 4GB ramu przy transferze 400MB/s to tylko 10 sec). Jeżeli nie masz kiepskiego kontrolera to raid da spore przyspieszenie.
Krzysztof Halasa	Posted: 6 Lut 2010 23:07:46 tak interesuje mnie transer w okolicach 400Mbajty/s lub wiecej,W moim testcase moge sprobowac w raid0, wykonany na software raid, bo jakos nie szczegolnie zalezy mi na bezpieczenstwie.Generalnie interesuje mnie uzyskanie jak najwiekszego transferu majac do dyspozycji RAM i 6 dyskow SCSI, Jakie inne czynnosci moge wykonac w systemie (zakladam ze juz raid0 mam), systemie plikow, tunning jakich parametrow, aby podkrecic osiagi?Dziekuje za informacje Realne mozliwosci: 4-kanalowy (dwa 2-kanalowe) host adaptery U160, zapewne PCI-X 133/66, powinno dac sie tyle uzyskac. Lepiej byloby miec 6 kanalow - ostre rzezbienie. 2-kanalowy HBA U320, po 3 dyski (musza byc U320) na kanale, raczej bez problemu. Ew. jesli nie masz jeszcze tych dyskow i kart, to moze SAS - mniej problemow z kablami itd, i taniej (pomijajac uzywane). Zwlaszcza z PCIe (x4) zamiast PCI-X. Ew. SATA - sa troche wolniejsze (w MB/s, ale IOPS sa tu mniej istotne), wszystko jest duzo tansze, zwlaszcza jesli to ma byc sprzet "desktopowy", typowo z duza iloscia zlacz SATA itd.
	Posted: 8 Lut 2010 21:27:13 po zmianach i konfiguracji na raid0 max co osiagnolem to 250Mb/sec pojedynczy dysk (hdparm) wyciaga ok 70Mb/sec.Wyglada mi to jakby na jednym kanale siedzialy wszystkie dyski tak interesuje mnie transer w okolicach 400Mbajty/s lub wiecej,W moim testcase moge sprobowac w raid0, wykonany na software raid, bo jakos nie szczegolnie zalezy mi na bezpieczenstwie.Generalnie interesuje mnie uzyskanie jak najwiekszego transferu majac do dyspozycji RAM i 6 dyskow SCSI, Jakie inne czynnosci moge wykonac w systemie (zakladam ze juz raid0 mam), systemie plikow, tunning jakich parametrow, aby podkrecic osiagi?Dziekuje za informacje Realne mozliwosci: 4-kanalowy (dwa 2-kanalowe) host adaptery U160, zapewne PCI-X 133/66, powinno dac sie tyle uzyskac. Lepiej byloby miec 6 kanalow - ostre rzezbienie. 2-kanalowy HBA U320, po 3 dyski (musza byc U320) na kanale, raczej bez problemu. Ew. jesli nie masz jeszcze tych dyskow i kart, to moze SAS - mniej problemow z kablami itd, i taniej (pomijajac uzywane). Zwlaszcza z PCIe (x4) zamiast PCI-X. Ew. SATA - sa troche wolniejsze (w MB/s, ale IOPS sa tu mniej istotne), wszystko jest duzo tansze, zwlaszcza jesli to ma byc sprzet "desktopowy", typowo z duza iloscia zlacz SATA itd. -- Krzysztof Halasa
Krzysztof Halasa	Posted: 8 Lut 2010 23:55:05 po zmianach i konfiguracji na raid0 max co osiagnolem to 250Mb/sec pojedynczy dysk (hdparm) wyciaga ok 70Mb/sec.Wyglada mi to jakby na jednym kanale siedzialy wszystkie dyski "cat /proc/scsi/scsi" a moze lepiej "dmesg" to bedzie wiedziec. Ale uzyskanie duzej przepustowosci wymaga niestety troche nakladow. Zastanowilbym sie nad tym SATA - pojedynczy dysk 300 zl (czy ile tam i jaki), kreca sie ok. 2x wolniej, pozycjonowanie glowic takze wolniejsze, ale dane mocniej upakowane i do liniowych transferow wcale nie sa takie zle. Interfejsy SATA na plycie zwykle sa wlasciwie podlaczone, nie ma tam takich waskich gardel.


° Forum ° Odpowiedz ° Rejestracja ° Szukaj °