Raidrapport

Linux relatert forum

Moderator: jgilje

Raidrapport

Postby Hansi on 04 May 2007, 11:25

Hei!

Virke som om der e en del interesse for Raid, så eg tenkte eg sko oppdatera "my findings" :-)

Oppsettet e 7x80GB-diskar, 3xWB80JB, 2xWD80BB, 1xSeagate 7200.7 og ein Hitachi. Alle 7 står i software Raid 5, Hitachidisken e litt større enn de andre, så eg har satt opp /boot og swap som seperate partisjoner på den, ellers e alle i samme raid, boote og fra RAID pr i øyeblikket.

Maskinen kjøre Vidalinux i øyeblikket, ein Gentoobasert distro som foreløpig ser fin ut, men eg har nettopp begynt å testa, dog har eg kjørt vanlig Gentoo i flerne år.

Har ikkje satt opp någen spares, så når eg fjerna strømmen på den eine disken i går så hang heile driden ;-) Men når eg reboota igjen med disken på plass så va alt normalt igjen.
MacPro 2.8 8-core,17" MBP 2.33,G5/1.6,4x G4,iPod 160GB
HP Mini 5101
HP71B/200LX/42S/48SX/48GX/49G/49G+
Nokia N900,Treo 650,iPhone 3GS,Nokia E90
Garmin 76S/76C/iQue3600
Nikon D300,SB-900/800/R1C1,S150-500f5-6.3,N17-55f2.8,N70-200VRf2.8,N105VRf2.8N50
Hansi
Nørd Zalo Ultra
Nørd Zalo Ultra
 
Posts: 728
Joined: 04 May 2006, 22:58
Location: MacPro.local

Postby Dinosys on 04 May 2007, 11:32

Va dår någe merkbar forskjell i ytelse?
----------------------
Surfing a Google Wave
User avatar
Dinosys
Lampeånd
Lampeånd
 
Posts: 56
Joined: 06 Jun 2006, 14:56
Location: Stavanger

Re: Raidrapport

Postby jgilje on 04 May 2007, 15:37

Hansi wrote:Har ikkje satt opp någen spares, så når eg fjerna strømmen på den eine disken i går så hang heile driden ;-) Men når eg reboota igjen med disken på plass så va alt normalt igjen.

Jeg er 99.9% sikker på at det er fordi du ikke har kontrollerkort som er laget for hotplugging.
Skryteliste: Sun SPARCstation 4: 110MHz microSPARC, 160MB RAM, 18GB HDD
User avatar
jgilje
Keiser nørd
Keiser nørd
 
Posts: 411
Joined: 30 Apr 2006, 01:43
Location: Vardeneset

Postby Hansi on 04 May 2007, 15:52

Dinosys wrote:Va dår någe merkbar forskjell i ytelse?


Ytelse? Ka d e? ;-)

Vanskeligt å sei når eg ikkje har testa det med single disk... Mulig at eg komme t å testa det seinare... Maskinen det står på blei donert av ein kompis, så eg har kje brukt an t någe aent enn raid så langt. Årsaken t at eg valgte raid på an e ikkje fysst og fremst pga ytelsen, heller ikkje redundancy, men at eg e lat :-) Eg vil heller forholda meg t ett dir på ~450GB enn 7 stykk på 80GB :-D E der forresten andre måtar å få t det på? Med LVM så må vel ting slås sammen der og på ein eller aen måte? Eller kan et LV gå over flerne diskar sånn at eg i prinsippet ikkje egentlig trenge setta de i raid?
MacPro 2.8 8-core,17" MBP 2.33,G5/1.6,4x G4,iPod 160GB
HP Mini 5101
HP71B/200LX/42S/48SX/48GX/49G/49G+
Nokia N900,Treo 650,iPhone 3GS,Nokia E90
Garmin 76S/76C/iQue3600
Nikon D300,SB-900/800/R1C1,S150-500f5-6.3,N17-55f2.8,N70-200VRf2.8,N105VRf2.8N50
Hansi
Nørd Zalo Ultra
Nørd Zalo Ultra
 
Posts: 728
Joined: 04 May 2006, 22:58
Location: MacPro.local

Re: Raidrapport

Postby Hansi on 04 May 2007, 15:55

jgilje wrote:
Hansi wrote:Har ikkje satt opp någen spares, så når eg fjerna strømmen på den eine disken i går så hang heile driden ;-) Men når eg reboota igjen med disken på plass så va alt normalt igjen.

Jeg er 99.9% sikker på at det er fordi du ikke har kontrollerkort som er laget for hotplugging.

Slett ikkje umulig at d e derfor. Kontrollerkortet e jaffal garantert ikkje lagt for hotswap. Det e et heilt vanlig ATA100-kontrollerkort fra Promise i tillegg t den originale kontrolleren på hovedkortet (e i farten ikkje sikker på om den e ATA66 eller 100...tror an e 100 den og)
MacPro 2.8 8-core,17" MBP 2.33,G5/1.6,4x G4,iPod 160GB
HP Mini 5101
HP71B/200LX/42S/48SX/48GX/49G/49G+
Nokia N900,Treo 650,iPhone 3GS,Nokia E90
Garmin 76S/76C/iQue3600
Nikon D300,SB-900/800/R1C1,S150-500f5-6.3,N17-55f2.8,N70-200VRf2.8,N105VRf2.8N50
Hansi
Nørd Zalo Ultra
Nørd Zalo Ultra
 
Posts: 728
Joined: 04 May 2006, 22:58
Location: MacPro.local

Postby jgilje on 04 May 2007, 17:18

Hansi wrote:Vanskeligt å sei når eg ikkje har testa det med single disk... Mulig at eg komme t å testa det seinare...

for skriving (ta denne først)
Code: Select all
dd if=/dev/zero of=/dumpfil bs=1M count=16384


og deretter lesing
Code: Select all
dd if=/dumpfil of=/dev/null bs=1M count=16384


En 16GB skrive- og lese-test. Den gir en god nok indikasjon på ytelsen. Det tar ikke mange minuttene. Og post resultatene ASAP! :) GNU dd gir deg infoen du er på jakt etter når den er kjørt ferdig.
Skryteliste: Sun SPARCstation 4: 110MHz microSPARC, 160MB RAM, 18GB HDD
User avatar
jgilje
Keiser nørd
Keiser nørd
 
Posts: 411
Joined: 30 Apr 2006, 01:43
Location: Vardeneset

Postby jgilje on 04 May 2007, 17:23

Hansi wrote:E der forresten andre måtar å få t det på? Med LVM så må vel ting slås sammen der og på ein eller aen måte? Eller kan et LV gå over flerne diskar sånn at eg i prinsippet ikkje egentlig trenge setta de i raid?

Du kunne kjørt LVM-et direkte oppå diskene dine. Og samtidig mista alt når en disk tar kvelden. Det skal også være mulig å kjøre mirroring rett fra LVM-stacken. Og helt sikkert prøver den å gjøre mest mulig striping når du skriver data over en haug fysiske volum.
Skryteliste: Sun SPARCstation 4: 110MHz microSPARC, 160MB RAM, 18GB HDD
User avatar
jgilje
Keiser nørd
Keiser nørd
 
Posts: 411
Joined: 30 Apr 2006, 01:43
Location: Vardeneset

Postby Hansi on 04 May 2007, 17:33

[quote="jgilje"En 16GB skrive- og lese-test. Den gir en god nok indikasjon på ytelsen. Det tar ikke mange minuttene. Og post resultatene ASAP! :) GNU dd gir deg infoen du er på jakt etter når den er kjørt ferdig.[/quote]

Kan disse kjøras når maskinen har boota fra et aktivt array? Eller...den teste vel ytelsen t arrayet egentlig? Kan eg kjøra test på enkeltdiskar som vanligvis e del av array uten å måtte formattere disken? Må vel uanz boota fra CD/DVD då men... Tror jaffal eg har komt fram t at eg ikkje gidde å boota fra arrayet når eg sette den maskinen opp "forrektigt"

Eg sitte på jobb nå, jobbe t 2100, men eg ska testa og posta når eg komme meg himøve ;-)
MacPro 2.8 8-core,17" MBP 2.33,G5/1.6,4x G4,iPod 160GB
HP Mini 5101
HP71B/200LX/42S/48SX/48GX/49G/49G+
Nokia N900,Treo 650,iPhone 3GS,Nokia E90
Garmin 76S/76C/iQue3600
Nikon D300,SB-900/800/R1C1,S150-500f5-6.3,N17-55f2.8,N70-200VRf2.8,N105VRf2.8N50
Hansi
Nørd Zalo Ultra
Nørd Zalo Ultra
 
Posts: 728
Joined: 04 May 2006, 22:58
Location: MacPro.local

Postby jgilje on 04 May 2007, 17:41

Hansi wrote:Kan disse kjøras når maskinen har boota fra et aktivt array? Eller...den teste vel ytelsen t arrayet egentlig? Kan eg kjøra test på enkeltdiskar som vanligvis e del av array uten å måtte formattere disken?

Ja, jeg setter jo 'of=/dumpfil' på skrivetesten. Den lager da en fil som heter dumpfil rett i root-katalogen. Deretter leser jeg /dumpfil fra disk og sender til /dev/null. Så du skriver en fil til filsystemet. Det er noe av grunnen jeg sier den er 'god nok', den er ikke perfekt. Men de fleste av oss kjører jo faktisk et filsystem (så jeg synes det blir mer relevant). Største svakhet er at du bare tester kontinuerlig lese- og skrive-hastighet, som jo bare er en av flere arbeidsoppgaver den vil ha.

Du kan kjøre lesetester direkte fra disk uten å risikere noe. _TEKNISK_ sett, så kan du jo først lese ut en blokk fra disk, deretter kjøre skrivetest, og til slutt skrive tilbake den blokken du henta ut hvis du absolutt skal kjøre skrivetest direkte til disk samtidig som det er verdifull data på den. Pass uansett på at det ikke er filsystem, LVM er nede og også at MD-enheten er slått av. Sånn for sikkerhetsskyld.
Skryteliste: Sun SPARCstation 4: 110MHz microSPARC, 160MB RAM, 18GB HDD
User avatar
jgilje
Keiser nørd
Keiser nørd
 
Posts: 411
Joined: 30 Apr 2006, 01:43
Location: Vardeneset

Postby Hansi on 04 May 2007, 22:03

Hmmm...det der va begredelige resultater...

Read: 33.6 MB/s
Write: 36.5 MB/s

Om ikkje aent burde det jo vore omvendt...De diskane der burde jo vært bortimot de verdiane som singlediskar...e d PCI-bussen som strupe ting her eller?
MacPro 2.8 8-core,17" MBP 2.33,G5/1.6,4x G4,iPod 160GB
HP Mini 5101
HP71B/200LX/42S/48SX/48GX/49G/49G+
Nokia N900,Treo 650,iPhone 3GS,Nokia E90
Garmin 76S/76C/iQue3600
Nikon D300,SB-900/800/R1C1,S150-500f5-6.3,N17-55f2.8,N70-200VRf2.8,N105VRf2.8N50
Hansi
Nørd Zalo Ultra
Nørd Zalo Ultra
 
Posts: 728
Joined: 04 May 2006, 22:58
Location: MacPro.local

Postby jgilje on 04 May 2007, 22:08

Hansi wrote:De diskane der burde jo vært bortimot de verdiane som singlediskar...e d PCI-bussen som strupe ting her eller?

Du kan jo prøve å kjøre lesetest direkte fra noen av enkeltdiskene
Code: Select all
dd if=/dev/hdd of=/dev/null bs=1M count=16384

32-bits 33MHz PCI-bus gir deg teoretisk maks på 132MB/s. Gjentar bare at det er teoretisk maks, men kan jo ikke unngå at du omtrent pusher en kvart av denne båndbredden.

Du skulle fått opp noe simpelt måleverktøy som gkrellm og sjekk hvordan CPU-lasten fordeler seg (få forholdet mellom user-CPU og kernel-CPU). Og ta et cirkamål på lasten per disk i raidet.
Skryteliste: Sun SPARCstation 4: 110MHz microSPARC, 160MB RAM, 18GB HDD
User avatar
jgilje
Keiser nørd
Keiser nørd
 
Posts: 411
Joined: 30 Apr 2006, 01:43
Location: Vardeneset

Postby Hansi on 04 May 2007, 22:15

Vet ikke hvor mye jeg gidder måle ennå, siden jeg uansett skal over til singledisk root...satser på å ha reinstallert den i løpet av helga, så får vi se da...I'll keep you posted ;-)
MacPro 2.8 8-core,17" MBP 2.33,G5/1.6,4x G4,iPod 160GB
HP Mini 5101
HP71B/200LX/42S/48SX/48GX/49G/49G+
Nokia N900,Treo 650,iPhone 3GS,Nokia E90
Garmin 76S/76C/iQue3600
Nikon D300,SB-900/800/R1C1,S150-500f5-6.3,N17-55f2.8,N70-200VRf2.8,N105VRf2.8N50
Hansi
Nørd Zalo Ultra
Nørd Zalo Ultra
 
Posts: 728
Joined: 04 May 2006, 22:58
Location: MacPro.local

Postby Hansi on 05 May 2007, 11:42

For de som ikkje vett det...einaste forskjellen på de to WD-modellane e at BB har 2 MB cache og JB har 8 MB. JB-diskane står på ein Highpoint PCIkontroller, resten på hovedkortkontrolleren, hovedkortet e et MSI KT3 Ultra med ein AthlonXP 1900+og 2x256MB RAM.
Kor mye har kontrolleren å sei for hastigheten, någen som har någe formeining om det? Ka med om an står som primary/secondary og master/slave?

Leseresultater fra singledisktestar (16GB fil, mens de fortsatt e satt opp i raid):
WD80BB(SS): 28,6 MB/s
WD80JB(PM Highpoint): 48,5 MB/s
Seagate 7200.7(SM): 55,5 MB/s
IBM180GXP(PM): 55,5 MB/s

Nå begynne eg virkelig å lura på ka som skjer her... e der virkelig så stor forskjell på 2 og 8 MB cache...og på hovedkortkontrolleren og eksternkontroller?
MacPro 2.8 8-core,17" MBP 2.33,G5/1.6,4x G4,iPod 160GB
HP Mini 5101
HP71B/200LX/42S/48SX/48GX/49G/49G+
Nokia N900,Treo 650,iPhone 3GS,Nokia E90
Garmin 76S/76C/iQue3600
Nikon D300,SB-900/800/R1C1,S150-500f5-6.3,N17-55f2.8,N70-200VRf2.8,N105VRf2.8N50
Hansi
Nørd Zalo Ultra
Nørd Zalo Ultra
 
Posts: 728
Joined: 04 May 2006, 22:58
Location: MacPro.local

Postby palb on 05 May 2007, 14:49

Forsøkte dette på Ubuntu maskinen (Sempron 3600 (64bit)) med helt ny ! enkel 250Mb SATA2 disk. og fikk skuffende resultater:
Skrive 38,2Mb/s og
Lese: 60,5Mb/s
(Forsøkte en gang til uten at jeg gjorde noe annet samtidig og fikk 37,7Mb/s )

Skrivehastigheten er treigere enn eg får på ATA 100 disk i FW kabinett.

Kan problemet være at dette er 64 bit og drivere kanskje ikke er optimalisert? (Selv om det er 64 bit versjonen som er installert)
User avatar
palb
Nørd Zalo Ultra
Nørd Zalo Ultra
 
Posts: 772
Joined: 30 Apr 2006, 01:44
Location: Stavanger - Kampen

Postby Hansi on 05 May 2007, 15:27

Uten at jeg kjenner sån i detalj vil jeg tro det er sannsynlig...Det at disker er raskere på lesing enn skriving er hvertfall normalt, dog synes jeg det var noe stor forskjell der...men hva slags disk er det?
MacPro 2.8 8-core,17" MBP 2.33,G5/1.6,4x G4,iPod 160GB
HP Mini 5101
HP71B/200LX/42S/48SX/48GX/49G/49G+
Nokia N900,Treo 650,iPhone 3GS,Nokia E90
Garmin 76S/76C/iQue3600
Nikon D300,SB-900/800/R1C1,S150-500f5-6.3,N17-55f2.8,N70-200VRf2.8,N105VRf2.8N50
Hansi
Nørd Zalo Ultra
Nørd Zalo Ultra
 
Posts: 728
Joined: 04 May 2006, 22:58
Location: MacPro.local

Next

Return to Linux

Who is online

Users browsing this forum: No registered users and 1 guest

cron