Jak průběžně opravovat chybovost HDD?
Ahoj všem, mám obrovskou spoustu dat v obrázcích a filmech na dvou datových discích, které používám zároveň i k přehrávání těchto dat. Po čase se na filmech (avi, mkv, mp4) i obrázových souborech (jpg, RAW) začínají objevovat různé chyby, pixelizace, výpadky barev, různé pruhy a pod. Zatím je chyb málo, ale pomalu a náhodně přibývaj. Např. z 600 filmů jsem po půl roce na 12-ti našel pokažený místa. Stejně tak rostou chyby na obrázcích a raw souborech, kterých mám tisíce. Pokud budu data průběžně zálohovat na další disk, vzniklé chyby se budou kopírovat také.
Můj dotaz zní: pomůže mi v této věci RAID? RAID je schopný při kolizi disku "dopočítat" chybějící data z paritních informací. S již porušenými daty nic neudělám, to je mi jasný. Spíš mě zajímá, zda je RAID vhodný právě pro tuto nepatrnou, pozvolna narůstající chybovost HDD. Přemejšlel jsem nad NAS serverem, protože jsem někde četl, že má spoustu samoopravných utilit a často běží pod Linuxem. Je to správná cesta? Případně, zda existuje (i mimo RAID) nějaký soft, který by pravidelně analyzoval uložená data a tyto malé chyby nějak opravoval. Předpokládám, že každý HDD po čase chybuje, ale vůbec se v tom neorientuju. Můžete mě trochu nasměrovat, pls? Hledal jsem nejen v tomto foru, o RAID je tu dost příspěvků, ale tohle jsem nikde nenašel. Dík za váš čas.
Můj dotaz zní: pomůže mi v této věci RAID? RAID je schopný při kolizi disku "dopočítat" chybějící data z paritních informací. S již porušenými daty nic neudělám, to je mi jasný. Spíš mě zajímá, zda je RAID vhodný právě pro tuto nepatrnou, pozvolna narůstající chybovost HDD. Přemejšlel jsem nad NAS serverem, protože jsem někde četl, že má spoustu samoopravných utilit a často běží pod Linuxem. Je to správná cesta? Případně, zda existuje (i mimo RAID) nějaký soft, který by pravidelně analyzoval uložená data a tyto malé chyby nějak opravoval. Předpokládám, že každý HDD po čase chybuje, ale vůbec se v tom neorientuju. Můžete mě trochu nasměrovat, pls? Hledal jsem nejen v tomto foru, o RAID je tu dost příspěvků, ale tohle jsem nikde nenašel. Dík za váš čas.
[QUOTE=kareldc;560835]existuje (i mimo RAID) nějaký soft, který by pravidelně analyzoval uložená data a tyto malé chyby nějak opravoval[/QUOTE]
Musel by si mat este predtym (v case, ked su vsetky data korektne) ulozene checksumy+samoopravne bloky. SW sa vola QuickPAR (zalozeny na algoritme PAR 2), sice je trosku "outdated", ale na danu funkcionalitu postacuje. Zial nevie pracovat s pod-adresarmi, takze vytvaranie samoopravnych blokov z celeho adresara je komplikovane (mozno uz existuje nejaka nova alternativa (?), nezistoval som).
Co sa tyka ostatneho, skontroluj si SMART atributy, pozri pocet realokovanych sektorov. Toto co pises moze sposobit aj logicka chyba (tzv prekrizene sektory, objavoval sa hlavne na FAT32) a v tomto pripade RAID nepomoze. Pre dolezite archivne data (kde sa uz nezapisuje) je preto dobre robit si kontrolne checksumy. Tie samotne ta sice nezachrania, ale aspon vies, co ma porusenu integritu.
Musel by si mat este predtym (v case, ked su vsetky data korektne) ulozene checksumy+samoopravne bloky. SW sa vola QuickPAR (zalozeny na algoritme PAR 2), sice je trosku "outdated", ale na danu funkcionalitu postacuje. Zial nevie pracovat s pod-adresarmi, takze vytvaranie samoopravnych blokov z celeho adresara je komplikovane (mozno uz existuje nejaka nova alternativa (?), nezistoval som).
Co sa tyka ostatneho, skontroluj si SMART atributy, pozri pocet realokovanych sektorov. Toto co pises moze sposobit aj logicka chyba (tzv prekrizene sektory, objavoval sa hlavne na FAT32) a v tomto pripade RAID nepomoze. Pre dolezite archivne data (kde sa uz nezapisuje) je preto dobre robit si kontrolne checksumy. Tie samotne ta sice nezachrania, ale aspon vies, co ma porusenu integritu.
Děkuju za RE, hledal jsem ten QuickPAR:
http://www.quickpar.org.uk/index.htm
http://parchive.sourceforge.net/
Je to vážně Very Old a dostalo mě to až k vš-diplomce a na stránky, kde se rozebírá metoda samoopravných Reed-Solomonových kódů, což může být pro někoho zajímavé, ale já už to nepobírám :D
http://access.feld.cvut.cz/view.php?cisloclanku=2006080002
https://www.vutbr.cz/www_base/zav_prace_soubor_verejne.php?file_id=7800
To jsem trochu odbočil, ale v každém případě dík za nakopnutí.
Z5 k RAID: v podstatě jsem myslel, že by se poškozená data opravila díky informacím na paritním disku, což by vycházlo ze samotné podstaty RAID pole. Ale v oblasti RAID jsem lama, znám jen jeho základní princip, nic víc. Nevím, co obsahují paritní data a zda je možné dopočítat např. chybný paket. Předpokládám však, že ano.
Pokud např. hlavička disku ťukne o plotnu a fyzicky ji poruší, měl by systém RAID (resp. jeho obslužný SW) detekovat tuto kolizi a "dopočítat" data. Vždyť to je primární úlohou RAID polí, která byla vyvinuta přednostně právě k zabezpečení dat před jejich poškozením na disku. Asi je jedno, zda jsou data narušena fyzicky nebo softwarově (nekonzistentnost, překřížení a pod.). Včera jsem přemýšlel o jednom NAS-serveru s RAID. V manuálu se mj. popisuje jedna z mnoha funkcí serveru:
"Scrubbing dat - je funkce údržby dat, která provádí ověřování svazků nebo skupin disků a provádí opravy zaznamenaných nekonzistencí dat. Tuto funkci lze použít u svazků a skupin disků, které používají systém SHR (sestávající ze tří nebo více disků), RAID 5 nebo RAID 6. Doporučujeme provádět pravidelný scrubbing dat z důvodu zachování konzistence dat a zamezení ztráty důležitých dat v případě selhání disku."
To je to, co hledám? Nebo špatně chápu text manuálu? Jestli ano, pak stačí pořídit NAS, pravidelně pečovat o data přibalenou Scrubbing-utilitkou, vše důsledně zálohovat na další disk a čas od času testovat záložní HDD nějakou Health-utilkou. Pak by mělo být po problému. Chápu to správně?
Pak jsem ještě našel nějaké zajímavé utilky pro opravu HDD, ovšem naprosto netuším, do jaké míry jsou informace v textu relevantní:
http://www.servispc-brno.cz/61-oprava-vadnych-sektoru-hdd
Jdu testovat, zatím díky za tvůj čas :)
http://www.quickpar.org.uk/index.htm
http://parchive.sourceforge.net/
Je to vážně Very Old a dostalo mě to až k vš-diplomce a na stránky, kde se rozebírá metoda samoopravných Reed-Solomonových kódů, což může být pro někoho zajímavé, ale já už to nepobírám :D
http://access.feld.cvut.cz/view.php?cisloclanku=2006080002
https://www.vutbr.cz/www_base/zav_prace_soubor_verejne.php?file_id=7800
To jsem trochu odbočil, ale v každém případě dík za nakopnutí.
Z5 k RAID: v podstatě jsem myslel, že by se poškozená data opravila díky informacím na paritním disku, což by vycházlo ze samotné podstaty RAID pole. Ale v oblasti RAID jsem lama, znám jen jeho základní princip, nic víc. Nevím, co obsahují paritní data a zda je možné dopočítat např. chybný paket. Předpokládám však, že ano.
Pokud např. hlavička disku ťukne o plotnu a fyzicky ji poruší, měl by systém RAID (resp. jeho obslužný SW) detekovat tuto kolizi a "dopočítat" data. Vždyť to je primární úlohou RAID polí, která byla vyvinuta přednostně právě k zabezpečení dat před jejich poškozením na disku. Asi je jedno, zda jsou data narušena fyzicky nebo softwarově (nekonzistentnost, překřížení a pod.). Včera jsem přemýšlel o jednom NAS-serveru s RAID. V manuálu se mj. popisuje jedna z mnoha funkcí serveru:
"Scrubbing dat - je funkce údržby dat, která provádí ověřování svazků nebo skupin disků a provádí opravy zaznamenaných nekonzistencí dat. Tuto funkci lze použít u svazků a skupin disků, které používají systém SHR (sestávající ze tří nebo více disků), RAID 5 nebo RAID 6. Doporučujeme provádět pravidelný scrubbing dat z důvodu zachování konzistence dat a zamezení ztráty důležitých dat v případě selhání disku."
To je to, co hledám? Nebo špatně chápu text manuálu? Jestli ano, pak stačí pořídit NAS, pravidelně pečovat o data přibalenou Scrubbing-utilitkou, vše důsledně zálohovat na další disk a čas od času testovat záložní HDD nějakou Health-utilkou. Pak by mělo být po problému. Chápu to správně?
Pak jsem ještě našel nějaké zajímavé utilky pro opravu HDD, ovšem naprosto netuším, do jaké míry jsou informace v textu relevantní:
http://www.servispc-brno.cz/61-oprava-vadnych-sektoru-hdd
Jdu testovat, zatím díky za tvůj čas :)
Hlavne treba pri diskoch sledovat SMART a uz pri prvych realokovanych blokoch treba spozorniet. Samozrejme, zalohu treba vzdy (bez ohladu na vek a opotrebenie disku), no zvysujuce sa cislo realkovanych blokov uz signalizuje problem (disk sa da reklamovat, pokial sa dosiahne "treshold limit value").
Nepises, ci ide o HW problem, alebo SW.
P.S. Quickpar som davnejsie pouzival a keby nemal obmedzenia ake ma, pouzivam ho doteraz. Optimalny bol napriklad pri optickych mediach, kedy stacilo 5% z celkovej velkosti a pokial sa ti neposkodilo viac ako 5% (akychkolvek) dat, vzdy si to DVD vedel korektne obnovit.
Nepises, ci ide o HW problem, alebo SW.
P.S. Quickpar som davnejsie pouzival a keby nemal obmedzenia ake ma, pouzivam ho doteraz. Optimalny bol napriklad pri optickych mediach, kedy stacilo 5% z celkovej velkosti a pokial sa ti neposkodilo viac ako 5% (akychkolvek) dat, vzdy si to DVD vedel korektne obnovit.
ScanDisk udělaám, až celý disk zálohuju (i když s chybama) - zatím se bojím :notsure Na tomhle datovém disku se mi asi před půl rokem objevilo doporučení k obnově dat (myslel jsem, že to bude nějaká maličkost, ale to bude asi ono). Záměrně jsem to ignoroval, protože před lety se mi stalo totéž s Win XP a během obnovy mě disk odešel. Myslím tedy, že jde spíš o SW chybu. Disk běží naprosto tiše a klidně, skoro ho neslyším.
Zkoušel jsem několik HDD utilit - Active HDD Monitor se mi intuitivně jeví jako dobrý. Log zatím nejde, protože trial. Sejmul jsem aspoň SMART ale nejsem z toho dost moudrý. Dá se z toho něco vyčíst (myslím "mezi řádky", ze zkušenosti)?
[ATTACH=CONFIG]30046[/ATTACH]
A dále obrázky pro ukázku chyb - pruhy nahoře a dole:
[ATTACH=CONFIG]30047[/ATTACH]
[ATTACH=CONFIG]30048[/ATTACH]
Zkoušel jsem několik HDD utilit - Active HDD Monitor se mi intuitivně jeví jako dobrý. Log zatím nejde, protože trial. Sejmul jsem aspoň SMART ale nejsem z toho dost moudrý. Dá se z toho něco vyčíst (myslím "mezi řádky", ze zkušenosti)?
[ATTACH=CONFIG]30046[/ATTACH]
A dále obrázky pro ukázku chyb - pruhy nahoře a dole:
[ATTACH=CONFIG]30047[/ATTACH]
[ATTACH=CONFIG]30048[/ATTACH]
vymenil bych datovy kabel a spustil na HDD utilitu Spinrite, level 2 / oprava chybnych bloku / z Hirensboot, ale radeji az po zaloze dat...
[QUOTE=vivid.sk;560924]disk sa da reklamovat, pokial sa dosiahne "treshold limit value"[/QUOTE]
Zajímavý - díky. SMART Monitor jsem použil snad jednou v životě, před lety u starýho disku. Koukám, že jsem měl celou dobu asi velký štěstí :D
[QUOTE=john;560936]vymenil bych datovy kabel[/QUOTE]
To mě vůbec nenapadlo, je fakt, že např. volnej SATA konektor neopraví žádná utilka, dík :) Dnes kupuju záložní HDD, pak se pustím do prostudování QuickPar a Spinrite
https://www.grc.com/cs/prepurch.htm
Firma GRC sice na svých stránkách píše, že neposkytuje trial verzi, ale těch 89$ mě za to stojí. Vyměnit 15 let vzpomínek za "2 rodinné večeře" určitě nehodlám :D
Zajímavý - díky. SMART Monitor jsem použil snad jednou v životě, před lety u starýho disku. Koukám, že jsem měl celou dobu asi velký štěstí :D
[QUOTE=john;560936]vymenil bych datovy kabel[/QUOTE]
To mě vůbec nenapadlo, je fakt, že např. volnej SATA konektor neopraví žádná utilka, dík :) Dnes kupuju záložní HDD, pak se pustím do prostudování QuickPar a Spinrite
https://www.grc.com/cs/prepurch.htm
Firma GRC sice na svých stránkách píše, že neposkytuje trial verzi, ale těch 89$ mě za to stojí. Vyměnit 15 let vzpomínek za "2 rodinné večeře" určitě nehodlám :D
[QUOTE=kareldc;560943] Vyměnit 15 let vzpomínek [/QUOTE]
A preco si nechavas 15 let vzpomínek na jedinom mieste? Vies, co sa hovori vo firme datarecovery (firma, venujuca sa obnove dat z HDD).
ZÁLOHUJTE, ZÁLOHUJTE, ZÁLOHUJTE a znovu ZÁLOHUJTE
A preco si nechavas 15 let vzpomínek na jedinom mieste? Vies, co sa hovori vo firme datarecovery (firma, venujuca sa obnove dat z HDD).
ZÁLOHUJTE, ZÁLOHUJTE, ZÁLOHUJTE a znovu ZÁLOHUJTE
[QUOTE=kareldc;560943]Firma GRC sice na svých stránkách píše, že neposkytuje trial verzi, ale těch 89$ mě za to stojí.[/QUOTE]
Spinrite 6.0 je soucasti poslednich verzi Hirensboot "zdarma", ale on ten SW stoji i za vice nez 89$. :thumb
Spinrite 6.0 je soucasti poslednich verzi Hirensboot "zdarma", ale on ten SW stoji i za vice nez 89$. :thumb
to vivid.sk - jj teď to vím, máš pravdu. Vždycky jsem to dělal tak, že po nějaké době jsem datové disky vyměnil za nové, cca po 2-3 letech, aniž bych sledoval SMART a pod. Prostě tak intuitivně, vzhledem k tomu, co se všude píše o jejich průměrné životnosti. Dnes mám data už na dvou 2TB discích a právě tenhle mi začíná blbnout. Je ale dost možné, že chyby kopíruju z předešlých disků, ani o tom nevím. Tyhle obrázky jsou ale staré asi půl rok u, takže to musí být chyba posledního disku.
to john - prima tip, Hirensboot vůbec neznám. Občas jsem v době XP-ček použil miniPE ale s win7 jsem už žádnej problém neměl - juknu na to
Díky všem - hodně mi pomáhaj vaše příspěvky, dovedly mě i k dalším souvisejícím informacím :)
to john - prima tip, Hirensboot vůbec neznám. Občas jsem v době XP-ček použil miniPE ale s win7 jsem už žádnej problém neměl - juknu na to
Díky všem - hodně mi pomáhaj vaše příspěvky, dovedly mě i k dalším souvisejícím informacím :)
Jakmile někdo zaznamená první chybu HDD, mělo by to pro něj znamenat poplach nejvyšší úrovně. Nutně to nemusí být vinou HDD, ale u stolního PC to mohou být odešlé elektrolyty kolem procesoru, což se projeví i na chybách řadiče HDD.
Jak postupuji já:
1. U desktopu zkontroluji kondiky.
2. Vymontuji HDD a pak z něj zálohuji celý adresář "C:\Users" , popřípadě jiné další datové složky.
3. Testuji tento HDD na jiném PC, a pokud vykáže byť jedinou chybu, již není na něj spoleh a prostě musí pryč!
Popravdě neznám nikoho, s výjimkou bank a podobných velkých firem, kdo svědomitě zálohuje. Pro tento učel je dobré pořídit si NAS a pak třeba nastavit synchronizaci složek.
Jak postupuji já:
1. U desktopu zkontroluji kondiky.
2. Vymontuji HDD a pak z něj zálohuji celý adresář "C:\Users" , popřípadě jiné další datové složky.
3. Testuji tento HDD na jiném PC, a pokud vykáže byť jedinou chybu, již není na něj spoleh a prostě musí pryč!
Popravdě neznám nikoho, s výjimkou bank a podobných velkých firem, kdo svědomitě zálohuje. Pro tento učel je dobré pořídit si NAS a pak třeba nastavit synchronizaci složek.
[QUOTE=bastlir;561034]Popravdě neznám nikoho, s výjimkou bank a podobných velkých firem, kdo svědomitě zálohuje. [/QUOTE]
Nedá mi to nereagovat. Pracoval jsem několik let v bance, zálohovalo se ostošest. Když jsem se zeptal, jak se testuje funkčnost záloh, odpověděli mi, že nijak. Prý by museli koupit kompletní duplicitní HW, což je finančně neúnosné. Tak jsem se jen modlil, aby nedošlo k velké havárii. Všude vidím, jak se zdůrazňuje zálohování, ale nikde, jak testovat funkčnost a úplnost záloh.
Nedá mi to nereagovat. Pracoval jsem několik let v bance, zálohovalo se ostošest. Když jsem se zeptal, jak se testuje funkčnost záloh, odpověděli mi, že nijak. Prý by museli koupit kompletní duplicitní HW, což je finančně neúnosné. Tak jsem se jen modlil, aby nedošlo k velké havárii. Všude vidím, jak se zdůrazňuje zálohování, ale nikde, jak testovat funkčnost a úplnost záloh.
to bastlir - další pohled na věc, další možnost - díky.
-----
Btw dnes jsem zase trochu četl o RAID, ale nenašel jsem jednu věc: jestli se u RAID1 s dvěma disky, dají normálním způsobem přečíst data, pokud jeden klekne. Myslím, zda se můžu ten dobrý strčit do SATA šachty a normálně číst. U RAID5 či 6 to asi nejde, pokud není součástí pole, ale u "zrcadla" by to jít mohlo. Nebo ne?
-----
Btw dnes jsem zase trochu četl o RAID, ale nenašel jsem jednu věc: jestli se u RAID1 s dvěma disky, dají normálním způsobem přečíst data, pokud jeden klekne. Myslím, zda se můžu ten dobrý strčit do SATA šachty a normálně číst. U RAID5 či 6 to asi nejde, pokud není součástí pole, ale u "zrcadla" by to jít mohlo. Nebo ne?
[QUOTE=petrmet;561045]Prý by museli koupit kompletní duplicitní HW, což je finančně neúnosné. Tak jsem se jen modlil, aby nedošlo k velké havárii.[/QUOTE]
heh, co to bylo za "ustav", pokud to neni tajemstvim, ze mu klienti nedali vydelat?...
ten "duplicitni" zalozni HW navic musi byt fyzicky umisten uplne nekde jinde....
heh, co to bylo za "ustav", pokud to neni tajemstvim, ze mu klienti nedali vydelat?...
ten "duplicitni" zalozni HW navic musi byt fyzicky umisten uplne nekde jinde....
[QUOTE=bastlir;561034]1. U desktopu zkontroluji kondiky.
[/QUOTE]
mno, pokud uz jde videt, ze "pukl" naky elyt, budiz, jinak nemas sanci... / teda mas, ale nestoji to za tu praci...
ostatni OK / hlavne v jinem funkcim HW /
pripadne kriticke chyby SMARTu ti muze zpusobit chyba komunikace radicu, ci RAM, ci zdroj / kabel, OC, nahodne chyby RAM, ktere se pri testu neprojevi, vypadek napeti atd. /
[/QUOTE]
mno, pokud uz jde videt, ze "pukl" naky elyt, budiz, jinak nemas sanci... / teda mas, ale nestoji to za tu praci...
ostatni OK / hlavne v jinem funkcim HW /
pripadne kriticke chyby SMARTu ti muze zpusobit chyba komunikace radicu, ci RAM, ci zdroj / kabel, OC, nahodne chyby RAM, ktere se pri testu neprojevi, vypadek napeti atd. /
[QUOTE=kareldc;561047]jestli se u RAID1 s dvěma disky, dají normálním způsobem přečíst data[/QUOTE]
... aha, teď koukám, že nedají. Myslel jsem, že když se disky jenom zrcadlí, tak se dají "vyndat" z pole a normálně přečíst. Právě jsem se dochroustal k tomu, že to je trochu složitější.
Nebylo by jednodušší, zálohovat dvakrát na dva nezávislé disky? Třeba nějakou zálohovací utilkou? Pořád mi toto vychází jednodušší, než čekat několik hodin na synchronizaci RAID1 se dvěma disky a když jeden klekne, tak složitým způsobem dolovat data, nebo rekonstruovat nové RAID1 pole?
Vypadá to, že si pletu RAID se zálohou, což není totéž - vím to a princip je mi jasný. Říkal jsem si ale, že pokud data, se kterými budu pracovat, nebudou v RAID1, ale místo tohoto zdvojnásobím zálohu na dva nezávislé disky, procento možné ztráty dat by mělo být podobné, jako u RAID1 s jednou zálohou. Ale mnohem jednodušší, při získávání dat v případě poruchy disku. A také levnější. Přemejšlím blbě?
... aha, teď koukám, že nedají. Myslel jsem, že když se disky jenom zrcadlí, tak se dají "vyndat" z pole a normálně přečíst. Právě jsem se dochroustal k tomu, že to je trochu složitější.
Nebylo by jednodušší, zálohovat dvakrát na dva nezávislé disky? Třeba nějakou zálohovací utilkou? Pořád mi toto vychází jednodušší, než čekat několik hodin na synchronizaci RAID1 se dvěma disky a když jeden klekne, tak složitým způsobem dolovat data, nebo rekonstruovat nové RAID1 pole?
Vypadá to, že si pletu RAID se zálohou, což není totéž - vím to a princip je mi jasný. Říkal jsem si ale, že pokud data, se kterými budu pracovat, nebudou v RAID1, ale místo tohoto zdvojnásobím zálohu na dva nezávislé disky, procento možné ztráty dat by mělo být podobné, jako u RAID1 s jednou zálohou. Ale mnohem jednodušší, při získávání dat v případě poruchy disku. A také levnější. Přemejšlím blbě?
Pamatuji si na celkem nedávné časy, kdy se zálohovalo na pásková uložiště. Nyní se zálohuje na servery, kde jsou disková pole. Tady kontrola zálohy vlastně probíhá okamžitě tzv. kontrolním součtem. Navíc v bankách zálohy probíhají denně po "klíringu" a denním zúčtování. Kdyby přeci jenom něco kleklo, lze to tam dobušit z papírových dokladů. To ale mluvím o pobočce. Centrála pak zálohuje za celou banku.
Jen pro informaci ... v bankách jsou jen tzv. pracovní stanice, což v podstatě je jen PC se systémem a podle toho, jak se na něm přihlásíš, a tedy jaké máš oprávnění, používáš přidělený soft uložený jinde. Např. jako uživatel nejnižší úrovně si do PC nepřipojíš ani flashku.
K těm kondíkům ..., tady mnoho napoví i stáří samotné desky a kondik není problém přeměřit. Jinak HDD na jiném PC - to samozřejmě.
Když máš dvoudiskový NAS a disky máš zapojené "v zrcadle", na každém disku jsou uložená stejná data, takže když jeden odejde, data zůstanou nepoškozená na tom druhém. Mimochodem stačí si to po koupi NASu vyzkoušet vysunutím jednoho disku. Snad drobná rada, pro domácí použití rychlost NASu není ani tak dominantní, protože na stream to stačit každopádně bude, ale spíš bych se věnoval chlazení disků, které usíná spolu s disky. Pokud takový NAS je např. v obýváku, tak v nočním tichu každý ventilátor slyšet je.
Můj názor, který však nikomu nevnucuji: V dnešní době, kdy uložení dat nejlevněji vyjde na HDD, nemá smysl lokalizovat chybná místa, protože chyby stejně začnou časem přibývat. A data jsou přeci cennější jak HDD.
Jen pro informaci ... v bankách jsou jen tzv. pracovní stanice, což v podstatě je jen PC se systémem a podle toho, jak se na něm přihlásíš, a tedy jaké máš oprávnění, používáš přidělený soft uložený jinde. Např. jako uživatel nejnižší úrovně si do PC nepřipojíš ani flashku.
K těm kondíkům ..., tady mnoho napoví i stáří samotné desky a kondik není problém přeměřit. Jinak HDD na jiném PC - to samozřejmě.
Když máš dvoudiskový NAS a disky máš zapojené "v zrcadle", na každém disku jsou uložená stejná data, takže když jeden odejde, data zůstanou nepoškozená na tom druhém. Mimochodem stačí si to po koupi NASu vyzkoušet vysunutím jednoho disku. Snad drobná rada, pro domácí použití rychlost NASu není ani tak dominantní, protože na stream to stačit každopádně bude, ale spíš bych se věnoval chlazení disků, které usíná spolu s disky. Pokud takový NAS je např. v obýváku, tak v nočním tichu každý ventilátor slyšet je.
Můj názor, který však nikomu nevnucuji: V dnešní době, kdy uložení dat nejlevněji vyjde na HDD, nemá smysl lokalizovat chybná místa, protože chyby stejně začnou časem přibývat. A data jsou přeci cennější jak HDD.
jj, já jsem ale myslel šoupnout ho do ne-RAID šachty, zda by byla data vidět stejně jako na normálním disku.
Zajímalo by mě, jestli existuje nějaká kniha nebo učebnice, která podrobně popisuje RAID a jeho možnosti. Nikde jsem nic nenašel. Spousta článků je buď velmi rámcových (příp. jen reklamních) a relevantní informace z netu sbírám po kouskách a přehazuju jak horký brambor.
Např. mě docela dostalo, když jsem psal dotaz prodejci NAS (Synology DS414) a ptal se, zda je tento NAS vhodný pro můj záměr ukládání obr. a videí a jestli obslužný soft NASu umí vyhodnotit chyby v uložených souborech a případně je obnovit. Odpovědí mě bylo:
HW Raid nedokáže opravovat video soubory. Žádná funkce nebo utilita není.
Po pozdějším prostudování návodu DS414 jsem zjistil, že taková možnost oprav samozřejmě existuje. Příjde mi to jak špatná ruská pohádka. Dál jsem pak našel spoustu utilit pro zotavení či rekonstrukci RAID. Proto jsem se začal dotazovat zde na fóru a proto se taky snažím vyznat se v RAID sám a potřebné věci případně nastudovat. Omlouvám se tedy, pokud jsou pro vás mé dotazy úsměvné :)
Nějaká ucelená kniha o RAID (v češtině) by docela bodla.
Např. mě docela dostalo, když jsem psal dotaz prodejci NAS (Synology DS414) a ptal se, zda je tento NAS vhodný pro můj záměr ukládání obr. a videí a jestli obslužný soft NASu umí vyhodnotit chyby v uložených souborech a případně je obnovit. Odpovědí mě bylo:
HW Raid nedokáže opravovat video soubory. Žádná funkce nebo utilita není.
Po pozdějším prostudování návodu DS414 jsem zjistil, že taková možnost oprav samozřejmě existuje. Příjde mi to jak špatná ruská pohádka. Dál jsem pak našel spoustu utilit pro zotavení či rekonstrukci RAID. Proto jsem se začal dotazovat zde na fóru a proto se taky snažím vyznat se v RAID sám a potřebné věci případně nastudovat. Omlouvám se tedy, pokud jsou pro vás mé dotazy úsměvné :)
Nějaká ucelená kniha o RAID (v češtině) by docela bodla.
Ano teoreticky to jde. Jen záleží na tom, jakým souborovým systémem jsou HDD naformátované. Bývají linuxovým, který okna běžně nepřečtou. Ale jinak ano.
Nějaká literatura k zapojení serverů snad existuje a docela často to bývá popsané v časopisech - CHIP, Computer ...
Já sám doma mám dva NASy, ale chci je zredukovat do jednoho čtyřdiskového, což pro mě znamená asi 30 tisíc. Je to ale o nárocích.
K dotazu na Synology, myslím, že tvoje otázka byla špatně pochopená. Asi tak, jestli jdou opravit uložené. ale poškozené videosoubory. To asi ne, že?! :-)
Ale jak jsem již psal, při ukládání dat dochází ke kontrolním součtům. Pak už jen záleží na složitosti obslužného systému disku, jestli má různé revizní funkce apod.
Mimochodem ... žádné dotazy nejsou hloupé a pokud něco náhodou nevíš, bude se ti posmívat právě jen hlupák. Takže žádné obavy. :-) Mě např. zase děsí, že věci, s kterými už nepracuji, rychle zapomínám a musím případně pracně hledat svoje vlastní poznámky. To je ta pravá blbost! :-)
Nějaká literatura k zapojení serverů snad existuje a docela často to bývá popsané v časopisech - CHIP, Computer ...
Já sám doma mám dva NASy, ale chci je zredukovat do jednoho čtyřdiskového, což pro mě znamená asi 30 tisíc. Je to ale o nárocích.
K dotazu na Synology, myslím, že tvoje otázka byla špatně pochopená. Asi tak, jestli jdou opravit uložené. ale poškozené videosoubory. To asi ne, že?! :-)
Ale jak jsem již psal, při ukládání dat dochází ke kontrolním součtům. Pak už jen záleží na složitosti obslužného systému disku, jestli má různé revizní funkce apod.
Mimochodem ... žádné dotazy nejsou hloupé a pokud něco náhodou nevíš, bude se ti posmívat právě jen hlupák. Takže žádné obavy. :-) Mě např. zase děsí, že věci, s kterými už nepracuji, rychle zapomínám a musím případně pracně hledat svoje vlastní poznámky. To je ta pravá blbost! :-)
[QUOTE=petrmet;561045]Když jsem se zeptal, jak se testuje funkčnost záloh, odpověděli mi, že nijak[/QUOTE]
Neboj sa, funguje to dobre. Ale tam sa nehra na "disky", ale mas obrovske diskove polia, ktore su pre teba len ulozna "kapacita" a administratori zalohuju databazy.
Samostatny HW su obrovske riesenia (napriklad), kde je RAID samozrejmost. Je to iny koncept, ako nase domace HDD.
---------- Doplněno v 19:05 ---------- Původní příspěvek byl napsán v 19:02 ----------
[QUOTE=kareldc;561059]která podrobně popisuje RAID a jeho možnosti[/QUOTE]
strucne na wikipedii a konkretne o jednotlivych typoch lahko dohladas.
Neboj sa, funguje to dobre. Ale tam sa nehra na "disky", ale mas obrovske diskove polia, ktore su pre teba len ulozna "kapacita" a administratori zalohuju databazy.
Samostatny HW su obrovske riesenia (napriklad), kde je RAID samozrejmost. Je to iny koncept, ako nase domace HDD.
---------- Doplněno v 19:05 ---------- Původní příspěvek byl napsán v 19:02 ----------
[QUOTE=kareldc;561059]která podrobně popisuje RAID a jeho možnosti[/QUOTE]
strucne na wikipedii a konkretne o jednotlivych typoch lahko dohladas.
to bastlir
- Ano teoreticky to jde... aha, jj, 30 tis. - pro mě pálka :(
- K dotazu na Synology... jj, asi to tak pochopil, ale spíš moje špatná formulace
- Mimochodem... dík :)
- Tady jsem něco pro tebe našel... dík :) :)
- Ano teoreticky to jde... aha, jj, 30 tis. - pro mě pálka :(
- K dotazu na Synology... jj, asi to tak pochopil, ale spíš moje špatná formulace
- Mimochodem... dík :)
- Tady jsem něco pro tebe našel... dík :) :)
[QUOTE=bastlir;561056]Pamatuji si na celkem nedávné časy, kdy se zálohovalo na pásková uložiště. Nyní se zálohuje na servery, kde jsou disková pole....[/QUOTE]
I dnes se zálohuje na pásky. V malých firmách sice ne, ale jinak je to běžné, ono zálohovat databázi která má 50 TB na disky by nebylo úplně ono. Kontrola tam samozřejmě je, takže pokud záloha doběhne OK, máš jistotu že data obnovit půjdou.
I dnes se zálohuje na pásky. V malých firmách sice ne, ale jinak je to běžné, ono zálohovat databázi která má 50 TB na disky by nebylo úplně ono. Kontrola tam samozřejmě je, takže pokud záloha doběhne OK, máš jistotu že data obnovit půjdou.
[QUOTE=johny__g;561097]Kontrola tam samozřejmě je, takže pokud záloha doběhne OK, máš jistotu že data obnovit půjdou.[/QUOTE]
To je právě ten častý omyl. Databáze bývají konfigurovány pro určitou konfiguraci HW, takže kdo si myslí, že vezmu pásku a obnovím databázi kdekoli, ten se může hodně divit.
To je právě ten častý omyl. Databáze bývají konfigurovány pro určitou konfiguraci HW, takže kdo si myslí, že vezmu pásku a obnovím databázi kdekoli, ten se může hodně divit.
[QUOTE=johny__g;561103]Tak to považuju za samozřejmé, že tu databázi obnovuju na původní mašině.[/QUOTE]
Tak to asi čteš toto vlákno jen od konce. Zálohy se snad dělají kvůli haváriím HW včetně totální destrukce. Proč by se jinak zřizovala záložní pracoviště ?
Tak to asi čteš toto vlákno jen od konce. Zálohy se snad dělají kvůli haváriím HW včetně totální destrukce. Proč by se jinak zřizovala záložní pracoviště ?
[QUOTE=johny__g;561097]I dnes se zálohuje na pásky. V malých firmách sice ne, ale jinak je to běžné, ono zálohovat databázi která má 50 TB na disky by nebylo úplně ono. Kontrola tam samozřejmě je, takže pokud záloha doběhne OK, máš jistotu že data obnovit půjdou.[/QUOTE]
Hmm, přemýšlím, co to může být. 5OT dat je přeci jenom nářez! To je nějaké ministertvo světa, ne? Popravdě páskovou mechaniku jsem už dlouho neviděl a ani netuším, jak dlouho záloha 50T na pásky trvá.
Hmm, přemýšlím, co to může být. 5OT dat je přeci jenom nářez! To je nějaké ministertvo světa, ne? Popravdě páskovou mechaniku jsem už dlouho neviděl a ani netuším, jak dlouho záloha 50T na pásky trvá.
:D ministerstvo světa - tak to mě dostalo :D
Mělo by smysl přemejšlet o SSD do NAS? Jak je to s výdrží SSD dnes? Kdysi mi jeden SSD odešel po 1/2 roce a nešel opravit ani z něj dostat data. Tak jsem zkratku SSD na dlouho vytěsnil ze své bio-paměti.
Mělo by smysl přemejšlet o SSD do NAS? Jak je to s výdrží SSD dnes? Kdysi mi jeden SSD odešel po 1/2 roce a nešel opravit ani z něj dostat data. Tak jsem zkratku SSD na dlouho vytěsnil ze své bio-paměti.
[QUOTE=kareldc;561113]:D ministerstvo světa - tak to mě dostalo :D
Mělo by smysl přemejšlet o SSD do NAS? Jak je to s výdrží SSD dnes? Kdysi mi jeden SSD odešel po 1/2 roce a nešel opravit ani z něj dostat data. Tak jsem zkratku SSD na dlouho vytěsnil ze své bio-paměti.[/QUOTE]
Tak smůlu nemůžeš nikdy vyloučit, že? Já jsem si jednou rval vlasy, že jsem si koupil celou krabici vadných HDD. Už jsem i hledal ze zoufalství závadu někde jinde. Samozřejmě reklamaci uznali, protože jsem nebyl sám.
SSD mají proti HDD očekávanou výhodu v rychlosti, v teplotě a absenci defragmentace.
Ale zásadní nevýhody: cena/1TB, zmíněná obnovitelnost dat, kapacitní omezení. V okamžiku kolize nejsou žádné varovné projevy. Prostě zdechne.
Kdybys měl mít v raidu nějaký 1TB SSD disk, to by ses nedoplatil. Takže nedoporučuji.
Mělo by smysl přemejšlet o SSD do NAS? Jak je to s výdrží SSD dnes? Kdysi mi jeden SSD odešel po 1/2 roce a nešel opravit ani z něj dostat data. Tak jsem zkratku SSD na dlouho vytěsnil ze své bio-paměti.[/QUOTE]
Tak smůlu nemůžeš nikdy vyloučit, že? Já jsem si jednou rval vlasy, že jsem si koupil celou krabici vadných HDD. Už jsem i hledal ze zoufalství závadu někde jinde. Samozřejmě reklamaci uznali, protože jsem nebyl sám.
SSD mají proti HDD očekávanou výhodu v rychlosti, v teplotě a absenci defragmentace.
Ale zásadní nevýhody: cena/1TB, zmíněná obnovitelnost dat, kapacitní omezení. V okamžiku kolize nejsou žádné varovné projevy. Prostě zdechne.
Kdybys měl mít v raidu nějaký 1TB SSD disk, to by ses nedoplatil. Takže nedoporučuji.
SDD rozhodně není médium pro zálohy, nikdy nebyl a asi nikdy nebude. Takže ho klidně nech vytěsněný :-). Pokud chceš mít větší jistotu co se týče uložených dat, kup si dva stejné disky, jeden jako čistě zálohu (bude se připojovat jen při zálohování, může být v NASu a může být i v RAIDu, pokud chceš, v tom případě musíš mít dva) a druhý který bude připojený stále v PC a z něj si můžeš ty filmy i přehrávat. Pokud jeden z nich klekne, koupíš hned jiný a nahradíš ho. Důležité je to fyzické oddělení. Dva disky v jednom PC v RAIDu tě ochrání před havárií disku, ale když odejde zdroj v PC (NASu) a vezme sebou oba disky, jsi v pytli.
Nebude to levné, jeden 4 TB disk počítej kolem 5 - 6 tisíc, takže jestli se ti to zdá moc, máš asi smůlu.
OT: petrmet a bastlir - 50 TB na db je celkem dost, ale nic tak neobvyklého. Trochu do toho dělám. Zálohuje se to celkem rychle, řádově několik hodin až den (full backup). Samozřejmě to nejede na jednu pásku v mechanice velikosti videorekordéru, taková pásková knihovna je velikostí podobná sálovému počitači z 50. let.
To ohledně havárie HW je pravda, ale ve sféře kde se pohybuji se tohle opravdu bere jako automatická věc - HW je vždy k dispozici, bez ohledu na to co shoří. Navíc drtivá většina restorů není kvůli poruše HW.
Nebude to levné, jeden 4 TB disk počítej kolem 5 - 6 tisíc, takže jestli se ti to zdá moc, máš asi smůlu.
OT: petrmet a bastlir - 50 TB na db je celkem dost, ale nic tak neobvyklého. Trochu do toho dělám. Zálohuje se to celkem rychle, řádově několik hodin až den (full backup). Samozřejmě to nejede na jednu pásku v mechanice velikosti videorekordéru, taková pásková knihovna je velikostí podobná sálovému počitači z 50. let.
To ohledně havárie HW je pravda, ale ve sféře kde se pohybuji se tohle opravdu bere jako automatická věc - HW je vždy k dispozici, bez ohledu na to co shoří. Navíc drtivá většina restorů není kvůli poruše HW.
K tomu není co dodat, jen pro nezasvěcené ... velké firmy mívají u svého dodavatele HW paušálně předplacený servis, který podle rozsahu objednávky/smlouvy uživatelské firmě garantuje do x hodin opravu, obnovení systému apod. V našem případě se tehdy jednalo o paušál 50tis. Kč (tuším) ročně + cena materiálu. Většinou šlo o výměnu diskového pole.
Jasně, ale přemejšlel jsem obráceně: na budoucím RAID poli (zatím jen jeden datadisk) přehrávám, na něm i edituju a ukládám a to celé pak zálohuju na další HDD. Dělám jakoby "manuální zrcadlo". Ten "pracovní" datadisk se točí denně, je tedy náchylnější na HW kolaps, než ten zálohový. Zálohový se točí 1/2 hod jednou za měsíc a proto ho chci nechat singl. Zálohuju přírůstkem a oba obsahují stejná data.
Co tedy mít jako pracovní, až budu mít RAID? RAID pole a zálohovat jej na singl, nebo pracovat na singlu a zálohovat na RAID? :rolleyes:
Co tedy mít jako pracovní, až budu mít RAID? RAID pole a zálohovat jej na singl, nebo pracovat na singlu a zálohovat na RAID? :rolleyes:
[QUOTE=bastlir;561110] To je nějaké ministertvo světa, ne? [/QUOTE]
Představ si třeba evidenci komunikace u mobilního operátora. Jsou miliony telefonů, každý komunikuje se sítí i když nevoláš a komunikace se zaznamenává. Nebo provoz na dálnicích, jsou stovky mýtných bran, desetitisíce aut projíždějí po dálnicích a provoz se zaznamenává. Nebo transakce platebními kartami. Je cca 10 milionu karet, většina provede desítky transakcí měsíčně. Já jsem dlouhá léta pracoval s databázemi, které měli cca 800 milionů záznamů, každý den proběhlo 1,5 až 2 miliony transakcí, ve špičce 100 až 150 transakcí za sekundu.
Představ si třeba evidenci komunikace u mobilního operátora. Jsou miliony telefonů, každý komunikuje se sítí i když nevoláš a komunikace se zaznamenává. Nebo provoz na dálnicích, jsou stovky mýtných bran, desetitisíce aut projíždějí po dálnicích a provoz se zaznamenává. Nebo transakce platebními kartami. Je cca 10 milionu karet, většina provede desítky transakcí měsíčně. Já jsem dlouhá léta pracoval s databázemi, které měli cca 800 milionů záznamů, každý den proběhlo 1,5 až 2 miliony transakcí, ve špičce 100 až 150 transakcí za sekundu.
[QUOTE=petrmet;561154]Představ si třeba evidenci komunikace u mobilního operátora. .......[/QUOTE]
Nojo, když to takto čtu, tak asi jo. Já jsem to bral dle DB v bance.
Nojo, když to takto čtu, tak asi jo. Já jsem to bral dle DB v bance.
Díky vám všem za veškerá nakopnutí. Jsem za ně opravdu vděčný i když chápu, že profíci jako vy, se při čtení mých dotazů, asi trochu nudí. Chci se však vrátit k mému původnímu problému.
Možná to vypadá, že jsem tvrdohlavý, jak malý děcko. Ale pokud ten nejexponovanější diskový prostor nebude chráněný proti krátkodobě vzniknuvším chybám, bude k ničemu, když budu vše i s chybama zálohovat na RAID. Jde mi primárně o to, jak zamezit relativně krátkodobému vznikání chyb (viz obrázky) na disku s velkým pohybem dat. Proto mě příjde bezpečnější, pracovat a editovat přímo v RAID a jednou za měsíc pak provést zálohu kamkoli.
Ano, prohlížel jsem různé shopy, a smířil se s tím, že alespoň trochu slušný NAS nepořídím pod 15 tis + disky. Nechme ale peníze stranou.
Ty pruhy a výpadky barev, pixelizace a pod., mohou být chyby nejen hw, kdy hlavička ťukne o plotnu, špatný kontakt, či kondíky, ale i jiné. Možností je dost. A právě jim chci zamezit, nebo alespoň eliminovat možnost jejich vzniku co možná nejdřív. Pokud se nově vytvořený nebo editovaný soubor uloží ihned do RAID pole, bude totiž už navždy někde záznam o kontrolním součtu zdravého souboru. Sice, jak už tu podotknul bastlir - smůlu nemůžeš nikdy vyloučit - ale snížit možnost chyb na minimum můžu. A o to se snažím.
No a proto si myslím, že by bylo vhodné, mít RAID jako pracovní prostor a první uložení provádět ihned právě do RAID. Teprv až potom zálohovat. Pokud by totiž po krátkém čase, než se provede záloha (např. týden či měsíc) vznikly na singlu chyby, žádný soft je nikdy nezjistí, páč nebude mít s čím porovnat. Pokud to je špatná teorie, budu nesmírně rád za každou opozici.
Napadlo mě zálohovat do RAID ihned po každé editaci či vytvoření nového souboru. Nebo udělat jeden SW RAID v PC (pracovní) a zálohovat do dalšího RAID v NASu. Ale to už je trochu paranoia.
Logika ochrany a posloupnost záloh - to je poslední, čím se teď zabejvám. Jinak znovu díky za všechny připomínky a nápady, moc mě to pomáhá a snad už v tom mám trochu jasno :)
Možná to vypadá, že jsem tvrdohlavý, jak malý děcko. Ale pokud ten nejexponovanější diskový prostor nebude chráněný proti krátkodobě vzniknuvším chybám, bude k ničemu, když budu vše i s chybama zálohovat na RAID. Jde mi primárně o to, jak zamezit relativně krátkodobému vznikání chyb (viz obrázky) na disku s velkým pohybem dat. Proto mě příjde bezpečnější, pracovat a editovat přímo v RAID a jednou za měsíc pak provést zálohu kamkoli.
Ano, prohlížel jsem různé shopy, a smířil se s tím, že alespoň trochu slušný NAS nepořídím pod 15 tis + disky. Nechme ale peníze stranou.
Ty pruhy a výpadky barev, pixelizace a pod., mohou být chyby nejen hw, kdy hlavička ťukne o plotnu, špatný kontakt, či kondíky, ale i jiné. Možností je dost. A právě jim chci zamezit, nebo alespoň eliminovat možnost jejich vzniku co možná nejdřív. Pokud se nově vytvořený nebo editovaný soubor uloží ihned do RAID pole, bude totiž už navždy někde záznam o kontrolním součtu zdravého souboru. Sice, jak už tu podotknul bastlir - smůlu nemůžeš nikdy vyloučit - ale snížit možnost chyb na minimum můžu. A o to se snažím.
No a proto si myslím, že by bylo vhodné, mít RAID jako pracovní prostor a první uložení provádět ihned právě do RAID. Teprv až potom zálohovat. Pokud by totiž po krátkém čase, než se provede záloha (např. týden či měsíc) vznikly na singlu chyby, žádný soft je nikdy nezjistí, páč nebude mít s čím porovnat. Pokud to je špatná teorie, budu nesmírně rád za každou opozici.
Napadlo mě zálohovat do RAID ihned po každé editaci či vytvoření nového souboru. Nebo udělat jeden SW RAID v PC (pracovní) a zálohovat do dalšího RAID v NASu. Ale to už je trochu paranoia.
Logika ochrany a posloupnost záloh - to je poslední, čím se teď zabejvám. Jinak znovu díky za všechny připomínky a nápady, moc mě to pomáhá a snad už v tom mám trochu jasno :)
[QUOTE]Pokud se nově vytvořený nebo editovaný soubor uloží ihned do RAID pole, bude totiž už navždy někde záznam o kontrolním součtu zdravého souboru.[/QUOTE]
To ale plati az u RAID 5 ci 6, ktere pouzivaji paritni informace. Nicmene CRC ci MD5 seznamy muzes vytvaret rucne.
To ale plati az u RAID 5 ci 6, ktere pouzivaji paritni informace. Nicmene CRC ci MD5 seznamy muzes vytvaret rucne.
Aha, jj to mě nedošlo... OK, klidně ručně. Např. Total Commander disponuje nějakou funkcí kontroly integrity. Je pro to alespoň trochu vhodný? Kdysi se mluvilo o totální neschopnosti TC, ale nevím už, oč šlo.
-----
vzpomínám si, že se mluvilo o špatném zabezpečení uložených hesel ftp (což asi nemá s CRC nic společnýho ...)
-----
vzpomínám si, že se mluvilo o špatném zabezpečení uložených hesel ftp (což asi nemá s CRC nic společnýho ...)
