Kysymys:
Tiedoston eheyden tarkistus
Olli
2014-02-05 06:44:11 UTC
view on stackexchange narkive permalink

Minulla on paljon tiedostoja, joiden ei pitäisi koskaan muuttua, mukaan lukien RAW-valokuvat ja videotiedostot. Olen huolissani hiljaisesta bittimäestä.

Minulla on varmuuskopioita palauttamaan kadonneita / vioittuneita tiedostoja, mutta nykyisten tiedostojen vertaaminen varmuuskopioihin ei ole käytännöllistä (esimerkiksi videotiedostot ovat digitaalinauhoilla). Varmuuskopiointiohjelmistoni ei myöskään tarjoa tähän toimintoja.

Onko olemassa ohjelmistoa, joka skannaa kansioluettelon, tallentaa luotettavat tarkistussummat ja kykenee vahvistamaan valitun valinnan lisätyille / poistetuille / muokatuille (vioittuneille) tiedostoille?

Tiedostoja on noin 3 Tt ja 21 miljoonaa tiedostoa (suuri osa on tietysti todella pieniä tiedostoja), joten muistin kulutus on tärkeää. Sen pitäisi toimia Linuxissa ja mieluiten myös OS X: ssä.

Huomaa : Linuxissa jo olen jo suorittanut ZFS: n, jolla on vankat tarkistussummat. ja scrub bitflippujen havaitsemiseksi. Ei ole kuitenkaan mahdollista tai käytännöllistä käyttää sitä tai btrfs: ää OS X: ssä / optisissa levyissä / USB-levyissä, joiden pitäisi olla kannettavia (ts. FAT). Pidän erittäin paljon tiedostojärjestelmän agnostisesta ratkaisusta.

Jos ei ole mitään ohjelmistoa, joka tekisi tämän automaattisesti, koska olet OSX: ssä ja Linuxissa, voit melko helposti asettaa bash-komentosarjan ja cron-työn tekemään tämä `md5sum`: lla kaikkien tiedostojen tarkistamiseksi, raportin luomiseksi , jne.
Ehdotan, että pidät silmällä seuraavan sukupolven tiedostojärjestelmää ** btrfs **: https://plus.google.com/+AaronSeigo/posts/ZAmXwESunL2
Eri linjassa kysymyksen * kanssa, kuten sanottiin *: saatat olla kiinnostunut testaamaan [git-Annex] (https://git-annex.branchable.com/ "git-annex"). Sen "arkistoijan" käyttötapaus kattaa sekä vioittuneiden havaintojen että muiden kopioiden korjaamisen. Kyllä, voit pyytää sitä kopioimaan tiedot puoliautomaattisesti tallennusalueiden välillä varmistaaksesi, että saatavilla on riittävästi kopioita. Oletusasetus on hieman "invasiivinen", koska kaikki tiedostot korvataan symboloinnilla omistettuihin vain luku -hakemistoihin tahattomien kirjoitusten estämiseksi (voidaan poistaa käytöstä). Ensisijaisesti Linux-työkalu, näyttää siltä, ​​että se on saatavana sovelluspakettina ja homebrew-sovelluksena.
Kolme vastused:
#1
+19
Olli
2014-02-07 01:55:20 UTC
view on stackexchange narkive permalink

Aloin käyttää AIDE:

AIDE (Advanced Intrusion Detection Environment) on tiedostojen ja hakemistojen eheyden tarkistaja.

Se seuraa muuttuneita, lisättyjä ja muokattuja tiedostoja ja tiedostomääritteitä. Tukee erilaisia ​​tarkistussumman algoritmeja, mukaan lukien sha256 / sha512.

Ubuntussa aide -paketti on saatavana perusvarastosta ( apt-get install aide ). OS X: ssä kääntäminen epäonnistui salaperäisillä virheillä, mutta asennus macportilla onnistui:

  sudo port install aide  

Esimerkki kokoonpanosta tiedosto on saatavana osoitteesta /opt/local/etc/aide.conf . Suoritus on yksinkertaista:

  aide --init # Alustaa tietokannan - laskee tarkistussumman - tarkista # Tarkistaa tiedostot tietokannastaeaaside --update # Tarkistaa tiedostot tietokantaan ja päivittää tietokannan  

Kaikki tiedot tallennetaan selkeätekstitiedostoihin (jotka ovat tietysti alttiita korruptiolle, mutta kopion säilyttäminen on helppoa), joten työkalun vaihtamisen johonkin muuhun pitäisi olla yksinkertaista.


Positiiviset asiat:

  • Nopea
  • Tukee useita vahvoja tarkistussummia. Md5: n käyttöä ei suositella, koska se on pohjimmiltaan rikki.
  • Helppo ajaa cronilla
  • Lyhyen testauksen perusteella ei ole toistaiseksi ongelmia. Havaitsi kaikki muutokset (sisällössä ja määritetyissä tiedostomääritteissä) sekä lisätyt ja poistetut tiedostot oikein.
  • Tukee monimutkaisia ​​tiedostoja: esimerkiksi väliaikaisia ​​tiedostoja tai muita tiedostoja ei pitäisi tarkistaa. muutos.
  • Laskee useita tarkistussummia (määritettävissä). Tämä tarjoaa suhteellisen hyvät takeet tulevaisuutta varten - vaikka yksi hajautusalgoritmi olisi vaarantunut, eheystietokanta on silti hyödyllinen, jopa tahallisia muutoksia vastaan ​​(vs. bittimädäntyminen).
  • Tarkistussummat tallennetaan selkeään tekstiin, ja otsikot sisältävät kenttämääritykset. Tästä on hyötyä, jos määritystiedosto menetetään tai jos se jäsennetään toisen ohjelman kanssa.
  • Kokoonpanotiedosto ja tarkistussummatietokanta on helppo tallentaa jokaiselle levylle / CD: lle / kansiolle (rakenne). Tämän ansiosta kaikki määritysvaihtoehdot tallennetaan automaattisesti, ja eheystarkistus on helppo suorittaa uudelleen.

Negatiiviset kohdat:

  • Asetusten määrittäminen edellyttää määritystiedoston muokkaamista tekstieditorissa verrattuna mukavaan käyttöliittymään. Vastaavasti ulostulon tarkistus on suoraan päätelaitteelle.
  • Viimeisin julkaisu on vuodelta 2010, mutta toisaalta se on ominaisuus valmis, joten jatkuvia päivityksiä ei tarvita.
  • Tarkistussummatietokannan eheyttä ei tarkisteta automaattisesti. Onneksi sen tekeminen erikseen on helppoa ( sha1sum tarkistussummat.db > tarkistussummat.db.sha1sum )
Toimiiko hyvin Windowsissa?
`aide --init` (tai mikä tahansa muu, mitä yritin tehdä` `avustajan kanssa '') ei toimi Ubuntussa - paketin ylläpitäjät rikkoivat sen. Sinun on käytettävä sen sijaan `aideinit`.
MD5: llä on turvallisuuskysymyksiä, mutta miksi sillä on merkitystä OP: n tarkoituksessa? Hän ei halua hajauttaa arkaluontoisia tietoja turvallisesti. Itse asiassa MD5: tä käytetään hyvin yleisesti tiedoston tarkistussummana - [esimerkki] (https://help.ubuntu.com/community/UbuntuHashes). Sitä paitsi, +1 hyvästä vastauksesta.
Toinen asia - tekstitiedostokokoonpano ja CLI-lähtö olisi monille ihmisille positiivinen eikä negatiivinen.
#2
+11
palacsint
2014-02-07 03:59:10 UTC
view on stackexchange narkive permalink

Olen käyttänyt CFV: tä tähän vuosia.

  • Se tukee rekursiivisia toimintoja (voit luoda yhden tarkistussummatiedoston hakemistoa kohden tai yhden tarkistussummatiedoston täydellistä alipuuta varten).
  • Se voi jättää huomiotta kirjainkoko ja korjata polun erottimen asetukset alustojen väliseen käyttöön, mikä on varsin hyödyllistä, jos haluat tarkistaa / luoda tarkistussummat eri tiedostojärjestelmille ja / tai käyttöjärjestelmille.
  • Se on konsolisovellus, mutta siinä on mukava edistymispalkki (toisin kuin tavallinen md5sum ).
  • Se tunnistaa lisätyt tiedostot ( -u -vaihtoehto).

En tiedä onko se tai Mac OS X tai ei, mutta se on MacPortsissa.

Hmm. `sha1sum *> tiedostot.sha1sum; CFF toimii hyvin. Ihmisen mukaan `-r -m -u` on oikea joukko vaihtoehtoja tiedostojen tarkistamiseksi ilman hajautuksia. Se näyttää toimivan hyvin, MUTEN jos tarkistussummatiedostoa muokataan, se tuottaa silti OK tälle. Jos tarkistussummalla varustettu tiedosto poistetaan, se tulostaa oikein "1 ei löydy, 1 vahvistamaton". Aion avata virhelipun, mutta en vaivautunut rekisteröitymään lähdekoodiksi.
@Olli: En usko, että tarvitset `-m`-lippua. Käsikirjan mukaan `-m` * älä vertaa tarkistussummia *. Kokeile `cfv -T -uu -f test1.sha1` (jos sinulla on yksi` sha1`-tiedosto täydellistä hakemistopuuta varten).
jostain syystä se tarkistaa kaiken kahdesti (ja kyllä, tiedän, että kommentit eivät ole tukifoorumi).
#3
+7
Journeyman Geek
2014-02-07 05:41:20 UTC
view on stackexchange narkive permalink

Ei koulua kuten oldschool. Minulla on tosiaankin hieman ennakkoluuloja oikeuslääketieteellisestä taustastani, mutta voit suorittaa MD5-summia ja verrata niitä.

Vaikka tällä SO-ketjulla on mielenkiintoisia menetelmiä, pidän pikemminkin hashdeepista. Muistin käyttö on vähäistä, vaikka se pureskelee joukon prosessorisyklejä, mutta tarkastustilan taikuuden kautta se tekee kaiken mitä pyydät komentoriviltä automaattisesti - ottamalla tekstitiedoston ja vertaamalla sitä luetteloon .

Vaikka sivustolla on Windowsin binääritiedostoja, monilla jakeluilla ja mac-pakettien hallintaohjelmilla on portteja - löydät täydellisen luettelon täältä

hashdeep - mukaan lukien aikaennusteet - kuulosti hyvältä, mutta en todellakaan pidä käyttöliittymästä: a) mac-päätelaitteessa edistymispalkki / arviot ovat rikki, b) kansioille, sinun on annettava "- rekursiivinen". Muuten `--audit` -ohjelmassa se vain kulkee rekursiivisesti ja tulostaa` `Tiedostoa ei käytetty '' kullekin tiedostolle, c) jos tiedosto kopioidaan, siirretyn hashdeepin mukaan (ja vanhan raportoidaan nimellä" Ei vastausta ") eikä "lisätty", d) tarkastus ja päivitys vaatii kaksi läpäisyä.
"Vaikka tällä SO-ketjulla on mielenkiintoisia menetelmiä […]": Pitäisikö linkin olla?
Luulen, että hän tarkoitti tätä _SR_ säiettä.
Yritin juuri * hashdeep * -ohjelmaa ja odotin sen ilmoittavan tiedostoista, jotka olen lisännyt tai poistanut hash-taulukon luomisen jälkeen. Sillä ei näytä olevan vaihtoehtoja raportoida niistä lainkaan. Outo.


Tämä Q & A käännettiin automaattisesti englanniksi.Alkuperäinen sisältö on saatavilla stackexchange-palvelussa, jota kiitämme cc by-sa 3.0-lisenssistä, jolla sitä jaetaan.
Loading...