mboost-dp1

Windows 8/8.1 Data Deduplication


Gå til bund
Gravatar #1 - Slettet Bruger [3984805265]
22. jan. 2014 23:00
Til dem der gerne vil spare lidt plads på deres Windows 8 eller 8.1, så er det muligt at hacke adgang til data deduplication feature fra Windows Server 2012 (R2) i Windows 8(.1) og dermed spare en god del plads på en lager disk.

Data deduplication kører på blok niveau og dermed er det ikke 2 filer der behøves at være ens, men 2 blokke.

På min lager server (Windows Server 2012 R2) har jeg sparet godt 533 GB til nu og den er ikke færdig med at køre.

http://weikingteh.wordpress.com/2013/01/15/how-to-...

(Linket til Windows 8.1 findes i toppen)

EDIT: Sparede 27% plads på lageret i den bærbare. Sparede 15,53 GB, så fra 56,5 til nu 41 GB brugt plads.
Gravatar #2 - Slettet Bruger [3483432670]
23. jan. 2014 07:08
Interresant, det skal bestemt testes.
Gravatar #3 - thorjak
23. jan. 2014 08:49
Værd opmærksom på at SVN clientent bliver pænt fucked.
Da alle filer fremstår som sym links.

Bare lige hvis folk har et svn checkout de vil bruge :)
Gravatar #4 - Slettet Bruger [3984805265]
23. jan. 2014 10:25
#3
Har du prøvet Windows Server versionen? Ingen filer fremstår som symlinks her, hverken lokalt eller på min server. Du skal også tænke på at det her er på blok-niveau og ikke på fil niveau. Det ville slet ikke give mening at en fil blev til et symlink når det ikke er hele filen der er duplikeret, men kun blokke af data på disken.

EDIT: På serveren er der nu sparet 720 GB eller 28%.
Gravatar #5 - thorjak
23. jan. 2014 13:52
IT-ekspert Yvossen (4) skrev:
#3
Har du prøvet Windows Server versionen? Ingen filer fremstår som symlinks her, hverken lokalt eller på min server. Du skal også tænke på at det her er på blok-niveau og ikke på fil niveau. Det ville slet ikke give mening at en fil blev til et symlink når det ikke er hele filen der er duplikeret, men kun blokke af data på disken.

EDIT: På serveren er der nu sparet 720 GB eller 28%.


Har ikke prøvet at lave et checkout på 2012.
Dog kan man sagtens hoste subversion på 2012 og gøre brug af dedup.

Jeg er helt med på hvordan det virker - eneste jeg ved var at subversion brokkede sig over symlinks.
Gravatar #6 - Slettet Bruger [3984805265]
23. jan. 2014 14:02
#5
Hvor brokkede den sig over symlinks? På klienten? Havde du lavet data deduplication med Windows Server værktøjet det? Det virker fint både client-side og server-side her med TortoiseSVN. Det er VisualSVN på server siden.
Gravatar #7 - thorjak
23. jan. 2014 14:17
#6
Installerede og kørte via powershell - men det er noget tid siden, kan være det har ændret sig.

Har du ladet den kører sit job?
Den gør jo kun noget ved lidt ældre filer, og ikke helt nye ( eller under en kb grænse)
Gravatar #8 - Slettet Bruger [3984805265]
23. jan. 2014 14:49
#7
Disken indeholder 95% ældre filer og jobbet er kørt færdigt.
Gravatar #9 - arne_v
24. jan. 2014 14:44
IT-ekspert Yvossen (1) skrev:
Data deduplication kører på blok niveau og dermed er det ikke 2 filer der behøves at være ens, men 2 blokke.


thorjak (3) skrev:
Værd opmærksom på at SVN clientent bliver pænt fucked.
Da alle filer fremstår som sym links.


Hvordan f..... kan en dedup på blok niveau lave symlinks??
Gravatar #10 - OrangeNewton
24. jan. 2014 15:00
#9
Jeg ville gætte på at Windows kunne finde på at mærke dem som 'symlink' for at indikere at overskrivning af filerne skal foregå efter en modificeret procedure. Om de så faktisk er markeret som symlinks eller om det er et SVN tool som ikke lige er up-to-date med en ny type fil markering må vel stå hen i det uvisse. Det lyder i hvert fald som et lidt speciel problem.
Jeg har ikke kodet Windows kode på lavt niveau længe så jeg ved ikke lige hvordan man undersøger om en fil er et symlink. Jeg kunne sagtens forestille mig en funktion der spørger med en fil handle og får kode 0 hvis det er almindelig fil 1 hvis det er symlink. 2 hvis det er en fil som indeholder en blok der ikke kan frigives. Hvis klienten så bare laver en forespørgsel og forventer et 0 kunne den jo sagtens klage over symlinks.
Gravatar #11 - arne_v
24. jan. 2014 15:46
#10

Hvis den dedup skal være noget som helst værd, så skal den jo være transparent for applikationerne. Så jeg tror ikke på:

OrangeNewton (10) skrev:
Windows kunne finde på at mærke dem som 'symlink' for at indikere at overskrivning af filerne skal foregå efter en modificeret procedure.
Gravatar #12 - OrangeNewton
24. jan. 2014 16:37
#11
Hvis det var implementeret ordentligt burde en SVN klient vel også være ret ligeglad med om noget af det er symlinks. Men jeg mindes da at have set samme brok fra en SVN klient. Om det så er Windows eller SVN klienten som ikke er kodet ordentligt vil jeg ikke prøve at gøre mig klog på.
Gravatar #13 - Magten
24. jan. 2014 16:52
http://mail-archives.apache.org/mod_mbox/subversio...

Nice link, newz. Anyways:
Symbolic links in Windows are reparse points, but not all reparse points are symbolic links. The de-duplication appears to use a specific data deduplication type of reparse point, so Subversion could make the distinction in a perfectly sane manner.
Gravatar #14 - thorjak
25. jan. 2014 08:48
#7
Det lyder jo som om jeg lige må forsøge igen.

#9
Pas - eneste jeg ved var at jeg blev presset da svn begyndte at brokke sig, og det virkede efter jeg fjernede dedup.
Men efter #7 lyder det som om det har været andre problemer
Gå til top

Opret dig som bruger i dag

Det er gratis, og du binder dig ikke til noget.

Når du er oprettet som bruger, får du adgang til en lang række af sidens andre muligheder, såsom at udforme siden efter eget ønske og deltage i diskussionerne.

Opret Bruger Login