Re: [FreeBSD] Disk read corruption issues on server.

Author	All Replies
leibold Premium,MVM join:2002-07-09 Sunnyvale, CA kudos:2 Reviews: ·SONIC.NET ·Pacific Bell - SBC	reply to galacticroot Re: [FreeBSD] Disk read corruption issues on server. said by galacticroot: Oddly, the same thing does NOT happen with 2 gigs of zeros. Sounds like a bit that is either stuck at 0 or pulled down to 0 if certain conditions are fulfilled (e.g. neighboring bits are also 0). I disagree with your conclusion that the corruption is happening to the data in the cache (mainmemory of your system). Once cached the data doesn't change and memtest doesn't find any problems in main memory either. While that is not sufficient evidence to completely eliminate mainmemory it does make it more likely that the data is being corrupted on the way from one of the disk drives via the harddisk cache, the raid controller cache until it ends up corrupted in mainmemory. You said the server is in a datacenter, so incremental hardware changes can be a hassle. Do you have the ability to break the mirror and test the system with one drive at a time ? This can eliminate the memory cache on the harddisk itself as a possible source if the problem still happens with each of the drives. md5sum doesn't give us any clues as to the extend of the differences. What happens when you do a binary comparison of the random_2gig.dat file with itself ? (Probably no difference, but still worth testing). What about when you make a copy of the random_2gig.dat file and then keep comparing the two ? Which data bits are different and how many in each comparison ? Are low-order address bits always the same when data bytes are different ? -- Got some spare cpu cycles ? Join Team Helix or Team Starfire!
	to forum · permalink · 2007-05-24 21:59:54 ·

galacticroot join:2004-05-17 1 edit	First, my conclusion was that the corruption was occurring before it reaches the cache in main memory, which is what I did that test to show. Once a file is cached, it doesn't change. The 2 gig file is too big for the cache, so it is read differently each time and has changes. The smaller file is cached completely and isn't re-read. Second, as for the difference in the files, I noted that only the occasional byte was being changed in the post about tripwire. The corrupt bytes seemed random, since they were different each time. However, I decided to look more closely at the difference itself and found something VERY interesting. I wrote a small program to XOR files, one byte at a time: $ cp random_2gig.dat random_2gig-2.dat $ ./fxor random_2gig.dat random_2gig-2.dat xor.dat $ hexdump xor.dat 0000000 0000 0000 0000 0000 0000 0000 0000 0000 * 2416200 0000 0800 0000 0000 0000 0000 0000 0000 2416210 0000 0000 0000 0000 0000 0000 0000 0000 * 3525700 0000 0800 0000 0000 0000 0000 0000 0000 3525710 0000 0000 0000 0000 0000 0000 0000 0000 * 41fb300 0000 0800 0000 0000 0000 0000 0000 0000 41fb310 0000 0000 0000 0000 0000 0000 0000 0000 * 6619200 0000 0800 0000 0000 0000 0000 0000 0000 6619210 0000 0000 0000 0000 0000 0000 0000 0000 * 7ef3f00 0000 0800 0000 0000 0000 0000 0000 0000 7ef3f10 0000 0000 0000 0000 0000 0000 0000 0000 * 80f0c00 0000 0800 0000 0000 0000 0000 0000 0000 80f0c10 0000 0000 0000 0000 0000 0000 0000 0000 * 922c800 0000 0800 0000 0000 0000 0000 0000 0000 922c810 0000 0000 0000 0000 0000 0000 0000 0000 * b84df00 0000 0800 0000 0000 0000 0000 0000 0000 b84df10 0000 0000 0000 0000 0000 0000 0000 0000 * b860590 0000 0800 0000 0000 0000 0000 0000 0000 b8605a0 0000 0000 0000 0000 0000 0000 0000 0000 * cdb7200 0000 0800 0000 0000 0000 0000 0000 0000 cdb7210 0000 0000 0000 0000 0000 0000 0000 0000 * d1d1300 0000 0800 0000 0000 0000 0000 0000 0000 d1d1310 0000 0000 0000 0000 0000 0000 0000 0000 * d7ce200 0000 0800 0000 0000 0000 0000 0000 0000 d7ce210 0000 0000 0000 0000 0000 0000 0000 0000 * e5b9500 0000 0800 0000 0000 0000 0000 0000 0000 e5b9510 0000 0000 0000 0000 0000 0000 0000 0000 * fcf5a00 0000 0800 0000 0000 0000 0000 0000 0000 fcf5a10 0000 0000 0000 0000 0000 0000 0000 0000 * 10d67c00 0000 0800 0000 0000 0000 0000 0000 0000 10d67c10 0000 0000 0000 0000 0000 0000 0000 0000 * 11b02900 0000 0800 0000 0000 0000 0000 0000 0000 11b02910 0000 0000 0000 0000 0000 0000 0000 0000 * 12836600 0000 0800 0000 0000 0000 0000 0000 0000 12836610 0000 0000 0000 0000 0000 0000 0000 0000 * 12b82f00 0000 0800 0000 0000 0000 0000 0000 0000 12b82f10 0000 0000 0000 0000 0000 0000 0000 0000 * 13aa2400 0000 0800 0000 0000 0000 0000 0000 0000 13aa2410 0000 0000 0000 0000 0000 0000 0000 0000 * 14210400 0000 0800 0000 0000 0000 0000 0000 0000 14210410 0000 0000 0000 0000 0000 0000 0000 0000 * 14bc7d00 0000 0800 0000 0000 0000 0000 0000 0000 14bc7d10 0000 0000 0000 0000 0000 0000 0000 0000 * 14c32c00 0000 0800 0000 0000 0000 0000 0000 0000 14c32c10 0000 0000 0000 0000 0000 0000 0000 0000 * 19fb0e00 0000 0800 0000 0000 0000 0000 0000 0000 19fb0e10 0000 0000 0000 0000 0000 0000 0000 0000 * 1be4e100 0000 0800 0000 0000 0000 0000 0000 0000 1be4e110 0000 0000 0000 0000 0000 0000 0000 0000 * 1ca7cb00 0000 0800 0000 0000 0000 0000 0000 0000 1ca7cb10 0000 0000 0000 0000 0000 0000 0000 0000 * 1d460000 0000 0800 0000 0000 0000 0000 0000 0000 1d460010 0000 0000 0000 0000 0000 0000 0000 0000 * 1def1b00 0000 0800 0000 0000 0000 0000 0000 0000 1def1b10 0000 0000 0000 0000 0000 0000 0000 0000 * 21b00100 0000 0800 0000 0000 0000 0000 0000 0000 21b00110 0000 0000 0000 0000 0000 0000 0000 0000 * 2239de00 0000 0800 0000 0000 0000 0000 0000 0000 2239de10 0000 0000 0000 0000 0000 0000 0000 0000 * 23659e00 0000 0800 0000 0000 0000 0000 0000 0000 23659e10 0000 0000 0000 0000 0000 0000 0000 0000 * 236da900 0000 0800 0000 0000 0000 0000 0000 0000 236da910 0000 0000 0000 0000 0000 0000 0000 0000 * 252f0600 0000 0800 0000 0000 0000 0000 0000 0000 252f0610 0000 0000 0000 0000 0000 0000 0000 0000 * 2561e300 0000 0800 0000 0000 0000 0000 0000 0000 2561e310 0000 0000 0000 0000 0000 0000 0000 0000 * 25cd1400 0000 0800 0000 0000 0000 0000 0000 0000 25cd1410 0000 0000 0000 0000 0000 0000 0000 0000 * 262f9c00 0000 0800 0000 0000 0000 0000 0000 0000 262f9c10 0000 0000 0000 0000 0000 0000 0000 0000 * 2660d100 0000 0800 0000 0000 0000 0000 0000 0000 2660d110 0000 0000 0000 0000 0000 0000 0000 0000 * 26c7fd00 0000 0800 0000 0000 0000 0000 0000 0000 26c7fd10 0000 0000 0000 0000 0000 0000 0000 0000 * 26ed2a00 0000 0800 0000 0000 0000 0000 0000 0000 26ed2a10 0000 0000 0000 0000 0000 0000 0000 0000 * 272c8900 0000 0800 0000 0000 0000 0000 0000 0000 272c8910 0000 0000 0000 0000 0000 0000 0000 0000 * 274b0900 0000 0800 0000 0000 0000 0000 0000 0000 274b0910 0000 0000 0000 0000 0000 0000 0000 0000 * 28bc0d00 0000 0800 0000 0000 0000 0000 0000 0000 28bc0d10 0000 0000 0000 0000 0000 0000 0000 0000 * 29087c00 0000 0800 0000 0000 0000 0000 0000 0000 29087c10 0000 0000 0000 0000 0000 0000 0000 0000 * 2cb71500 0000 0800 0000 0000 0000 0000 0000 0000 2cb71510 0000 0000 0000 0000 0000 0000 0000 0000 * 2cbb3500 0000 0800 0000 0000 0000 0000 0000 0000 2cbb3510 0000 0000 0000 0000 0000 0000 0000 0000 * 2d6637f0 0000 0000 0000 0000 0000 0800 0000 0000 2d663800 0000 0000 0000 0000 0000 0000 0000 0000 * 2e0ef600 0000 0800 0000 0000 0000 0000 0000 0000 2e0ef610 0000 0000 0000 0000 0000 0000 0000 0000 * 2e2ac600 0000 0800 0000 0000 0000 0000 0000 0000 2e2ac610 0000 0000 0000 0000 0000 0000 0000 0000 * 2e543a00 0000 0800 0000 0000 0000 0000 0000 0000 2e543a10 0000 0000 0000 0000 0000 0000 0000 0000 * 31330700 0000 0800 0000 0000 0000 0000 0000 0000 31330710 0000 0000 0000 0000 0000 0000 0000 0000 * 32731100 0000 0800 0000 0000 0000 0000 0000 0000 32731110 0000 0000 0000 0000 0000 0000 0000 0000 * 3309a500 0000 0000 0000 0000 0000 0800 0000 0000 3309a510 0000 0000 0000 0000 0000 0000 0000 0000 * 335ba200 0000 0800 0000 0000 0000 0000 0000 0000 335ba210 0000 0000 0000 0000 0000 0000 0000 0000 * 3527a600 0000 0800 0000 0000 0000 0000 0000 0000 3527a610 0000 0000 0000 0000 0000 0000 0000 0000 * 35481200 0000 0800 0000 0000 0000 0000 0000 0000 35481210 0000 0000 0000 0000 0000 0000 0000 0000 * 362f5300 0000 0800 0000 0000 0000 0000 0000 0000 362f5310 0000 0000 0000 0000 0000 0000 0000 0000 * 366d5400 0000 0800 0000 0000 0000 0000 0000 0000 366d5410 0000 0000 0000 0000 0000 0000 0000 0000 * 36fb0500 0000 0800 0000 0000 0000 0000 0000 0000 36fb0510 0000 0000 0000 0000 0000 0000 0000 0000 * 372ab600 0000 0800 0000 0000 0000 0000 0000 0000 372ab610 0000 0000 0000 0000 0000 0000 0000 0000 * 372cfd00 0000 0800 0000 0000 0000 0000 0000 0000 372cfd10 0000 0000 0000 0000 0000 0000 0000 0000 * 38a33000 0000 0800 0000 0000 0000 0000 0000 0000 38a33010 0000 0000 0000 0000 0000 0000 0000 0000 * 39f75e00 0000 0800 0000 0000 0000 0000 0000 0000 39f75e10 0000 0000 0000 0000 0000 0000 0000 0000 * 3a15a900 0000 0800 0000 0000 0000 0000 0000 0000 3a15a910 0000 0000 0000 0000 0000 0000 0000 0000 * 3a554700 0000 0800 0000 0000 0000 0000 0000 0000 3a554710 0000 0000 0000 0000 0000 0000 0000 0000 * 3aaadb00 0000 0800 0000 0000 0000 0000 0000 0000 3aaadb10 0000 0000 0000 0000 0000 0000 0000 0000 * 3c5f6f00 0000 0800 0000 0000 0000 0000 0000 0000 3c5f6f10 0000 0000 0000 0000 0000 0000 0000 0000 * 3d492f00 0000 0800 0000 0000 0000 0000 0000 0000 3d492f10 0000 0000 0000 0000 0000 0000 0000 0000 * 3d4cd200 0000 0800 0000 0000 0000 0000 0000 0000 3d4cd210 0000 0000 0000 0000 0000 0000 0000 0000 * 3fceda00 0000 0800 0000 0000 0000 0000 0000 0000 3fceda10 0000 0000 0000 0000 0000 0000 0000 0000 * 3fe71e00 0000 0800 0000 0000 0000 0000 0000 0000 3fe71e10 0000 0000 0000 0000 0000 0000 0000 0000 * 4068e200 0000 0800 0000 0000 0000 0000 0000 0000 4068e210 0000 0000 0000 0000 0000 0000 0000 0000 * 408d1600 0000 0000 0000 0000 0000 0800 0000 0000 408d1610 0000 0000 0000 0000 0000 0000 0000 0000 * 42999300 0000 0800 0000 0000 0000 0000 0000 0000 42999310 0000 0000 0000 0000 0000 0000 0000 0000 * 44540200 0000 0800 0000 0000 0000 0000 0000 0000 44540210 0000 0000 0000 0000 0000 0000 0000 0000 * 4544b800 0000 0800 0000 0000 0000 0000 0000 0000 4544b810 0000 0000 0000 0000 0000 0000 0000 0000 * 458f3300 0000 0800 0000 0000 0000 0000 0000 0000 458f3310 0000 0000 0000 0000 0000 0000 0000 0000 * 45928d00 0000 0800 0000 0000 0000 0000 0000 0000 45928d10 0000 0000 0000 0000 0000 0000 0000 0000 * 459c8300 0000 0800 0000 0000 0000 0000 0000 0000 459c8310 0000 0000 0000 0000 0000 0000 0000 0000 * 45b2f800 0000 0800 0000 0000 0000 0000 0000 0000 45b2f810 0000 0000 0000 0000 0000 0000 0000 0000 * 45bfaa00 0000 0800 0000 0000 0000 0000 0000 0000 45bfaa10 0000 0000 0000 0000 0000 0000 0000 0000 * 45d12000 0000 0800 0000 0000 0000 0000 0000 0000 45d12010 0000 0000 0000 0000 0000 0000 0000 0000 * 46022500 0000 0800 0000 0000 0000 0000 0000 0000 46022510 0000 0000 0000 0000 0000 0000 0000 0000 * 477d88b0 0000 0000 0000 0000 0000 0800 0000 0000 477d88c0 0000 0000 0000 0000 0000 0000 0000 0000 * 478d7000 0000 0800 0000 0000 0000 0000 0000 0000 478d7010 0000 0000 0000 0000 0000 0000 0000 0000 * 49051700 0000 0800 0000 0000 0000 0000 0000 0000 49051710 0000 0000 0000 0000 0000 0000 0000 0000 * 49afa200 0000 0800 0000 0000 0000 0000 0000 0000 49afa210 0000 0000 0000 0000 0000 0000 0000 0000 * 4a74d100 0000 0800 0000 0000 0000 0000 0000 0000 4a74d110 0000 0000 0000 0000 0000 0000 0000 0000 * 4a935700 0000 0800 0000 0000 0000 0000 0000 0000 4a935710 0000 0000 0000 0000 0000 0000 0000 0000 * 4b3f0a00 0000 0800 0000 0000 0000 0000 0000 0000 4b3f0a10 0000 0000 0000 0000 0000 0000 0000 0000 * 4c6c1d00 0000 0800 0000 0000 0000 0000 0000 0000 4c6c1d10 0000 0000 0000 0000 0000 0000 0000 0000 * 4cb75f00 0000 0800 0000 0000 0000 0000 0000 0000 4cb75f10 0000 0000 0000 0000 0000 0000 0000 0000 * 4dc88700 0000 0800 0000 0000 0000 0000 0000 0000 4dc88710 0000 0000 0000 0000 0000 0000 0000 0000 * 4ec13b00 0000 0800 0000 0000 0000 0000 0000 0000 4ec13b10 0000 0000 0000 0000 0000 0000 0000 0000 * 503eb100 0000 0800 0000 0000 0000 0000 0000 0000 503eb110 0000 0000 0000 0000 0000 0000 0000 0000 * 508f2000 0000 0800 0000 0000 0000 0000 0000 0000 508f2010 0000 0000 0000 0000 0000 0000 0000 0000 * 50f6ed00 0000 0800 0000 0000 0000 0000 0000 0000 50f6ed10 0000 0000 0000 0000 0000 0000 0000 0000 * 51978800 0000 0800 0000 0000 0000 0000 0000 0000 51978810 0000 0000 0000 0000 0000 0000 0000 0000 * 51bca200 0000 0800 0000 0000 0000 0000 0000 0000 51bca210 0000 0000 0000 0000 0000 0000 0000 0000 * 534b5000 0000 0800 0000 0000 0000 0000 0000 0000 534b5010 0000 0000 0000 0000 0000 0000 0000 0000 * 53791f00 0000 0800 0000 0000 0000 0000 0000 0000 53791f10 0000 0000 0000 0000 0000 0000 0000 0000 * 53b9a300 0000 0800 0000 0000 0000 0000 0000 0000 53b9a310 0000 0000 0000 0000 0000 0000 0000 0000 * 541a0600 0000 0800 0000 0000 0000 0000 0000 0000 541a0610 0000 0000 0000 0000 0000 0000 0000 0000 * 560b8200 0000 0800 0000 0000 0000 0000 0000 0000 560b8210 0000 0000 0000 0000 0000 0000 0000 0000 * 560b8c00 0000 0800 0000 0000 0000 0000 0000 0000 560b8c10 0000 0000 0000 0000 0000 0000 0000 0000 * 5796da00 0000 0800 0000 0000 0000 0000 0000 0000 5796da10 0000 0000 0000 0000 0000 0000 0000 0000 * 57d29200 0000 0800 0000 0000 0000 0000 0000 0000 57d29210 0000 0000 0000 0000 0000 0000 0000 0000 * 587d1000 0000 0800 0000 0000 0000 0000 0000 0000 587d1010 0000 0000 0000 0000 0000 0000 0000 0000 * 590d3100 0000 0800 0000 0000 0000 0000 0000 0000 590d3110 0000 0000 0000 0000 0000 0000 0000 0000 * 59b3a500 0000 0800 0000 0000 0000 0000 0000 0000 59b3a510 0000 0000 0000 0000 0000 0000 0000 0000 * 5db62600 0000 0800 0000 0000 0000 0000 0000 0000 5db62610 0000 0000 0000 0000 0000 0000 0000 0000 * 5dfce200 0000 0800 0000 0000 0000 0000 0000 0000 5dfce210 0000 0000 0000 0000 0000 0000 0000 0000 * 5ee54b00 0000 0800 0000 0000 0000 0000 0000 0000 5ee54b10 0000 0000 0000 0000 0000 0000 0000 0000 * 5f102300 0000 0800 0000 0000 0000 0000 0000 0000 5f102310 0000 0000 0000 0000 0000 0000 0000 0000 * 5f31d300 0000 0800 0000 0000 0000 0000 0000 0000 5f31d310 0000 0000 0000 0000 0000 0000 0000 0000 * 5f75ba00 0000 0800 0000 0000 0000 0000 0000 0000 5f75ba10 0000 0000 0000 0000 0000 0000 0000 0000 * 6001a200 0000 0800 0000 0000 0000 0000 0000 0000 6001a210 0000 0000 0000 0000 0000 0000 0000 0000 * 638d0f00 0000 0800 0000 0000 0000 0000 0000 0000 638d0f10 0000 0000 0000 0000 0000 0000 0000 0000 * 63ddb800 0000 0800 0000 0000 0000 0000 0000 0000 63ddb810 0000 0000 0000 0000 0000 0000 0000 0000 * 64ce0e00 0000 0800 0000 0000 0000 0000 0000 0000 64ce0e10 0000 0000 0000 0000 0000 0000 0000 0000 * 68611400 0000 0800 0000 0000 0000 0000 0000 0000 68611410 0000 0000 0000 0000 0000 0000 0000 0000 * 69231a00 0000 0800 0000 0000 0000 0000 0000 0000 69231a10 0000 0000 0000 0000 0000 0000 0000 0000 * 693b2200 0000 0800 0000 0000 0000 0000 0000 0000 693b2210 0000 0000 0000 0000 0000 0000 0000 0000 * 69592500 0000 0800 0000 0000 0000 0000 0000 0000 69592510 0000 0000 0000 0000 0000 0000 0000 0000 * 69fb3000 0000 0800 0000 0000 0000 0000 0000 0000 69fb3010 0000 0000 0000 0000 0000 0000 0000 0000 * 6b2f2200 0000 0800 0000 0000 0000 0000 0000 0000 6b2f2210 0000 0000 0000 0000 0000 0000 0000 0000 * 6baa0200 0000 0800 0000 0000 0000 0000 0000 0000 6baa0210 0000 0000 0000 0000 0000 0000 0000 0000 * 6c7b1100 0000 0800 0000 0000 0000 0000 0000 0000 6c7b1110 0000 0000 0000 0000 0000 0000 0000 0000 * 6dd8aa00 0000 0800 0000 0000 0000 0000 0000 0000 6dd8aa10 0000 0000 0000 0000 0000 0000 0000 0000 * 6e34d500 0000 0800 0000 0000 0000 0000 0000 0000 6e34d510 0000 0000 0000 0000 0000 0000 0000 0000 * 6e932800 0000 0800 0000 0000 0000 0000 0000 0000 6e932810 0000 0000 0000 0000 0000 0000 0000 0000 * 6fe7b200 0000 0800 0000 0000 0000 0000 0000 0000 6fe7b210 0000 0000 0000 0000 0000 0000 0000 0000 * 6feff700 0000 0800 0000 0000 0000 0000 0000 0000 6feff710 0000 0000 0000 0000 0000 0000 0000 0000 * 7447ec00 0000 0800 0000 0000 0000 0000 0000 0000 7447ec10 0000 0000 0000 0000 0000 0000 0000 0000 * 75033e00 0000 0800 0000 0000 0000 0000 0000 0000 75033e10 0000 0000 0000 0000 0000 0000 0000 0000 * 755f7100 0000 0800 0000 0000 0000 0000 0000 0000 755f7110 0000 0000 0000 0000 0000 0000 0000 0000 * 761daa00 0000 0800 0000 0000 0000 0000 0000 0000 761daa10 0000 0000 0000 0000 0000 0000 0000 0000 * 7662de00 0000 0800 0000 0000 0000 0000 0000 0000 7662de10 0000 0000 0000 0000 0000 0000 0000 0000 * 76be0500 0000 0800 0000 0000 0000 0000 0000 0000 76be0510 0000 0000 0000 0000 0000 0000 0000 0000 * 78162a00 0000 0800 0000 0000 0000 0000 0000 0000 78162a10 0000 0000 0000 0000 0000 0000 0000 0000 * 7a42d600 0000 0800 0000 0000 0000 0000 0000 0000 7a42d610 0000 0000 0000 0000 0000 0000 0000 0000 * 7b330400 0000 0800 0000 0000 0000 0000 0000 0000 7b330410 0000 0000 0000 0000 0000 0000 0000 0000 * 7bf94100 0000 0800 0000 0000 0000 0000 0000 0000 7bf94110 0000 0000 0000 0000 0000 0000 0000 0000 * 7c3d3000 0000 0800 0000 0000 0000 0000 0000 0000 7c3d3010 0000 0000 0000 0000 0000 0000 0000 0000 * 7d65da00 0000 0800 0000 0000 0000 0000 0000 0000 7d65da10 0000 0000 0000 0000 0000 0000 0000 0000 * 7f75b200 0000 0800 0000 0000 0000 0000 0000 0000 7f75b210 0000 0000 0000 0000 0000 0000 0000 0000 * 7f870800 0000 0800 0000 0000 0000 0000 0000 0000 7f870810 0000 0000 0000 0000 0000 0000 0000 0000 * 7f913600 0000 0800 0000 0000 0000 0000 0000 0000 7f913610 0000 0000 0000 0000 0000 0000 0000 0000 * 80000000 Note that this files has been corrupted three times, once on copy, and twice when reading the two files.
	to forum · permalink · 2007-05-24 23:41:59 ·
leibold Premium,MVM join:2002-07-09 Sunnyvale, CA kudos:2 Reviews: ·SONIC.NET ·Pacific Bell - SBC	That is what I was looking for. It is always the same bit in a 128bit/16byte word (it would be an even larger address space if it wasn't for that one error at 0xb860592). As elegant as your xor trick is in highlighting the defect bit, it hides whether it is always the same kind of change (0 to 1 or 1 to 0) or if it is random (however my guess would be that it is always the same change). If the corruption was happening in a serial bus (such as the sata cables to your disk drives) or in a narrow parallel bus (e.g.: 32-bit PCI bus) then the defect would show up in other positions as well. This is very typical for a single bad memory cell and it would have to be an area where you have a wide parallel bus (such as a dual-channel memory interface which is 128-bit wide) for it to be otherwise. However if it was the main memory interface or one of the cpu caches I would expect more serious problems in keeping the system running. I would also expect memtest86/memtest86+ to detect those errors. My guess is either the memory on the raid controller or a harddisk cache memory chip (none of which can be tested with memtest). I don't think you will be able to further narrow it down without swapping parts. P.S.: rereading your posts I don't see how I got the wrong impression on what your conclusions were. Sorry! -- Got some spare cpu cycles ? Join Team Helix or Team Starfire!
	to forum · permalink · 2007-05-25 02:19:10 ·
krod7 meh join:2007-04-08 1 edit	reply to galacticroot I noticed in your previous topic it was always that 8valued bit, and that it was 7h(0x0111) changed to Fh(0x1111), but that was only with a few samples you gave and the first one didnt match that rule(in increased in size?? or was that a typo?)
	to forum · permalink · 2007-05-25 03:35:17 ·
galacticroot join:2004-05-17	It is occurring at the same space in 64 bit blocks, and the PCI bus is 64 bit. I would assume that that an error on that would cause other issues, but maybe not. The RAID controller has error corrected memory, so I assume the problem would be detected if it was that. Interestingly, by far the most common change is from f7 to ff. Assuming the /dev/urandom (which the file is from) produces reasonably distributed data, the corrupted bit seems to be highly dependent on the bits around it. This may indicate that the problem is caused by a minor voltage leakage between adjacent bus lines. Perhaps the PCI connection needs cleaning or reseating? Here is a more extensive summary of the file changes. This is a different read and does not correspond with the XORed file above. 2416204: (d7 != df) ^= 8 BIN: 11010111 11011111 3bfbe04: (ff != f7) ^= 8 BIN: 11111111 11110111 4012304: (77 != 7f) ^= 8 BIN: 01110111 01111111 4c42804: (7f != 77) ^= 8 BIN: 01111111 01110111 51a4904: (ff != f7) ^= 8 BIN: 11111111 11110111 5f2e004: (f7 != ff) ^= 8 BIN: 11110111 11111111 6619204: (f7 != ff) ^= 8 BIN: 11110111 11111111 7cf6404: (f7 != ff) ^= 8 BIN: 11110111 11111111 7ef3f04: (f7 != ff) ^= 8 BIN: 11110111 11111111 80f0c04: (f7 != ff) ^= 8 BIN: 11110111 11111111 8c92004: (ff != f7) ^= 8 BIN: 11111111 11110111 8ce5104: (ff != f7) ^= 8 BIN: 11111111 11110111 9ec5304: (ff != f7) ^= 8 BIN: 11111111 11110111 aabcc04: (7f != 77) ^= 8 BIN: 01111111 01110111 b860594: (f7 != ff) ^= 8 BIN: 11110111 11111111 c296f04: (f7 != ff) ^= 8 BIN: 11110111 11111111 c4b5a04: (ef != e7) ^= 8 BIN: 11101111 11100111 c9ddc04: (7f != 77) ^= 8 BIN: 01111111 01110111 cc9b204: (f7 != ff) ^= 8 BIN: 11110111 11111111 cdb7204: (f7 != ff) ^= 8 BIN: 11110111 11111111 e060f04: (e7 != ef) ^= 8 BIN: 11100111 11101111 e5b9504: (d7 != df) ^= 8 BIN: 11010111 11011111 f2a570c: (df != d7) ^= 8 BIN: 11011111 11010111 f52cc04: (f7 != ff) ^= 8 BIN: 11110111 11111111 10540904: (77 != 7f) ^= 8 BIN: 01110111 01111111 107a0904: (d7 != df) ^= 8 BIN: 11010111 11011111 125c5504: (ef != e7) ^= 8 BIN: 11101111 11100111 12836604: (f6 != fe) ^= 8 BIN: 11110110 11111110 12a61204: (d7 != df) ^= 8 BIN: 11010111 11011111 12d4ce04: (ff != f7) ^= 8 BIN: 11111111 11110111 132a4e04: (ff != f7) ^= 8 BIN: 11111111 11110111 14210404: (e7 != ef) ^= 8 BIN: 11100111 11101111 14c32c04: (f5 != fd) ^= 8 BIN: 11110101 11111101 162c0504: (ff != f7) ^= 8 BIN: 11111111 11110111 16801004: (f7 != ff) ^= 8 BIN: 11110111 11111111 176fdb04: (ff != f7) ^= 8 BIN: 11111111 11110111 18904d04: (ff != f7) ^= 8 BIN: 11111111 11110111 1b649504: (f7 != ff) ^= 8 BIN: 11110111 11111111 1ca7cb04: (77 != 7f) ^= 8 BIN: 01110111 01111111 1d460004: (77 != 7f) ^= 8 BIN: 01110111 01111111 1d845604: (fb != f3) ^= 8 BIN: 11111011 11110011 1eb84d04: (ff != f7) ^= 8 BIN: 11111111 11110111 20672904: (d7 != df) ^= 8 BIN: 11010111 11011111 20df9f04: (ff != f7) ^= 8 BIN: 11111111 11110111 20f04304: (ff != f7) ^= 8 BIN: 11111111 11110111 212a4b04: (ff != f7) ^= 8 BIN: 11111111 11110111 221aa904: (77 != 7f) ^= 8 BIN: 01110111 01111111 22765104: (6f != 67) ^= 8 BIN: 01101111 01100111 23659e04: (f6 != fe) ^= 8 BIN: 11110110 11111110 236da904: (77 != 7f) ^= 8 BIN: 01110111 01111111 25744604: (ff != f7) ^= 8 BIN: 11111111 11110111 25cd1404: (e7 != ef) ^= 8 BIN: 11100111 11101111 25e8cf04: (ff != f7) ^= 8 BIN: 11111111 11110111 2603bf04: (f7 != ff) ^= 8 BIN: 11110111 11111111 262f9c04: (77 != 7f) ^= 8 BIN: 01110111 01111111 269bca04: (df != d7) ^= 8 BIN: 11011111 11010111 274b0904: (f5 != fd) ^= 8 BIN: 11110101 11111101 2750a704: (f7 != ff) ^= 8 BIN: 11110111 11111111 28082c04: (ff != f7) ^= 8 BIN: 11111111 11110111 28e7da04: (f7 != ff) ^= 8 BIN: 11110111 11111111 2a4e4f04: (df != d7) ^= 8 BIN: 11011111 11010111 2afe5904: (fe != f6) ^= 8 BIN: 11111110 11110110 2b70c904: (ff != f7) ^= 8 BIN: 11111111 11110111 2cbb3504: (d7 != df) ^= 8 BIN: 11010111 11011111 2d6637fc: (f7 != ff) ^= 8 BIN: 11110111 11111111 2dca4f04: (df != d7) ^= 8 BIN: 11011111 11010111 2dcab804: (ff != f7) ^= 8 BIN: 11111111 11110111 2f782b04: (e7 != ef) ^= 8 BIN: 11100111 11101111 2fd42604: (7f != 77) ^= 8 BIN: 01111111 01110111 2ffdd604: (ff != f7) ^= 8 BIN: 11111111 11110111 30763704: (f7 != ff) ^= 8 BIN: 11110111 11111111 3092c404: (ff != f7) ^= 8 BIN: 11111111 11110111 30cc1104: (f7 != ff) ^= 8 BIN: 11110111 11111111 30fb9804: (d7 != df) ^= 8 BIN: 11010111 11011111 31330704: (f7 != ff) ^= 8 BIN: 11110111 11111111 31d64004: (ff != f7) ^= 8 BIN: 11111111 11110111 32544304: (cf != c7) ^= 8 BIN: 11001111 11000111 32731104: (77 != 7f) ^= 8 BIN: 01110111 01111111 3309a50c: (f7 != ff) ^= 8 BIN: 11110111 11111111 335ba204: (f7 != ff) ^= 8 BIN: 11110111 11111111 34c9a404: (e7 != ef) ^= 8 BIN: 11100111 11101111 3527a604: (57 != 5f) ^= 8 BIN: 01010111 01011111 35481204: (f7 != ff) ^= 8 BIN: 11110111 11111111 35d85104: (7e != 76) ^= 8 BIN: 01111110 01110110 362f5304: (d7 != df) ^= 8 BIN: 11010111 11011111 3840da04: (ff != f7) ^= 8 BIN: 11111111 11110111 38a33004: (f5 != fd) ^= 8 BIN: 11110101 11111101 39185804: (ef != e7) ^= 8 BIN: 11101111 11100111 3a15a904: (d7 != df) ^= 8 BIN: 11010111 11011111 3a554704: (f7 != ff) ^= 8 BIN: 11110111 11111111 3c5f6f04: (d7 != df) ^= 8 BIN: 11010111 11011111 3d17ae04: (77 != 7f) ^= 8 BIN: 01110111 01111111 3d492f04: (f7 != ff) ^= 8 BIN: 11110111 11111111 3fad7604: (ff != f7) ^= 8 BIN: 11111111 11110111 3fb65104: (ff != f7) ^= 8 BIN: 11111111 11110111 3fe71e04: (57 != 5f) ^= 8 BIN: 01010111 01011111 40204404: (ff != f7) ^= 8 BIN: 11111111 11110111 40b79b04: (d7 != df) ^= 8 BIN: 11010111 11011111 4478db04: (f7 != ff) ^= 8 BIN: 11110111 11111111 45444c04: (ef != e7) ^= 8 BIN: 11101111 11100111 4544b804: (76 != 7e) ^= 8 BIN: 01110110 01111110 45745404: (ff != f7) ^= 8 BIN: 11111111 11110111 45bfaa04: (d7 != df) ^= 8 BIN: 11010111 11011111 45d12004: (77 != 7f) ^= 8 BIN: 01110111 01111111 45d20004: (55 != 5d) ^= 8 BIN: 01010101 01011101 477d88bc: (76 != 7e) ^= 8 BIN: 01110110 01111110 478d7004: (67 != 6f) ^= 8 BIN: 01100111 01101111 48945c04: (dd != d5) ^= 8 BIN: 11011101 11010101 48dc4d04: (ff != f7) ^= 8 BIN: 11111111 11110111 493cbf04: (ff != f7) ^= 8 BIN: 11111111 11110111 49afa204: (57 != 5f) ^= 8 BIN: 01010111 01011111 49d3bf04: (ff != f7) ^= 8 BIN: 11111111 11110111 49d84c04: (ff != f7) ^= 8 BIN: 11111111 11110111 4a763804: (ff != f7) ^= 8 BIN: 11111111 11110111 4a935704: (67 != 6f) ^= 8 BIN: 01100111 01101111 4c640504: (f7 != ff) ^= 8 BIN: 11110111 11111111 4c6c1d04: (f7 != ff) ^= 8 BIN: 11110111 11111111 4c7f2604: (ff != f7) ^= 8 BIN: 11111111 11110111 4d674204: (d7 != df) ^= 8 BIN: 11010111 11011111 4dc88704: (f7 != ff) ^= 8 BIN: 11110111 11111111 4ec13b04: (f7 != ff) ^= 8 BIN: 11110111 11111111 4ece0a04: (f7 != ff) ^= 8 BIN: 11110111 11111111 4fe22d04: (ff != f7) ^= 8 BIN: 11111111 11110111 501c4f04: (fd != f5) ^= 8 BIN: 11111101 11110101 503eb104: (f7 != ff) ^= 8 BIN: 11110111 11111111 51f04304: (d7 != df) ^= 8 BIN: 11010111 11011111 51f7c704: (ff != f7) ^= 8 BIN: 11111111 11110111 522e570c: (df != d7) ^= 8 BIN: 11011111 11010111 52320b04: (f7 != ff) ^= 8 BIN: 11110111 11111111 5271cc04: (7f != 77) ^= 8 BIN: 01111111 01110111 5274da04: (ef != e7) ^= 8 BIN: 11101111 11100111 53791f04: (f7 != ff) ^= 8 BIN: 11110111 11111111 538eb904: (df != d7) ^= 8 BIN: 11011111 11010111 53b9a304: (f7 != ff) ^= 8 BIN: 11110111 11111111 53d0bf04: (ff != f7) ^= 8 BIN: 11111111 11110111 555a5f04: (ff != f7) ^= 8 BIN: 11111111 11110111 560b8204: (f7 != ff) ^= 8 BIN: 11110111 11111111 560b8c04: (77 != 7f) ^= 8 BIN: 01110111 01111111 571fb704: (f7 != ff) ^= 8 BIN: 11110111 11111111 57a71404: (dd != d5) ^= 8 BIN: 11011101 11010101 587d1004: (77 != 7f) ^= 8 BIN: 01110111 01111111 590d3104: (d7 != df) ^= 8 BIN: 11010111 11011111 59b3a504: (d7 != df) ^= 8 BIN: 11010111 11011111 59f42304: (f7 != ff) ^= 8 BIN: 11110111 11111111 5bf24c04: (f7 != ff) ^= 8 BIN: 11110111 11111111 5c82bc04: (ff != f7) ^= 8 BIN: 11111111 11110111 5ed83c04: (df != d7) ^= 8 BIN: 11011111 11010111 5ee54b04: (f7 != ff) ^= 8 BIN: 11110111 11111111 5f75ba04: (f7 != ff) ^= 8 BIN: 11110111 11111111 5ff41004: (77 != 7f) ^= 8 BIN: 01110111 01111111 5ffc4504: (ff != f7) ^= 8 BIN: 11111111 11110111 6001a204: (d7 != df) ^= 8 BIN: 11010111 11011111 6086a604: (ff != f7) ^= 8 BIN: 11111111 11110111 612ec604: (ff != f7) ^= 8 BIN: 11111111 11110111 61cab504: (f7 != ff) ^= 8 BIN: 11110111 11111111 61e53204: (7f != 77) ^= 8 BIN: 01111111 01110111 62de0204: (f7 != ff) ^= 8 BIN: 11110111 11111111 638d0f04: (77 != 7f) ^= 8 BIN: 01110111 01111111 63ddb804: (f7 != ff) ^= 8 BIN: 11110111 11111111 66149304: (f7 != ff) ^= 8 BIN: 11110111 11111111 66504e04: (ff != f7) ^= 8 BIN: 11111111 11110111 66b42a04: (7f != 77) ^= 8 BIN: 01111111 01110111 693b2204: (f7 != ff) ^= 8 BIN: 11110111 11111111 69404e04: (ff != f7) ^= 8 BIN: 11111111 11110111 69592504: (f7 != ff) ^= 8 BIN: 11110111 11111111 69fb3004: (e7 != ef) ^= 8 BIN: 11100111 11101111 6a2dad04: (e7 != ef) ^= 8 BIN: 11100111 11101111 6b37bd04: (df != d7) ^= 8 BIN: 11011111 11010111 6b705b04: (ff != f7) ^= 8 BIN: 11111111 11110111 6b85fc04: (ff != f7) ^= 8 BIN: 11111111 11110111 6c724704: (7f != 77) ^= 8 BIN: 01111111 01110111 6c7b1104: (57 != 5f) ^= 8 BIN: 01010111 01011111 6d60cd04: (ff != f7) ^= 8 BIN: 11111111 11110111 6e54b004: (ff != f7) ^= 8 BIN: 11111111 11110111 6e7c2804: (f7 != ff) ^= 8 BIN: 11110111 11111111 6e932804: (57 != 5f) ^= 8 BIN: 01010111 01011111 6ed6f504: (df != d7) ^= 8 BIN: 11011111 11010111 6ef6c904: (f7 != ff) ^= 8 BIN: 11110111 11111111 6f9a9e04: (f7 != ff) ^= 8 BIN: 11110111 11111111 6fe7b204: (f7 != ff) ^= 8 BIN: 11110111 11111111 6feff704: (f7 != ff) ^= 8 BIN: 11110111 11111111 6ff2de04: (d7 != df) ^= 8 BIN: 11010111 11011111 707c0404: (ff != f7) ^= 8 BIN: 11111111 11110111 70c33504: (ff != f7) ^= 8 BIN: 11111111 11110111 7359c104: (c7 != cf) ^= 8 BIN: 11000111 11001111 74f21204: (d7 != df) ^= 8 BIN: 11010111 11011111 75033e04: (f7 != ff) ^= 8 BIN: 11110111 11111111 75905304: (af != a7) ^= 8 BIN: 10101111 10100111 75adc904: (f7 != ff) ^= 8 BIN: 11110111 11111111 761daa04: (77 != 7f) ^= 8 BIN: 01110111 01111111 7669b504: (f7 != ff) ^= 8 BIN: 11110111 11111111 76b3ac04: (d7 != df) ^= 8 BIN: 11010111 11011111 76de7504: (ff != f7) ^= 8 BIN: 11111111 11110111 76f1e404: (ff != f7) ^= 8 BIN: 11111111 11110111 78b6d404: (ff != f7) ^= 8 BIN: 11111111 11110111 79544e04: (f7 != ff) ^= 8 BIN: 11110111 11111111 79e1bf04: (ff != f7) ^= 8 BIN: 11111111 11110111 79ef3604: (ff != f7) ^= 8 BIN: 11111111 11110111 79f43b04: (77 != 7f) ^= 8 BIN: 01110111 01111111 7b330404: (f7 != ff) ^= 8 BIN: 11110111 11111111 7ba80504: (f7 != ff) ^= 8 BIN: 11110111 11111111 7bf94104: (f7 != ff) ^= 8 BIN: 11110111 11111111 7c3d3004: (f7 != ff) ^= 8 BIN: 11110111 11111111 7c7f4604: (ff != f7) ^= 8 BIN: 11111111 11110111 7d65da04: (d7 != df) ^= 8 BIN: 11010111 11011111 7d90db04: (ff != f7) ^= 8 BIN: 11111111 11110111 7daacc04: (f7 != ff) ^= 8 BIN: 11110111 11111111 7e744504: (7e != 76) ^= 8 BIN: 01111110 01110110 7f540204: (c7 != cf) ^= 8 BIN: 11000111 11001111 7f75b204: (e7 != ef) ^= 8 BIN: 11100111 11101111 7f913604: (57 != 5f) ^= 8 BIN: 01010111 01011111
	to forum · permalink · 2007-05-25 18:23:35 ·
galacticroot join:2004-05-17	Problem solved. There was a scratch and corrosion across some of the traces on an unused PCI riser card.
	to forum · permalink · 2007-06-17 19:00:09 ·

OS and Software > All Things Unix > [FreeBSD] Disk read corruption issues on server.