Hi Brock, I tracked this down to a bad lseek (instead of lseek64) in ebofs. Fixed in the latest unstable.
thanks- sage On Tue, 8 Jul 2008, Erwin, Brock A wrote: > I am using iozone (www.iozone.org) to perform file system tests on Ceph. > I have encountered a data corruption problem when iozone tries to read > back an 8 GB file that it wrote. > > > > Here's the command I ran to invoke iozone: > > > > cd /mnt/cephfs > > /home/berwin/iozone3_303/src/current/iozone -Ra -g 16G > > /home/berwin/fstests/ceph/iozone/output$num > > > > Which ran fine for a while and then the following error: > > > > Error in file: Found ?48456fe4? Expecting ?1313131313131313? addr > 7f3f89f01000 > > Error in file: Position 69632 > > Record # 1 Record size 64 kb > > where 7f3f89f01000 loop 4096 > > > > > > The full output is below. Let me know if you need specifics about the > system I am on. > > > > -Brock > > > > > > [EMAIL PROTECTED] iozone]# cat output1 > > Iozone: Performance Test of File I/O > > Version $Revision: 3.303 $ > > Compiled for 64 bit mode. > > Build: linux-AMD64 > > > > Contributors:William Norcott, Don Capps, Isom Crawford, Kirby > Collins > > Al Slater, Scott Rhine, Mike Wisner, Ken Goss > > Steve Landherr, Brad Smith, Mark Kelly, Dr. Alain > CYR, > > Randy Dunlap, Mark Montague, Dan Million, > > Jean-Marc Zucconi, Jeff Blomberg, Benny Halevy, > > Erik Habbinga, Kris Strecker, Walter Wong, Joshua > Root. > > > > Run began: Tue Jul 8 13:02:41 2008 > > > > Excel chart generation enabled > > Auto Mode > > Using maximum file size of 16777216 kilobytes. > > Command line used: /home/berwin/iozone3_303/src/current/iozone > -Ra -g 16G > > Output is in Kbytes/sec > > Time Resolution = 0.000001 seconds. > > Processor cache size set to 1024 Kbytes. > > Processor cache line size set to 32 bytes. > > File stride size set to 17 * record size. > > random > random bkwd record stride > > KB reclen write rewrite read reread read > write read rewrite read fwrite frewrite fread freread > > 64 4 532815 913649 1452528 1879725 1452528 > 831569 1101022 1017549 1452528 35008 821391 1310683 1892980 > > 64 8 659861 1138375 2006158 2358717 2133730 > 1143223 1599680 1330167 1828508 29616 1143223 1879725 1892980 > > 64 16 703068 1279447 2358717 2278628 1879725 > 1460430 1879725 1526887 2278628 29711 1421755 2278628 2379626 > > 64 32 1002351 1392258 2772930 2561267 3203069 > 1518251 2203800 1679761 2561267 30175 2133730 2662899 2662899 > > 64 64 926260 1421755 3057153 2467108 3363612 > 1679761 2278628 1722886 2662899 35302 1526887 2662899 3541098 > > 128 4 640042 901083 1684006 1878447 1598754 > 1007629 1377278 948860 1319723 42940 914904 1603529 1975201 > > 128 8 821147 1175271 1967960 2004703 2175277 > 1254941 1710838 1406136 1878447 68999 1121270 1885042 2175277 > > 128 16 962469 1406136 2409592 2784517 2784517 > 1406136 2098744 1579934 2248149 70485 1373754 2058509 2969325 > > 128 32 1000121 1440082 2558895 3053774 2969325 > 1584598 1997245 1827299 2558895 71035 1642783 2511022 3380677 > > 128 64 1152564 1471662 2673584 3199360 3560017 > 1663139 2326073 1772988 2511022 68445 2377579 2608629 3560017 > > 128 128 1030846 1421023 2905056 2714132 3657016 > 1749872 2464907 1778862 2558895 69338 1561553 2905056 3759450 > > 256 4 736041 1057034 1778290 1855098 1622442 > 1008392 1525622 981656 1497953 127434 927393 1814348 1894373 > > 256 8 883152 1312954 2310087 2305128 2223962 > 1230218 1970871 1304976 1938842 128180 1148625 2247235 2413957 > > 256 16 1004618 1514860 2458168 2754556 2692393 > 1487577 2371308 1778290 2419396 129885 1384034 2632974 3052087 > > 256 32 1108314 1540948 2911402 3043436 3236056 > 1579483 2672291 1881098 2754556 136247 1570244 2880164 3454704 > > 256 64 1103757 1581810 2726577 3159869 3511189 > 1540948 2849590 1924938 2975955 122603 1704877 3123106 3705040 > > 256 128 1147398 1729594 3326279 3285566 3654598 > 1673001 2943325 1817419 3123106 144207 2435861 3236056 3823789 > > 256 256 1287760 1755037 3368013 3368013 3823789 > 1829808 3285566 1842366 3511189 137927 1790149 3465855 3879045 > > 512 4 801059 1081961 1766304 1867692 1585086 > 991998 1488408 997991 1527582 197910 965679 1747618 1902438 > > 512 8 939486 1387437 2158696 2235086 2178404 > 1302447 1961520 1471074 2024389 251732 1195832 2081286 2471765 > > 512 16 1032540 1547395 2681653 2695115 2768068 > 1551867 2449212 1718254 2521095 248441 1369738 2695115 2991733 > > 512 32 1169140 1662389 2875558 3081897 3284589 > 1616100 2796910 1854787 2826358 247582 1542947 2860238 3239989 > > 512 64 1143004 1741948 2768068 3122224 3527371 > 1766304 2910635 1970519 3279573 245544 1695195 2926501 3684733 > > 512 128 1191189 1829505 3068685 3284589 3736016 > 1766304 3201349 1917728 3481620 264735 1917728 3279573 3634839 > > 512 256 1230786 1801873 3158966 3104171 3527371 > 1848401 3029721 1889050 3556580 256238 2587935 3158966 3788747 > > 512 512 1289930 1874212 2622702 2725905 2958758 > 1789859 2297251 1797349 2438090 267372 1783912 2548017 3029721 > > 1024 4 820463 1085737 1692394 1703807 1510288 > 977950 1414304 1153071 1454537 375933 971534 1612342 1735476 > > 1024 8 987392 1359680 1991355 2240689 2165014 > 1274922 1910737 1328146 2008114 387884 1168760 2106609 2369237 > > 1024 16 1115342 1592612 2598591 2611230 2694787 > 1503415 2426801 1686413 2659742 425589 1381548 2567523 2934110 > > 1024 32 1242826 1723636 2875184 3012308 3124054 > 1654579 2892612 1882266 3048658 441923 1519371 2958362 3414650 > > 1024 64 1244266 1825466 3083680 3003881 3393069 > 1762539 3029305 2023250 3529706 441741 1607514 3140041 3541348 > > 1024 128 1270773 1812371 2926114 3074849 3436508 > 1787480 3012308 2039583 3778101 351418 1762539 2918161 3447541 > > 1024 256 1287921 1852232 2942149 3066069 3241960 > 1858644 2942149 1984913 3778101 369561 1999700 2950233 3301774 > > 1024 512 1267398 1892218 2789291 2701567 2934110 > 1793451 2619192 1977602 3112733 393535 2467229 2688041 3074849 > > 1024 1024 1247157 1769073 2192645 2222141 2353657 > 1635675 2236023 1715375 2333199 477866 1803239 2220992 2343383 > > 2048 4 849075 1097501 1745990 1675821 1491617 > 988848 1464907 1036955 1464907 497684 994573 1692662 1729816 > > 2048 8 1020448 1377076 1905146 2011785 1996356 > 1264935 1860176 1496033 1896314 531561 1185177 1978880 2098276 > > 2048 16 1106407 1577928 2107025 2301200 2446713 > 1487484 2054120 1716680 2319218 564503 1376414 2074960 2494314 > > 2048 32 1220368 1692662 2188069 2515497 2748949 > 1605053 2180847 1885905 2560486 600576 1487227 2174223 2702252 > > 2048 64 1224892 1793378 2556676 2595298 2844532 > 1722532 2525110 1995892 2748949 591886 1571577 2639154 2848305 > > 2048 128 1248028 1836709 2293826 2702252 2985927 > 1764279 2435613 2038038 3675930 588843 1609866 2415069 2937929 > > 2048 256 1287304 1846580 2599225 2622235 2914009 > 1783696 2676988 2015562 3738320 636630 1729816 2673655 2816551 > > 2048 512 1268859 1875201 2805512 2575842 2824887 > 1770096 2667014 2013672 3430751 589166 1702391 2397544 2790021 > > 2048 1024 1216910 1802788 1818820 1814210 1923059 > 1674514 1798259 1865428 1932143 680401 2050198 1815744 1867050 > > 2048 2048 912191 1284801 1234397 1176895 1183707 > 1260296 1218291 1269610 1231566 707934 1284801 1228571 1188621 > > 4096 4 848899 1118204 1631236 1606224 1391217 > 966692 1394718 1103763 1375401 624590 968545 1558009 1647505 > > 4096 8 1018681 1380485 1889391 1898159 1817243 > 1275624 1766966 1411447 1842383 718227 1204691 1891055 2013626 > > 4096 16 1109681 1578479 2216526 2213956 2228603 > 1502550 2129963 1737129 2262949 739879 1397554 2409584 2364807 > > 4096 32 1239367 1725959 2545616 2398148 2488463 > 1635896 2506617 1900679 2505155 784511 1491592 2539595 2569987 > > 4096 64 1252925 1804265 2692851 2474841 2624160 > 1737831 2575767 2014570 2670249 806157 1552658 2491350 2640698 > > 4096 128 1302412 1855116 2623759 2517268 2682759 > 1778490 2666933 2074912 2748864 805024 1598751 2684436 2716268 > > 4096 256 1311059 1863567 2644356 2592481 2761679 > 1804265 2751065 2065432 3785107 794268 1660884 2675656 2799936 > > 4096 512 1310659 1854315 2582349 2502236 2664865 > 1791845 2594046 2037749 3706707 837968 1562828 2574223 2708986 > > 4096 1024 1249917 1751831 1747554 1659601 1744360 > 1683507 1721635 1925820 2086757 879134 1364044 1742237 1735725 > > 4096 2048 960799 1262222 1216549 1178414 1205790 > 1304885 1216204 1369480 1210804 762776 1600538 1220524 1204775 > > 4096 4096 824971 1085903 1110326 1095528 1099032 > 1084121 1111188 1100511 1113060 1019165 1100793 1101640 1109108 > > 8192 4 845490 1123572 1634169 1589712 1341453 > 997414 1358801 1181120 1360307 742162 976772 1594063 1645911 > > 8192 8 911331 1377927 1951392 1912720 1775439 > 1267896 1825722 1511726 1792949 872145 1195378 1938511 1988318 > > 8192 16 1027202 1594359 2285650 2209799 2175795 > 1507283 2214071 1734131 2207953 960713 1377983 2291442 2366241 > > 8192 32 1071972 1733693 2559993 2396777 2443827 > 1676264 2517601 1920310 2481778 1066814 1494629 2447657 2552007 > > 8192 64 1095033 1813675 2544825 2493123 2594008 > 1764770 2492218 2029181 2609771 1078737 1547122 2548222 2679580 > > 8192 128 1130410 1796511 2569566 2476412 2633372 > 1767403 2570527 2061319 2639036 1030963 1575715 2550492 2679789 > > 8192 256 1122947 1846324 2691123 2559993 2743554 > 1820112 2670209 2086099 2737870 1004676 1608767 2659874 2761857 > > 8192 512 1111109 1857202 2613145 2544071 2713438 > 1812432 2671039 2088254 3771731 1072374 1517602 2668550 2744211 > > 8192 1024 1078026 1752260 1647964 1574487 1616411 > 1722136 1633160 1987857 1952390 936110 1172655 1640646 1633470 > > 8192 2048 845324 1300135 1109136 1076068 1100786 > 1259345 1116525 1352489 1091831 911548 1102234 1115184 1103437 > > 8192 4096 855128 1126076 1142513 1115148 1143997 > 1111217 1144454 1155112 1143312 1004793 1361277 1139671 1143198 > > 8192 8192 681243 1106137 1064731 1051856 1070970 > 1093151 1068040 1108850 1067642 804003 1111828 1067377 1068771 > > 16384 4 857794 1127532 1682329 1617050 1348238 > 1004174 1423211 1126201 1374367 825639 973904 1640677 1665894 > > 16384 8 975065 1387885 1998541 1923901 1754533 > 1294473 1850441 1474862 1819669 1010657 1211752 1964715 2009352 > > 16384 16 1103824 1593022 2329963 2230948 2146490 > 1510756 2232108 1721567 2217057 1153073 1378088 2295331 2372434 > > 16384 32 1153963 1706307 2448599 2332256 2371042 > 1659818 2394923 1901384 2404140 1174816 1476161 2419375 2504463 > > 16384 64 1193112 1804380 2648577 2506289 2592815 > 1773552 2581807 2016013 2592424 1230499 1550046 2613523 2680187 > > 16384 128 1221770 1843392 2658413 2542171 2685528 > 1805233 2644704 2065831 2681965 1212287 1579329 2679769 2740687 > > 16384 256 1225977 1841959 2678411 2536541 2682802 > 1812805 2700514 2109654 2693845 1084231 1596871 2683221 2728825 > > 16384 512 1211389 1868148 2674033 2628116 2722123 > 1837772 2695641 2103197 2731102 1198732 1029600 2687209 2754529 > > 16384 1024 1174655 1782615 1575563 1501054 1563234 > 1752475 1525377 2023970 1758304 970740 1087405 1522268 1518299 > > 16384 2048 938472 1319477 1103363 1073091 1100183 > 1314178 1105226 1403933 1103363 894274 974954 1106276 1100924 > > 16384 4096 850238 1133838 1121057 1097022 1121569 > 1124966 1126423 1188716 1121514 991110 1034607 1122192 1123972 > > 16384 8192 803137 1114403 904539 872231 892567 > 975701 1098197 1162140 1105973 890531 1350570 1089802 1091897 > > 16384 16384 764962 1083889 1034872 1013415 1018144 > 1088628 1040245 1104054 1045166 929586 1105458 1037090 1034280 > > 32768 64 1248595 1773730 2587680 2440460 2537609 > 1744551 2541926 2035143 2545080 1209053 1535153 2599819 2641085 > > 32768 128 1284166 1822367 2671217 2510951 2644541 > 1798543 2655014 2088204 2661028 1254717 1562750 2673867 2712389 > > 32768 256 1283207 1846285 2721358 2563594 2722760 > 1827140 2718397 2081436 2725675 1266055 1594867 2731092 2749889 > > 32768 512 1277850 1855182 2687251 2522935 2678453 > 1820436 2703426 2122845 2716624 1173009 1463380 2713460 2732503 > > 32768 1024 1197309 1763330 1574477 1502577 1550200 > 1748013 1573647 2061765 1557791 887849 1043403 1578944 1566259 > > 32768 2048 987371 1290945 1033299 1013301 1028466 > 1292766 1042698 1430094 1037260 800647 903598 1032740 1033004 > > 32768 4096 897608 1118628 1085900 1062758 1082240 > 1116266 1086793 1188920 1091757 840570 919546 1098608 1100446 > > 32768 8192 864913 1115387 1076400 1059016 1076409 > 1115242 1069132 1157109 1046230 855337 1009579 1069166 1070015 > > 32768 16384 858543 1124430 1093581 1070215 1091029 > 1114365 1094095 1160950 1101813 960461 1358202 1114446 1108076 > > 65536 64 1290513 1795862 2681505 2526037 2574298 > 1773831 2588503 2030300 2565312 1369726 1530076 2664919 2674721 > > 65536 128 1314929 1821459 2719683 2532694 2671238 > 1814389 2663731 2081370 2648460 1390267 1560823 2680407 2698511 > > 65536 256 1318974 1849002 2713240 2548852 2691746 > 1826579 2705762 2099830 2706295 1407257 1582953 2750820 2749801 > > 65536 512 1322063 1856758 2710217 2544110 2704857 > 1846965 2717076 2106799 2716646 1299003 1484864 2712464 2733748 > > 65536 1024 1261858 1770620 1540866 1481168 1527474 > 1758748 1545405 2020035 1534732 944987 1034543 1543912 1545631 > > 65536 2048 1017181 1314508 1084995 1064400 1081860 > 1308731 1100591 1437639 1084135 834407 883102 1101574 1100855 > > 65536 4096 892191 1107548 1062273 1048528 1063654 > 1106541 1063724 1173810 1060265 832638 868534 1064865 1063946 > > 65536 8192 873988 1118281 1072883 1054445 1070589 > 1115730 1073675 1165953 1047318 841867 912691 1072322 1073394 > > 65536 16384 898873 1133018 1113421 1087880 1113461 > 1128487 1114744 1193581 1109104 974976 1025412 1113651 1113439 > > 131072 64 1307962 1805302 2647539 2488361 2553561 > 1750470 2595798 2040123 2577264 1411944 1539851 2652201 2664387 > > 131072 128 1346870 1826559 2707825 2547255 2658871 > 1802916 2676242 2087200 2672313 1451129 1562877 2718484 2714041 > > 131072 256 1351103 1830665 2720798 2544390 2687835 > 1819685 2716912 2097521 2708612 1476267 1583700 2732102 2729863 > > 131072 512 1329489 1849337 2692969 2531572 2669717 > 1838551 2685406 2099003 2679372 1362819 1451903 2754952 2762844 > > 131072 1024 1341329 1770499 1591917 1527859 1580072 > 1756196 1587903 2004193 1589156 967726 1018723 1630312 1629177 > > 131072 2048 1008393 1289190 1052432 1019070 1044688 > 1312320 1038531 1395706 1038145 831180 862066 1039362 1038869 > > 131072 4096 905462 1113213 1073752 1056394 1072734 > 1112418 1075081 1180935 1074220 813854 852135 1074590 1075161 > > 131072 8192 909527 1131951 1102298 1080792 1100511 > 1130466 1103179 1207992 1094985 829138 875049 1103373 1103978 > > 131072 16384 919965 1138529 1115164 1090314 1115544 > 1129630 1116437 1200799 1102659 886238 917755 1115771 1115544 > > 262144 64 1311637 1789756 2657771 2498374 2557956 > 1745880 2608551 2031997 2581959 1487316 1540247 2707004 2703988 > > 262144 128 1346670 1822076 2734601 2542671 2675433 > 1805785 2715703 2072955 2699845 1520159 1562716 2730126 2741146 > > 262144 256 1356480 1853735 2755697 2573800 2728934 > 1837453 2725984 2130370 2718570 1529983 1597310 2769726 2776566 > > 262144 512 1388474 1863061 2697209 2522754 2675837 > 1841660 2754309 2127703 2743150 1430564 1476417 2749687 2754392 > > 262144 1024 1317135 1812064 1605872 1544295 1591249 > 1759556 1668293 2136007 1598195 994228 1031267 1610397 1644867 > > 262144 2048 1036359 1348996 1114003 1090322 1112197 > 1316864 1114884 1372173 1114562 850948 865599 1115079 1118505 > > 262144 4096 913778 1135509 1132571 1107475 1131828 > 1133865 1119001 1194517 1117479 823530 842191 1122398 1123668 > > 262144 8192 890081 1106835 1038593 1025202 1038630 > 1106009 1039614 1163347 1040084 821055 833985 1043043 1045768 > > 262144 16384 890561 1106297 1028862 1016144 1028838 > 1104559 1030355 1176346 1019853 851274 863987 1041994 1041431 > > 524288 64 1229975 1726051 2664243 2489377 2554162 > 1672087 2607566 2027157 2583248 1453328 1491853 2667614 2697427 > > 524288 128 1331447 1709281 2788661 2594831 2725487 > 1712105 2759320 2076650 2739957 1436626 1530481 2822304 2824628 > > 524288 256 1326408 1712548 2764356 2586560 2726845 > 1727842 2760529 2115462 2748893 1479890 1477454 2774261 2774656 > > 524288 512 1339765 1784414 2777800 2604444 2758264 > 1715040 2773348 2151753 2770828 1310595 1338767 2831418 2832669 > > 524288 1024 1276568 1752101 1604898 1537776 1570735 > 1620483 1680647 2051461 1668819 949996 993408 1672146 1671773 > > 524288 2048 1022247 1292925 1058421 1040553 1057595 > 1271352 1047823 1435150 1044982 819371 830647 1043934 1044662 > > 524288 4096 888185 1109674 1076317 1057761 1075431 > 1090539 1080736 1183264 1092558 813537 814635 1080945 1081804 > > 524288 8192 873985 1062286 1101813 1081195 1101915 > 1061801 1114806 1223071 1103961 790233 815367 1105654 1105906 > > 524288 16384 883133 1095438 1108834 1085111 1110104 > 1071088 1110782 1226347 1111149 798131 806824 1112904 1112733 > > 1048576 64 124721 126405 2797576 2620928 2663929 > 107961 2728357 2040643 2700295 132349 134635 2801589 2799390 > > 1048576 128 131011 131036 2787349 2592565 2721651 > 136421 2764283 2055470 2738661 138845 138081 2791432 2782999 > > 1048576 256 133554 133546 2883048 2680127 2846212 > 136465 2851366 2101274 2847734 146233 146579 2891363 2895738 > > 1048576 512 136466 136086 2785372 2593558 2754757 > 136388 2791856 2091834 2786431 142581 148047 2799914 2802494 > > 1048576 1024 136326 132882 1605849 1531275 1578168 > 134849 1597562 2037930 1594239 134591 133275 1605657 1624872 > > 1048576 2048 134647 135549 1106437 1083376 1105750 > 143034 1091119 1378470 1105060 135413 135343 1106287 1106375 > > 1048576 4096 130484 133187 1109059 1084228 1107118 > 127329 1097841 1208268 1110640 130285 126183 1110737 1109895 > > 1048576 8192 126428 128743 1105253 1082906 1104062 > 131275 1096296 1238827 1105382 124527 124947 1106993 1105908 > > 1048576 16384 125931 126865 1122875 1096067 1123432 > 125607 1113169 1216387 1126036 133155 140821 1123021 1121986 > > 2097152 64 65597 65628 2738089 2551363 2590448 > 41856 2671569 2000639 2643610 71886 67544 2741565 2743404 > > 2097152 128 67899 67451 2864515 2670989 2778796 > 54584 27948 > > 2097152 256 64918 66400 2839515 2648976 2797190 > 65612 28342 > > 2097152 512 69586 68530 2827680 2626591 2733781 > 71181 28266 > > 2097152 1024 69963 68346 1617566 1572977 1638697 > 72503 16453 > > 2097152 2048 68466 69228 1077013 1056735 1077450 > 70994 10908 > > 2097152 4096 66793 66175 1094737 1072900 1094492 > 66813 10941 > > 2097152 8192 68852 69448 1119022 1096219 1118255 > 69129 11075 > > 2097152 16384 68440 69194 1084857 1063105 1087499 > 67332 10985 > > 4194304 64 54585 54718 2765299 2592642 2627412 > 20267 27282 > > 4194304 128 53097 53606 2856637 2667246 2776881 > 33439 28217 > > 4194304 256 51921 52976 2853374 2645981 2792836 > 44346 28518 > > 4194304 512 53157 52115 2824533 2617297 2797950 > 54310 28180 > > 4194304 1024 53682 54040 1617741 1599891 1636500 > 57656 16608 > > 4194304 2048 52648 53029 1100878 1087401 1111018 > 57490 11128 > > 4194304 4096 53527 53015 1113878 1089525 1113995 > 53387 11085 > > 4194304 8192 53413 53725 1087687 1075571 1094778 > 53319 10907 > > 4194304 16384 52485 52241 1114279 1088080 1113267 > 52526 11087 > > 8388608 64 49146 50225 > > > > Error in file: Found ?48456fe4? Expecting ?1313131313131313? addr > 7f3f89f01000 > > Error in file: Position 69632 > > Record # 1 Record size 64 kb > > where 7f3f89f01000 loop 4096 > > ------------------------------------------------------------------------- Sponsored by: SourceForge.net Community Choice Awards: VOTE NOW! Studies have shown that voting for your favorite open source project, along with a healthy diet, reduces your potential for chronic lameness and boredom. Vote Now at http://www.sourceforge.net/community/cca08 _______________________________________________ Ceph-devel mailing list Ceph-devel@lists.sourceforge.net https://lists.sourceforge.net/lists/listinfo/ceph-devel
