Selamlar, asagidaki bazi degerleri set edip deneyebilir misiniz ? net.inet.tcp.sendspace=131072 net.inet.tcp.recvspace=131072 kern.ipc.nmbcluster=32768
Cagri Bey, ayrica buyuk ihtimalle "random read/write" isleminden dolayi bufdaemon kotu bir sekilde etkilenmektedir.. Sebebi olarak; NFS protokolu uzerinde dosya kilit mekanizmasi cok gelismis degildir. Bildigim kadariyla NFS dosya sistemi uzerinde I/O mertebesinde standart FIFO kuyruk disiplini yer almaktadir. Soyleki; bir client'in dosya okuma/yazma islemi icin I/O olusturdugunu dusunelim, diger bir client'in I/O olusturmasi durumunda sureclerin yurutulmesi FIFO kuyruklama disiplinine girer. Asiri olusan I/O bufdaemon tarafindan kontrol edilir. NFS Server, FIFO'ya bagli kalarak S.A.N. disk uzerinde sirayla sureclerini devam ettiriyor. Eger S.A.N. disk mertebesinde I/O kontrolunu yapabilirseniz, FreeBSD uzerinde biriken I/O'nun S.A.N. disk uzerinde var olmadigini gorursunuz. Zaten olmasi da tuhaf olur, cunku en kotu HBA transfer hizi Gbit mertebesindedir. Sorun tam olarak; NFS Server'in bu kadar I/O'yu senkron bir hale getireMEmesinden kaynaklanmaktadir. Oneri olarak, Bu nokta da "kern.maxprocperuid" degiskeniyle oynayarak "bufdaemon" uzerinden yukun birazini alip NFS'e verebilirsiniz. Bu sekilde "bufdaemon" rahatlamis olacaktir. Fakat bunu tavsiye etmem, cunku NFS bu kadar I/O'yu tasiyabilse, "bufdaemon"a aktarmaz. Network uzerinden gelen fazla paketleri engelleyebilirsiniz. Bu da client'lar tarafinda gecikme yapabilir. NFS mount asamasinda UDP kullanabilirsiniz. Getiri/goturuleri vardir :)) Ikinci bir oneri olarak; "nfsiod"ye bakmalisiniz. (hic kullanmadim sadece genel olarak biliyorum) Son oneri olarak; cluster temelli bir dosya sistemi kullanmalisiniz. Problemin yukarida ki sekilde icra edip etmedigini kontrol etmek icin; client'lardan birini devre disi birakin, NFS Server uzerinde sadece bir client tarafindan I/O olusturup sistemi gozetip listeyi bilgilendirirseniz sevinirim.. Iyi calismalar.. -- Mehmet CELIK ________________________________ > Date: Thu, 17 Jan 2008 01:36:01 +0200 > From: [EMAIL PROTECTED] > To: [email protected] > Subject: Re: [FreeBSD] NFS server I/O performans... > > Merhaba, > > sysctl kern ve tcp degerleri asagida, ancak ayni dosyaya yazma cizme durumu > yok. Tamamen random read ve write var. Zira bu mail serverlar icin storage > vazifesi goren bir makine. Maildir yapisi kullanildigindan dolayi direk > olarak belli dosyalarin icine yazmaktan ziyade mail icin bir dosya olusturma > isinden kaynaklanan random write islemi var. > > Mail serverlardaki trafik ile nfs server üzerinde read ve write degerlerini > karsilastirdigim zaman degerler birbirleri ile ortusuyorlar, ancak bufdeamon > ekstradan -nedenini anlayamadigimiz bir sekilde- write I/O yapiyor. > > Yardimlariniz icin tesekkur ederim. > > > kern.ostype: FreeBSD > kern.osrelease: 6.2-RELEASE > kern.osrevision: 199506 > kern.version: FreeBSD 6.2-RELEASE #0: Fri Jan 12 11:05:30 UTC 2007 > kern.maxvnodes: 100000 > kern.maxproc: 6164 > kern.maxfiles: 12328 > kern.argmax: 262144 > kern.securelevel: -1 > kern.hostname: nfs.xxx.com > kern.hostid: 0 > kern.clockrate: { hz = 1000, tick = 1000, profhz = 666, stathz = 133 } > kern.posix1version : 200112 > kern.ngroups: 16 > kern.job_control: 1 > kern.saved_ids: 0 > kern.boottime: { sec = 1197298359, usec = 301199 } Mon Dec 10 16:52:39 2007 > kern.domainname: > kern.osreldate: 602000 > kern.bootfile: /boot/kernel/kernel > kern.maxfilesperproc: 11095 > kern.maxprocperuid: 5547 > kern.ipc.maxsockbuf: 262144 > kern.ipc.sockbuf_waste_factor: 8 > kern.ipc.somaxconn: 4096 > kern.ipc.max_linkhdr: 16 > kern.ipc.max_protohdr: 60 > kern.ipc.max_hdr: 76 > kern.ipc.max_datalen: 132 > kern.ipc.nmbclusters: 25600 > kern.ipc.nmbjumbop: 0 > kern.ipc.nmbjumbo9: 0 > kern.ipc.nmbjumbo16: 0 > kern.ipc.maxpipekva: 16777216 > kern.ipc.pipes: 4 > kern.ipc.pipekva: 32768 > kern.ipc.pipefragretry: 0 > kern.ipc.pipeallocfail: 0 > kern.ipc.piperesizefail: 0 > kern.ipc.piperesizeallowed: 1 > kern.ipc.msgmax: 16384 > kern.ipc.msgmni: 40 > kern.ipc.msgmnb: 2048 > kern.ipc.msgtql: 40 > kern.ipc.msgssz : 8 > kern.ipc.msgseg: 2048 > kern.ipc.semmap: 30 > kern.ipc.semmni: 10 > kern.ipc.semmns: 60 > kern.ipc.semmnu: 30 > kern.ipc.semmsl: 60 > kern.ipc.semopm: 100 > kern.ipc.semume: 10 > kern.ipc.semusz: 92 > kern.ipc.semvmx : 32767 > kern.ipc.semaem: 16384 > kern.ipc.shmmax: 33554432 > kern.ipc.shmmin: 1 > kern.ipc.shmmni: 192 > kern.ipc.shmseg: 128 > kern.ipc.shmall: 8192 > kern.ipc.shm_use_phys: 0 > kern.ipc.shm_allow_removed: 0 > kern.ipc.numopensockets: 43 > kern.ipc.maxsockets: 25600 > kern.ipc.nsfbufs: 6656 > kern.ipc.nsfbufspeak: 7 > kern.ipc.nsfbufsused: 0 > kern.dummy: 0 > kern.ps_strings: 3217031152 > kern.usrstack: 3217031168 > kern.logsigexit : 1 > kern.iov_max: 1024 > kern.cam.cam_srch_hi: 0 > kern.cam.scsi_delay: 5000 > kern.cam.cd.changer.min_busy_seconds: 5 > kern.cam.cd.changer.max_busy_seconds: 15 > kern.cam.da.retry_count: 4 > kern.cam.da.default_timeout: 60 > kern.cam.da.0.minimum_cmd_size: 6 > kern.cam.da.1.minimum_cmd_size: 10 > kern.cam.da.2.minimum_cmd_size: 6 > kern.disks: da2 da1 da0 > kern.geom.debugflags: 0 > kern.geom.collectstats: 1 > kern.elf32.fallback_brand: -1 > kern.init_path: > /sbin/init:/sbin/oinit:/sbin/init.bak:/rescue/init:/stand/sysinstall > kern.init_shutdown_timeout: 120 > kern.acct_suspend: 2 > kern.acct_resume: 4 > kern.acct_chkfreq: 15 > kern.acct_suspended: 0 > kern.cp_time: 284420 36 21640481 13042152 822444156 > kern.openfiles: 96 > kern.kq_calloutmax: 4096 > kern.stackprot: 7 > kern.ps_arg_cache_limit: 256 > kern.lastpid: 22280 > kern.randompid: 0 > kern.ktrace.genio_size: 4096 > kern.ktrace.request_pool: 100 > kern.module_path: /boot/kernel;/boot/modules > kern.malloc: > kern.malloc_count: 199 > kern.ident: SMP-GENERIC > kern.maxusers: 384 > kern.fallback_elf_brand: -1 > kern.kstack_pages: 2 > kern.sync_on_panic: 0 > kern.shutdown.poweroff_delay: 5000 > kern.shutdown.kproc_shutdown_wait: 60 > kern.sugid_coredump: 0 > kern.coredump: 1 > kern.nodump_coredump: 0 > kern.corefile: %N.core > kern.fscale: 2048 > kern.timecounter.stepwarnings: 0 > kern.timecounter.nbinuptime: 1898258916 > kern.timecounter.nnanouptime: 22734 > kern.timecounter.nmicrouptime: 122198 > kern.timecounter.nbintime: 3164413 > kern.timecounter.nnanotime : 644474 > kern.timecounter.nmicrotime: 2519939 > kern.timecounter.ngetbinuptime: 677662579 > kern.timecounter.ngetnanouptime: 1467817 > kern.timecounter.ngetmicrouptime: 109982911 > kern.timecounter.ngetbintime: 0 > kern.timecounter.ngetnanotime: 772 > kern.timecounter.ngetmicrotime: 2463633150 > kern.timecounter.nsetclock: 3 > kern.timecounter.hardware: ACPI-fast > kern.timecounter.choice: TSC(-100) ACPI-fast(1000) i8254(0) dummy(-1000000) > kern.timecounter.tick: 1 > kern.timecounter.smp_tsc: 0 > kern.threads.thr_scope: 0 > kern.threads.thr_concurrency: 0 > kern.threads.debug: 0 > kern.threads.max_threads_per_proc: 1500 > kern.threads.max_groups_per_proc: 1500 > kern.threads.max_threads_hits: 0 > kern.threads.virtual_cpu: 2 > kern.sched.name: 4BSD > kern.sched.quantum: 100000 > kern.sched.ipiwakeup.enabled: 1 > kern.sched.ipiwakeup.requested : 0 > kern.sched.ipiwakeup.delivered: 0 > kern.sched.ipiwakeup.usemask: 1 > kern.sched.ipiwakeup.useloop: 0 > kern.sched.ipiwakeup.onecpu: 0 > kern.sched.ipiwakeup.htt2: 0 > kern.sched.followon: 0 > kern.sched.pfollowons : 0 > kern.sched.kgfollowons: 0 > kern.sched.preemption: 1 > kern.sched.runq_fuzz: 1 > kern.ccpu: 1948 > kern.devstat.numdevs: 7 > kern.devstat.generation: 168 > kern.devstat.version: 6 > kern.kobj_methodcount: 115 > kern.log_wakeups_per_second: 5 > kern.log_console_output: 1 > kern.always_console_output: 0 > kern.msgbuf: > kern.msgbuf_clear: 0 > kern.smp.maxcpus: 16 > kern.smp.active: 1 > kern.smp.disabled: 0 > kern.smp.cpus : 2 > kern.smp.forward_signal_enabled: 1 > kern.smp.forward_roundrobin_enabled: 1 > kern.nselcoll: 0 > kern.drainwait: 300 > kern.tty_nin: 32406 > kern.tty_nout: 157193079 > kern.console: consolectl,/ttyd0,consolectl, > kern.consmute: 0 > kern.consmsgbuf_size: 8192 > kern.constty_wakeups_per_second: 5 > kern.filedelay: 30 > kern.dirdelay: 29 > kern.metadelay: 28 > kern.minvnodes: 25000 > kern.chroot_allow_open_directories: 1 > kern.rpc.retries: 0 > kern.rpc.request: 0 > kern.rpc.timeouts: 0 > kern.rpc.unexpected: 0 > kern.rpc.invalid: 0 > kern.random.yarrow.gengateinterval: 10 > kern.random.yarrow.bins: 10 > kern.random.yarrow.fastthresh : 192 > kern.random.yarrow.slowthresh: 256 > kern.random.yarrow.slowoverthresh: 2 > kern.random.sys.seeded: 1 > kern.random.sys.harvest.ethernet: 1 > kern.random.sys.harvest.point_to_point: 1 > kern.random.sys.harvest.interrupt : 1 > kern.random.sys.harvest.swi: 0 > machdep.adjkerntz: -7200 > > tcpreass: 20, 1690, 0, 169, 118 > tcptw: 48, 5148, 0, 156, 40 > tcpcb: 464, 25600, 16, 120, 779 > net.inet.tcp.rfc1323: 1 > net.inet.tcp.mssdflt : 512 > net.inet.tcp.keepidle: 7200000 > net.inet.tcp.keepintvl: 75000 > net.inet.tcp.sendspace: 32768 > net.inet.tcp.recvspace: 65536 > net.inet.tcp.keepinit: 75000 > net.inet.tcp.delacktime: 100 > net.inet.tcp.v6mssdflt : 1024 > net.inet.tcp.hostcache.cachelimit: 15360 > net.inet.tcp.hostcache.hashsize: 512 > net.inet.tcp.hostcache.bucketlimit: 30 > net.inet.tcp.hostcache.count: 0 > net.inet.tcp.hostcache.expire: 3600 > net.inet.tcp.hostcache.purge : 0 > net.inet.tcp.log_in_vain: 0 > net.inet.tcp.blackhole: 0 > net.inet.tcp.delayed_ack: 1 > net.inet.tcp.rfc3042: 1 > net.inet.tcp.rfc3390: 1 > net.inet.tcp.insecure_rst: 0 > net.inet.tcp.reass.maxsegments: 1600 > net.inet.tcp.reass.cursegments: 0 > net.inet.tcp.reass.maxqlen: 48 > net.inet.tcp.reass.overflows: 0 > net.inet.tcp.path_mtu_discovery: 1 > net.inet.tcp.slowstart_flightsize: 1 > net.inet.tcp.local_slowstart_flightsize: 4 > net.inet.tcp.newreno: 1 > net.inet.tcp.sack.enable: 1 > net.inet.tcp.sack.maxholes: 128 > net.inet.tcp.sack.globalmaxholes: 65536 > net.inet.tcp.sack.globalholes: 0 > net.inet.tcp.minmss: 216 > net.inet.tcp.minmssoverload : 0 > net.inet.tcp.tcbhashsize: 512 > net.inet.tcp.do_tcpdrain: 1 > net.inet.tcp.pcbcount: 16 > net.inet.tcp.icmp_may_rst: 1 > net.inet.tcp.isn_reseed_interval: 0 > net.inet.tcp.maxtcptw: 5120 > net.inet.tcp.nolocaltimewait : 0 > net.inet.tcp.inflight.enable: 1 > net.inet.tcp.inflight.debug: 0 > net.inet.tcp.inflight.rttthresh: 10 > net.inet.tcp.inflight.min: 6144 > net.inet.tcp.inflight.max: 1073725440 > net.inet.tcp.inflight.stab: 20 > net.inet.tcp.syncookies: 1 > net.inet.tcp.syncache.bucketlimit: 30 > net.inet.tcp.syncache.cachelimit: 15359 > net.inet.tcp.syncache.count: 0 > net.inet.tcp.syncache.hashsize: 512 > net.inet.tcp.syncache.rexmtlimit : 3 > net.inet.tcp.msl: 30000 > net.inet.tcp.rexmit_min: 3 > net.inet.tcp.rexmit_slop: 200 > net.inet.tcp.always_keepalive: 1 > > > > 2008/1/17 mehmet celik <[EMAIL PROTECTED]>: > > Selamlar, Server makina uzerinde sysctl parametrelerinizden kernel ile > alakali olanlari ve tcp.sendspace, tcp.recvspace gibi degerleri aktarabilir > misiniz ? > > Cagri Bey, sadece meraktan soruyorum, client'lar ayni anda NFS uzerinde ayni > dosyalara okumaktan ziyade yazma islemi yapiyormu? Yapiyorsa, bufdaemon'in > sisme sebebi budur.. > > > -- > Mehmet CELIK > > > > > ________________________________ > Date: Wed, 16 Jan 2008 17:20:04 +0200 > > From: [EMAIL PROTECTED] > To: [email protected] > Subject: Re: Re[4]: [FreeBSD] NFS server I/O performans... > > > Tekrar merhaba, > NFS istemcileri onerdiginiz sekilde mount etmis olmama ragmen malesef > herhangi bir duzelme olmadi. > Aslinda sorun S.A.N baglantisi olan FreeBSD makinesinde ki I/O ile alakali > oldugu icin sorunu biraz daha acarak anlatmak iyi olacak sanirim. > > Sistemimizde normal şartlar altında read i/o = ~ 2x write i/o yani sistem > genel olarak random read agirlikli olarak calisiyor. > > Sorun şu ki, bufdaemon read agirlikli bir sistemde görülmesi beklenmeyecek > kadar sık ve uzun süreli çalışıyor ve 300-400 write/sec mertebesinde i/o > yapıyor. > > Iste tam olarak bunun sebeplerini arastiriyorum. > Bu konuya nasil bir onlem alinabilir ? > > Mehmet Celik arkadasimizin da soylemis oldugu ve benim okudugum kadariyla > bufdaemon yazma ile ilgili, dirty buffer'ları disk'e yazan bir daemon. > Ancak neden bu kadar cok I/O'ya neden oluyor anlayamadik. > > Ekte durumu ozetleyecek bir top ciktisinin goruntusunu gonderiyorum. > > Simdiden tesekkur ederim. > Çağrı Ersen. > > > > > > 2008/1/15 Cagri Ersen <[EMAIL PROTECTED]>: >> >> Ismail bey, istemcileri önerdiğiniz parametrelerle yeniden düzenledim. Ancak >> su an sistemin yogun bir zamani olmadigi icin hissedilir bir degisiklik >> gorunmuyor. >> Aksam saatlerinde kontrol edip, sonucu tekrar bildirecegim. >> >> Yardimlariniz icin tesekkur ederim. >> >> Çağrı Ersen. >> >> >> >> 2008/1/15 Ismail YENIGUL <[EMAIL PROTECTED]>: >> >> >> >> >>> >>> >>> >>> Merhaba, >>> >>> >>> >>> >>> NFS'i asagidaki parametrelerle mount edip deneyebilir misiniz? >>> mount -o tcp,intr,nfsv3,-w=32768,-r=32768 >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> Monday, January 14, 2008, 3:25:04 PM, you wrote: >>> >>> >>> >>> >>> >>> >>>> >>> >>> >>> >>> >>> >>> NFS sunucusundaki exports dosyasinin icerigi: >>> >>> >>> >>> /storage/domains /storage/users -maproot=root xxx.xxx.xx.xx xxx.xxx.xx.xxx >>> >>> >>> >>> NFS istemcilerin fstab icerigi: >>> >>> >>> >>> xxx.xxx.xx.xxx:/storage/domains /usr/home/vpopmail/domains nfs rw >>> 0 0 >>> >>> xxx.xxx.xx.xxx:/storage/users /var/qmail/users nfs rw 0 >>> 0 >>> >>> >>> >>> >>> >>> >>> >>> >>> 2008/1/14 Ismail YENIGUL <[EMAIL PROTECTED]>: >>> >>> >>> >>> >>> Merhabalar, >>> >>> >>> >>> >>> >>> >>> >>> cevabınızı listeye yazarsaniz memnun olurum. >>> >>> NFS'i hangi parametrelerle ile mount ediyorsunuz? >>> >>> >>> >>> >>> Monday, January 14, 2008, 2:56:31 PM, you wrote: >>> >>> >>> >>> >>> >>> >>>> >>> >>> Ops, en onemli bilgiyi atlamisim, pardon. >>> >>> >>> >>> FreeBSD 6.2 kurulu. >>> >>> >>> >>> >>> 2008/1/14 Ismail YENIGUL <[EMAIL PROTECTED]>: >>> >>> >>> >>> >>> Merhaba, >>> >>> >>> >>> >>> FreeBSD'nin tam versiyonu nedir? >>> >>> >>> >>> >>> Monday, January 14, 2008, 2:01:34 PM, you wrote: >>> >>> >>> >>> >>> >>> >>>> >>> >>> >>> >>> Merhabalar, >>> >>> >>> >>> FreeBSD serverlardan olusan cluster yapimda, fazla yuk olmasindan dolayi >>> I/O ile ilgili bazi performans sorunlari yasiyorum. >>> >>> Yapi, S.A.N baglantisi olan ve Storage olarak kullanilan bir FreeBSD ile >>> NFS uzerinden bu servera baglanip storage'e yazan cizen iki adet FreeBSD >>> client'tan olusuyor. >>> >>> Bu yapi cok fazla trafigi olan bir domain için mail server (qmail/vpopmail) >>> cluster olarak hizmet veriyor. >>> >>> >>> >>> Bu yuksek mail trafiginden mutevellit, storage serverin uzerinde >>> (olusmamasi gerektigi kadar) ciddi miktarlarda I/O olusuyor. (Sistemin en >>> yogun saatlerinde, saniyede 750 I/O write) >>> >>> >>> >>> Zira aynı saatlerde, clientler üzerinde oluşan I/O miktarına baktığım zaman >>> client başına ortalama 50 I/O write gibi rakamalar görüyorum, dolayisi ile >>> NFS serverda görülmesi gereken değer, iki client olduğuna göre ortalama 100 >>> - 200 I/O wtire olması gerekirken 750'ye kadar ulaşabiliyor. >>> >>> >>> >>> Bu dengesizliğin nedenini araştırdığım zaman, NFS server tarafındaki I/O >>> nun büyük bölümünü "bufdeamon"'ın oluşturduğunu gördüm. >>> >>> Bufdeamon'in neden olduğu yüksek I/O değerini nasıl düşürebileceğim ve >>> performansı nasıl arttırabileceğim konusunda fikirlerinizi rica edebilir >>> miyim ? >>> >>> >>> >>> Aslında, storage diskini asyn mount ederek performans arttırma yöntemi >>> mevcut. Ama bu tehlikeli yöntemi pek kullanmak istemiyorum. Zira, diskte >>> bulunan datanin, kayba pek tahammülü yok. >>> >>> >>> >>> Bu konuda yardımcı olabilecek arkadaşlara şimdiden teşekkür ederim. >>> >>> >>> >>> Çağrı Ersen. >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> -- >>> >>> +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ >>> >>> + http://www.enderunix.org/ismail http://www.endersys.com.tr + >>> >>> + EnderUNIX SDT @ Tr Endersys Consultancy Ltd. + >>> >>> + ismail ~ enderunix.org ismail.yenigul ~ endersys.com.tr + >>> >>> + Volunteer, Core Team Member Project Manager + >>> >>> +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ >>> >>> >>> >>> >>> TCP/IP ve Ağ güvenliği kitabının 2. baskısı çıktı! >>> >>> http://dukkan.acikakademi.com >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> -- >>> >>> +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ >>> >>> + http://www.enderunix.org/ismail http://www.endersys.com.tr + >>> >>> + EnderUNIX SDT @ Tr Endersys Consultancy Ltd. + >>> >>> + ismail ~ enderunix.org ismail.yenigul ~ endersys.com.tr + >>> >>> + Volunteer, Core Team Member Project Manager + >>> >>> +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ >>> >>> >>> >>> >>> TCP/IP ve Ağ güvenliği kitabının 2. baskısı çıktı! >>> >>> http://dukkan.acikakademi.com >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> >>> -- >>> >>> +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ >>> >>> + http://www.enderunix.org/ismail http://www.endersys.com.tr + >>> >>> + EnderUNIX SDT @ Tr Endersys Consultancy Ltd. + >>> >>> + ismail ~ enderunix.org ismail.yenigul ~ endersys.com.tr + >>> >>> + Volunteer, Core Team Member Project Manager + >>> >>> +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ >>> >>> >>> >>> >>> TCP/IP ve Ağ güvenliği kitabının 2. baskısı çıktı! >>> >>> http://dukkan.acikakademi.com >> >> > > ________________________________ > Put your friends on the big screen with Windows Vista® + Windows Live™. Start > now! _________________________________________________________________ Connect and share in new ways with Windows Live. http://www.windowslive.com/share.html?ocid=TXT_TAGHM_Wave2_sharelife_012008 --------------------------------------------------------------------- Listeye soru sormadan once lutfen http://ipucu.enderunix.org sitesine bakiniz. Cikmak icin, e-mail: [EMAIL PROTECTED] Liste arsivi: http://news.gmane.org/gmane.org.user-groups.bsd.turkey FreeBSD 6 kitabi cikti! http://www.acikakademi.com/catalog/freebsd6
