大量的linux、H3C、cisco、华为、模拟器、adobe教程
盛大运维.pdf
章文嵩：使用LVS集群架设高可扩展的网络服务.pdf
大量的linux电子书pdf
简单的Linux系统初始化脚本详解.pdf
练成Linux系统高手教程.pdf
老蒋谈存储：案例版初稿.pdf
联想Linux系统高级管理.pdf
自己做个迷你型linux内核.pdf
解析Linux特殊文件.pdf
轻松搭建Postfix 邮件服务器系统(08-04-06).pdf
运维监控连载：开源监控利器nagios实战全解.pdf
配置OpenVPN进行加密通讯.pdf
高级Bash脚本编程指南.pdf
高级GRUB木马.pdf
高级Linux程序设计.pdf
高级TCP IP编程.pdf
嵌入式Linux设计与应用.pdf
循序渐进Linux.pdf
搭建基于Linux具备高可用性的集群环境.pdf
操作系统原理及应用LINUX.pdf
整合Active+Directory和OpenLDAP&&使用OpenLDAP.PDF
文件系统的节能技巧.pdf
最新最全网络首发安卓4.0源码及内核下载编译教程.pdf
李晓栋-监控.pdf
架构方案-x服务器&&某大型制造企业服务器虚拟化方案建议书.pdf
洪强宁-豆瓣网技术架构的发展历程.pdf
熟悉_Linux_系统的安全和优化.pdf
牛人写的 samba中文书.pdf
用U盘启动,通过FTP远程安装linux.pdf
用Zebra在Linux上构建路由器实战手册.pdf
田逸：互联网监控的艺术.pdf
xen_linux.pdf
使用IPMI实现终端重定向.pdf
使用iptables建设Linux防火墙.pdf
分布式文件系统MFS(moosefs)实现存储共享(第二版).pdf
分布式系统工程实践_taobao.pdf
初入Linux世界.pdf
古斯塔斯集团的qmail邮件系统.pdf
在 linux系统上安装Openmeetings免费视频会议第一版.pdf
基于linux的负载均衡技术.pdf
如何连接linux 共享打印机.pdf
学习+bash+(第二版)中文版.pdf
完全定制属于自己的SLAX.pdf
完全用Linux工作.pdf
实作Cisco路由器与Linux的动态路由.pdf
岑文初：淘宝开放平台架构设计与实践.pdf
Syngress.How.to.Cheat.at.Configuring.Open.Source.Security.Tools.pdf
Syngress.Nmap.in.the.Enterprise.Your.Guide.to.Network.Scanning.Jan.2008.eBook-DDU(现任明教教主批注版).pdf
taobao_cdn.pdf
Topic--LVS+HA方案经验享及技术交流--NetSeek.pdf
tripwire高级应用-检测入侵攻击.pdf
twitter运维技术经验.pdf
Vim用户手册中文版72.pdf
Vmware_server_1+oracle_10_+_rac+redhat_4.7+RAW(裸设备)installing.pdf
XEN安装与配置.pdf
YAHOO网页加速的14条优化法则.pdf
Zimbra_邮件系统安装手册_V1.1(鸿华锐科技).pdf
☆精品资料大放送☆(配有书签).pdf
乐者为王-Linus自传.pdf
五款常用mysql slow log分析工具的比较-mysql-slow-log-.pdf
使用cacti搭建企业监控平台.pdf
quagga.pdf
RHEL5 Virtual_Server_Administration.pdf
sed与awk(第二版).pdf
sed和grep用法详解.pdf
SElinux.pdf
SELinux中文教程.pdf
sery-lvs-cluster.pdf
shell十三问.pdf
Squid全套使用手册.pdf
SSH权威指南.pdf
Sun_Java_System_Directory_Server_Enterprise_Edition_6.2_管理指南.pdf
sun的云计算平台和技术实现.pdf
svn-book.pdf
svn-book1.4.pdf
Sybase：业务连续性实践案例.pdf
nagios完整配置文档(第一版).pdf
Nagios网络监控中文版.pdf
Nginx Keepalived双主.pdf
nginx和tomcat的搭配.pdf
Nginx指南.pdf
Openfiler 2.3安?配置.pdf
Openldap + samba 集成实现Domain Controller on RedHat EL 4.0.pdf
OpenLDAP+2.1+管理员指南.pdf
Openmeetings_安装手册.pdf
openvpn 服务器搭建详解.pdf
OpenVZ-Users-Guide.pdf
Pro Git in Chinese.pdf
puppet2.6配置手册_守住每一天.pdf
puppet_入门.pdf
qmail 安装部署.pdf
LPI考试测试题101.pdf
lvm-vgchange机其他知识.pdf
LVS+Heartbeat实施案例及经验分享--NetSeek.pdf
LVS+Keepalived--NetSeek.pdf
LVS-HA-using-VRRPv2.pdf
LVS手册.pdf
memcached全面剖析.pdf
Memcached原理和使用详解.pdf
MooseFS分布式文件系统安装向导.pdf
MySQL Monitoring-CU沙龙.pdf
MySQL性能调优文档.pdf
Nagios 3.0 安装配置指南.pdf
Nagios+Centreon+Nrpe+NSClient++完全配置笔记.pdf
Nagios-3.2安装与配置.pdf
Nagios3.x在线帮助中文版.pdf
Linux环境下双机(多机)自动互备份方案.pdf
LINUX的高级路由和流量控制.pdf
Linux的高级路由和流量控制HOWTO中文版.pdf
LINUX系统克隆.pdf
Linux系统基础教程.pdf
Linux系统工程师：Linux高级应用.pdf
Linux系统性能优化.pdf
Linux系统管理工具包 经典.pdf
Linux网络管理自编讲义.pdf
Linux网络编程.pdf
Linux菜鸟专用资料.pdf
Linux集群五(Linux 集群RHCS套件架设高可用集群实验).pdf
Linux高级培训教程.pdf
Linux高级配置详解.pdf
LPI上册.pdf
Global_File_System_2.pdf
Global_Network_Block_Device.pdf
Google_Android程序设计指南目录.pdf
用ubuntu Desktop LiveCD测试新电脑.pdf
Introduction RHS429 SELinux Policy Administration_2010_SELinux.pdf
Linux Mint 9.0 用户用册.pdf
linux内核编程（进阶篇）26.pdf
Logical_Volume_Manager_Administration.pdf
Mini6410 Android编程开发指南-.pdf
Mini6410 Qt4和Qtopia编程开发指南-.pdf
Mini6410_Android2.3编程开发指南-.pdf
Nagios+cacti+npc经典配置详解.pdf
nagios与cacti整合标准精细版本文档(更新).pdf
opensource10_200810.pdf
opensource11_200811.pdf
交换机模拟器--Sybex Toddrouter.rar
使用QEMU与VMware虚拟机进行ASA防火墙实验环境配置.mht
卧式分割线
利用VMware和Dynamips搭建广域网实验环境.pdf
北京华尔思机架-lab.rar
如何模拟帧中继试验.mht
工大瑞普U7.rar
工大瑞普模拟器Dynamips@EDURainbow 7.2完全版.zip
思科网络实验室路由交换实验指南(配套模拟器).rar
支持UDP和 TAP的ASA .rar
最新BGP综合实验.rar
用DY做BCMSN实验文档.rar
用pemu模拟CISCO ASA视频.rar
用Qemu来虚拟ASA设备.mht
经典实验_PT拓扑.zip
透过思科Packet Tracer揭开DSL技术的神秘面纱.mht
pemu完全手册__beta_6.pdf
PIX 8.04 VPN实验模拟器.rar
PIX Lab v1.9.rar
PIX8.0模拟-DynamipsGUI2.83.pdf
qemu-0.11.0-windows.zip
qemu模拟asa.rar
sip-4.7.4.tar.gz
TSHOOT机架.rar
vmlinuz+startASA.zip
vmware_ASA_sslvpn如何运行ASA的文档.rar
VMware_IPS 镜像文件cisco_ips.rar.rar
VMWare模拟ASA之单模与多模共存破解过程.pdf
VMware版本+ASA.rar
vpcs-0.16c.zip
vpcs-0.21a.zip
ISCW-LAB试验机架.rar
Linux版Dynamips CCNA实验室拓扑和net文件(RedHat9环境).rar
MDS 9124 DM模拟器 quick_config_demo.rar
mttys_0.0.3s.rar
IPS-K9-cd-1.1-a-5.1-6-E1.iso
Packet Tracer 5.0建构CCNA实验攻略.CHM
Packet Tracer 5做BSCI实验拓扑文件.rar
Packet Tracer5.3模拟IP Phone.mht
Packet Tracer中文手册 V2.00.pdf
Packet+Tracer+4.11中文实验指导.rar
PacketTracer-chinese.ptl
PacketTracer-chinese5.3.ptl
PacketTracer533_i386_no_tutorials_installer-rpm.bin
pemu__bin.tar.bz2
pemu__win.rar
DynamipsController.rar
dynamipsGUI(2.83)模拟PIX视频教程.rar
Dynamipsgui使用视频教学(WOLF小陈).rar
dynamipsGUI模拟PIX视频教程.rar
DynamipsSee V2.0.0一款可视化的拓扑设计软件.rar
dynamips_and_dynagen_for_linux.rar
Dynamips_Dynagen_Pemu中文教程V11.pdf
Dynamips中文使用手册V1.00.pdf
dynamips分布式实现详解.mht
Dynamips和Vmware完成CCVP试验.mht
dynamips安装使用视频教程.wrf
gns3版asa842单模主用_备用故障倒换视频.rar
ie.voice.topology.zip
IPS Qemu.rar
ISCW-LAB分布式VPC扩展机架.rar
dynagen-0.11.0.tar.gz
dynagen-0.11.0_win_setup.rar
dynagen.pdf
Dynamips For 工大瑞普 6.0 pre2 CCNP版.rar
Dynamips for 工大瑞普 6.5 CCSP版-含IOS版dynamips_vpneasy.rar
Dynamips GUI 2.83绿色版.rar
Dynamips _ Dynagen教程(最新1.11.7中文版).pdf
dynamips, vmware,真实pc相结合的使用.doc
dynamips-0.2.8-RC2-amd64.bin
dynamips-0.2.8-RC2-x86.bin
dynamips-0.2.8-RC3-community-cygwin.zip
dynamips-0.2.8-RC3-community.zip
Dynamips-Memory可以节约Dynamips使用的内存.rar
dynamips.net写法.rar
Dynamips3中文技术手册.pdf
BCMSN实验机架.rar
bgp+ospf+isis+重分发综合实验.工大瑞普ccnp综合实验包.rar
Boson NetSim入门进阶Ⅱ.pdf
bosonsimⅠ.pdf
ccie lab rack for rs and sp.rar
CCIE+rack.rar
CCIE-RS实验机架.rar
CCIE机架.rar
CCNP-TSHOOT.rar
cisco ASA.rar
CISCO 路由模拟器Boson NetSim for CCNP 7.06全套搞定.rar
cisco实验机架.rar
dy gui模拟器使用教程.rar
DY(思科路由模拟器)+VM做热备实验.rar
dynagen-0.11.0-1.fc9.src.rpm
2009思科模拟器PYDT-RouteSim.rar
4台asa842启动过程.wmv
ASA模拟器使用.wmv
ASA物理机安装.rar
h3c模拟器 破解无需加入H3C域.rar
H3C模拟器2012鼎杰终极版.rar
卧式分割线
H3C模拟器配置帧中继.rar
RouterVisioSetup V1.6.5-CN.rar
VPCS与WVRP5.5联通的配置方法.jpg
VRP模拟器2.0.rar
WVRP V5R5原版.RAR
wvrp5.5.rar
WVRPV5.7原版.rar
WVRPV5R7.rar
WVRP与Simware+分布式模拟组网.rar
ys-routesim华为模拟器3.31版.rar
华三模拟器WVRP3.0+5.1+5.2.rar
华为2010模拟器大集合及高级使用(Simware，MSR，H3CTE).rar
小辉H3C模拟器全版本H3C-Lab.rar
(NO.参考11)华为H3C模拟器SIMware和Dynamips互通_鼎杰小宝 .pdf
(NO.参考2)H3C模拟器总结_鼎杰小宝.pdf
(NO.参考3)H3C模拟器桥接子接口Telnet设置_鼎杰小宝.pdf
(NO.参考4)simware模拟交换机的方法_杰克王总结.pdf
(NO.参考5)CMWV5使用说明hardcfg.tcl_H3C内部鼎杰奉献.pdf
(NO.参考6)模拟交换机代码简要说明_鼎杰小宝.pdf
(NO.参考7)H3C模拟器cen破解非域运行教程.pdf
(NO.参考8)simware使用经验总结及支持的协议_杰克王.pdf
(NO.参考9)使用simware做QOS实验_杰克王.pdf
bgp实例模板Simware5.2a.rar
H3CNA试验模拟器下载(Wvrp5.5不需要加域).rar
H3CSE-MSR最新模拟器(交换版).rar
H3CSE-MSR最新模拟器(路由版).rar
小辉H3C模拟器全版本.pdf
必看1：H3C模拟器常见问题【2012BY鼎杰小宝AND王孝飞】.pdf
(NO.参考10)精通让simware和真实的电脑通信_zhj_net总结.pdf
Enterprise_Network_Simulator_V100R001C00B205版本说明书.zip
RouterVisio1.6.6(WVRP)使用指导书-.rar
RouterVisio1.6.6.rar
RouterVisio1.65(Wvrp5.5)视频教程.wmv
RouterVisio1.66(Wvrp5.7)视频教程.wmv
SIMware使用教程v1.2--by网络刀客(netDorker).pdf
SIMware使用轻松入门V1.2.rar
华为 WVRP 做承载网练习NGN+Slide.rar
H3CNE 5.1 官方ppt版.rar
大量的linux电子书pdf
H3CTE考试配置指南.rar
HCNE学习笔记.pdf
《H3C-NE实验手册》.pdf
华为HCNE-网络工程师培训教程.rar
华为hcne5.0教材和最新清晰无水印题库.rar
华为认证网络工程师HCNE培训教材.pdf
构建中小企业网络V6.0学习课件.rar
配套实验-HCNE_DDC和备份中心配置过程.rar
H3CSE课程《H3C大规模网络路由技术（v1.0）》培训胶片.rar
H3CSE课程《构建H3C高性能园区网络（v1.0）》培训胶片.rar
H3CSE课程《构建安全优化的广域网（v1.0）.rar
H3C_全系列路由器HSE培训教材（PDF版）.rar
H3SE存储培训教材.rar
HCSE-route+lab+V3.1.pdf
HCSE-switch+lab+V3.1.pdf
HCSE.H3CSE-路由实验手册.pdf
HCSE实验-交换.pdf
华为HSE培训教材.rar
华为认证交换教材.pdf
华为认证路由教材.pdf
新版H3CSE胶片pdf.rar
构建安全vpn网络HCSCE.pdf
构建安全优化的广域网CSOW+V1.0.rar
(GB0-283)H3CSE+Routing+&+Switching路由V5_06_0.pdf
(GB0-323)H3CSE+Routing+&+Switching交换V5_06_0.pdf
(GB0-363)H3CSE+Routing+&+Switching设计V5_06_0.pdf
2008年HSE培训教材－－业务软件产品.rar
H3CSE-Routing &Switching交换部分考试大纲.pdf
H3CSE-Routing &Switching路由部分考试大纲.pdf
H3CSE-Security安全认证培训实验指导(FW-VPN+V1.00).pdf
H3CSE-Security课程《布署安全防火墙系统（v1.1）》培训胶片.rar
H3CSE-Security课程《构建安全VPN网络v2.0》培训胶片.rar
H3CSE-Security课程《构建安全VPN（v1.1）》培训胶片.rar
H3CSE-Security课程《高级IPS系统配置（v1.1）》培训胶片.rar
H3CSE交换实验手册.pdf
H3CSE胶片PPT.rar
H3CSE设计部分考试大纲.pdf
H3CSE题库分析.rar
H3CTE+PPT+V2.2.rar
H3CTE-V8.02价值300块的TE题库历年总结.rar
H3CTE_2.1-PPT.rar
H3CTE考试资料.rar
H3CTE试验集整理(路由+交换+安全+链路).rar
HCTE知识点总结.pdf
华为产品维护资料汇编.H3C.HCTE.培训教材.PPT.rar
CCNA_Cisco_Certified_Network_Associate_Study_Guide-Lammle_Todd(7th_Ed).pdf
CCNA中文笔记.pdf
大量的思科电子书pdf
CCNA学习指南（第六版）修复版.pdf
CCNA学习笔记精简整理版.pdf
CCNA无线认证考试指南.pdf
CCNA笔记.pdf
Cisco - CCNA 640-553 Security Official Exam Certification Guide(2008).pdf
SPOTO - CCNA实验备考指南2007.pdf
sybex CCNA 学习向导 640-802 第六版.pdf
Sybex CCNA_Fast Pass (3rd Edition)Nov.2007.pdf
交大CCIE实验室编撰的CCNA实验集.pdf
从CCNA到CCNP笔记宝典（原创第二版---试读）.pdf
在国外学习整理CCNA学习笔记.pdf
思科网络技术学院教程 CCNA3交换基础与中级路由 CCNA3.pdf
破译思科之CCNA.pdf
2008厦门微思CCNA中文版教材(402页).pdf
CCENT-CCNA_ICND1_640-822_Official_Cert_Guide,_3rd.pdf
CCNA 640-802课程讲义.pdf
CCNA-CCNP考试命令总结.pdf
CCNA-ICND1 Exam Certification Guide.pdf
CCNA-ICND2 Exam Certification Guide.pdf
Cisco 6509交换机HSRP工程实例配置.pdf
Cisco CCNP CCIP网络工程师指导.pdf
Cisco Press - CCNP Building Cisco Multilayer Switched Networks Student Guide Version 2.0(2003).pdf
Cisco Press - CCNP Building Cisco Remote Access Networks Student Guide Version 2.0(2003).pdf
Cisco Press - CCNP Building Scalable Cisco Internetworks Student Guide Version 2.0(2003).pdf
Cisco Press - CCNP Cisco Internetwork Troubleshooting Student Guide Version 5.0(2003).pdf
HSRP多组负载均衡.pdf
HSRP负载均衡.pdf
IOS_Interior_Routing_Protocols.pdf
ISCW10S第一、二部分.pdf
ISCW10S第三部分.pdf
新版CCNP_642-811学习中文笔记.PDF
标度CCNP随堂实验正式版-2012-带目录.pdf
网络工程师实验大全（精心整理版）.pdf
CCNP_Security_Secure_642-637_Official_Cert_Guide.pdf
CCNP_Security_VPN_642-647_Official_Cert_Guide.pdf
CCNP_SWITCH_642-813_Official_Certification_Guide.pdf
CCNP中文路由交换实验手册.pdf
CCNP交换学习指南(第二版).pdf
CCNP学习指南642-813交换中文版.pdf
CCNP学习指南642-832排错中文版.pdf
CCNP学习指南642-902路由中文版.pdf
CCNP学习笔记完全版.pdf
CCNP实验参考手册（BCMSN）.pdf
CCNP实验参考手册（BSCI）.pdf
CCNP实验手册.pdf
CCNP认证指南-交换-中文版.pdf
CCNP认证指南-排错-中文.pdf
CCNP认证指南-路由-中文版.pdf
CCNP BSCI Student Guide Version 3.0 Vol.1(2006).pdf
CCNP CCIP_BSCI学习指南(中文版).pdf
CCNP Extend.pdf
CCNP ISCW Student Guide Version 1.0 Vol.1(2006).pdf
CCNP ONT Student Guide Version 1.0 Vol.1(2006).pdf
CCNP Route.pdf
CCNP Switch.pdf
CCNP+ROUTE+Portable+Command+Guide.pdf
CCNP+SWITCH+Portable+Command+Guide.pdf
CCNP+TSHOOT+642-832+中文.pdf
CCNP-Switch部分中文学习笔记.pdf
CCNP.TSHOOT.642-832.中文.pdf
CCNP_ONT642-845_v1.33中文实验手册.pdf
CCNP_ROUTE_642-902_Official_Certification_Guide.pdf
CCNP_Security_Firewall_642-617_Official_Cert_Guide.pdf
2008年微思网络CCNP BCMSN3.0中文版教材（328页）.pdf
2010 沃尔康CCNP 4.0 Switch v1.0 实验手册.pdf
CCNP BCMSN Student Guide Version 3.0 Vol.1(2006).pdf
CCNP BCMSN Student Guide Version 3.0 Vol.2(2006).pdf
CCNP BSCI Student Guide Version 3.0 Vol.2(2006).pdf
CCNP ISCW Student Guide Version 1.0 Vol.2(2006).pdf
physical-terminations.pdf
Spanning_Tree.pdf
tcpdump.pdf
Wireshark_Display_Filters.pdf
common-ports.pdf
First_Hop_Redundancy.pdf
Frame_Mode_MPLS.pdf
IEEE_802.11_WLAN.pdf
IEEE_802.1X.pdf
IOS_IPv4_Access_Lists.pdf
IPv4_Multicast.pdf
IPv4_Subnetting.pdf
Markdown.pdf
MediaWiki.pdf
CCNP ONT Student Guide Version 1.0 Vol.2(2006).pdf
CCNP_ROUTE_642-902_Official_Certification_Guide.pdf
CCNP_ROUTE_642-902_Quick_Reference.pdf
CCNP_SWITCH_642-813_Official_Certification_Guide.pdf
CCNP_SWITCH_642-813_Quick_Reference.pdf
CCNP_TSHOOT_642-832_Official_Certification_Guide.pdf
CCNP_TSHOOT_642-832_Quick_Reference.pdf
Cisco_IOS_Versions.pdf
Photoshop CS swf教程1～84全集完整版.rar
Photoshop CS3 中文版 祁连山 教程.rar
卧式分割线
Photoshop CS3 中文版教程祁连山106集.rar
Photoshop.CS3中文版设计解析：特效精湛技法.pdf
Photoshop.CS3印象.通道与图像合成专业技法.pdf
Photoshop.CS4特效创意篇之下篇.rar
Photoshop.CS4特效创意篇之中篇.rar
PhotoshopCS3中文版完全自学教程.pdf
Photoshop把真人转化成石膏像效果.mht
Photoshop数码照片制作宝典.rar
Photoshop给照片上MM的衣服换颜色.jpg
Photoshop绝色美女通道抠图法.jpg
photoshop高级锐化专题第三课.rar
photoshop高级锐化专题第四课.rar
《Photoshop.CS3.平面设计技能进化手册》.rar
Photoshop儿童照片合成让宝宝变身为天使.mht
Photoshop制作动漫MM壁纸全记录.jpg
Photoshop图像修复与润饰（第三版）.pdf
Photoshop实例教程合集┊内含18 本优秀Photoshop实例教程┊简体中文EXE电子书.rar
PHOTOSHOP手绘漂亮MM.rar
PhotoShop鼠绘进阶教程.zip
Ps照片艺术处理实例.rar
VISTA玻璃窗口效果制作.jpg
Web前台技术大系丛书-Photoshop.CS3.Flash.CS3.Dreamweaver.CS3商业网站开发从入门到精通-教学PPT.rar
卡能教育_人像修片教程_漂亮MM.avi
卡能教育_儿童摄影后期修片（暖调）（CaptureNX.photoshop）.wmv
卡能教育_后期修片-快速打造养眼美女.wmv
卡能教育_影楼婚纱人像修片全流程.avi
抠图的精典教程.pdf
教大家怎么处理唯美女孩变梦幻精灵化改造~走韩国路线.mht
匹配颜色.swf
四抠玻璃(适合新手抠透明物体的教程).mht
奇门独软！给黑白照片上色如此Easy.jpg
流光溢彩！制作Vista风格强劲光束 - Adobe Photoshop-Fireworks.mht
漂亮PS效果教程总汇(不断补全中).mht
用photoshop做网页.rar
用Photoshop制作时尚乞丐牛仔面料.mht
用Photoshop给极品美女美容篇.jpg
用PS制作1寸或2寸照片.doc
用渐变效果做漂亮照片.jpg
用调整图层给黑白照片上色.jpg
相片处理.rar
磨砂效果ps制作教程.swf
色彩范围+蒙板二步抠出飘发MM.mht
鼠绘情侣恋人教材.mht
51RGB照片处理_美容术_高级技巧.rar
cnPser系列-photoshop经典实例1000例【第七辑】-调色篇.e=e
photoshop教程(把它做成电子书).rar
photoshop教程.rar
Photoshop数码照片处理从入门到精通.pdf
photoshop高级锐化专题第一课.rar
photoshop高级锐化专题第二课.rar
中文版.Photoshop.CS.卡通漫画轻松入门.pdf
中文版PHOTOSHOP.CS3完全自学教程.pdf
卡能教育_摄影修片教程_优美风光.avi
照片创意处理：美眉照片巧制GIF热舞动画.jpg
选择的艺术.Photoshop.CS图像处理深度剖析.pdf
文章评论 以下网友留言只代表其个人观点，不代表本网站的观点和立场。帖子4193&精华0&积分7234&金币10059 &注册时间&最后登录&
如何在思科MDS交换机的存储网络环境中排查瓶颈设备
在存储网络环境中，性能问题是经常遇到的故障。当性能问题发生时，设备处理速度明显降低、或报I/O的告警，这都会对业务系统造成影响。
　　性能问题的成因可以是主机、存储，或者是交换机端口。由于某种原因，它们不能及时返回缓存信用(Buffer Credit)到上游设备，于是发生延迟、拥塞甚至(超过规定时间时)丢帧，从而引发性能问题。造成瓶颈设备的可能因素可以是物理层面(如光纤模块(SFP)、光纤线(Cable)、配线架(Patch Panel或ODF))，或是终端设备(如主机CPU、内存不足，有问题的SQL语句，存储性能不足等)，也可以是由于SAN环境本身设计的问题，如实际业务量超过设备最大处理能力等。本文将介绍如何在Cisco MDS交换机的SAN网络下排查瓶颈设备。
　　一、瓶颈设备(Slow Drain Device)的成因
　　要理解瓶颈设备出现的原因，首先要理解交换机是如何实现流量控制的。上文中提及的缓存信用，在流量控制中起到关键作用。每个交换机端口都有若干个缓存信用，其数量在链路起来的时候由该端口和所连设备协商确定。只有当存在可用收发缓存信用时，端口才能够发送流量，同时会消耗其一个可用的缓存信用。当对端接收到这个帧，并且回复了一个确认消息，即分发成功，发送端的可用缓存信用个数才会恢复。由于缓存信用是有限的，当交换机端口没有可用的缓存信用时，不能发送新的帧而进入等待状态，便会产生延时。当然，没有分发出去的帧不会一直占用缓存信用。当占用时间达到500ms(默认配置下)而仍未分发成功时，该帧会被抛弃，链路重置并释放出缓存信用。此时在终端设备上(如主机或存储)一般会提示有I/O报错，而在思科MDS交换机上，对应的计数器值会增长。
　　二、清零SAN中所有思科MDS交换机的计数器(Counter)是排错的第一步
　　由于计数器的值是累加的，所以性能故障出现后，单纯在第一时间收集日志往往并不能及时帮助判断出问题所在。如果性能故障持续，将交换机计数器(Counter)清零是排错的第一步。清零计数器的命令行(CLI)命令如下：
　　清除普通端口计数器
　　To clear interface counters:
　　MDS-9509# clear counters interface all
　　清除Port-Channel端口计数器
　　To clear interface counters if port-channels are configured:
　　MDS-9509# clear counters interface port-channel &1-256&
　　清除ASIC计数器
　　To clear ASIC counters it's required to 'attach' to all line cards:
　　MDS-9509# attach module 1
　　Attaching to module 1 ...
　　To exit type 'exit', to abort type '$.'
　　Bad terminal type: &ansi&. Will assume vt100.
　　module-1# clear asic-cnt all
　　在FCIP的拓扑网络中，我们需要用如下命令与IP相关的计数器：
　　To clear IPS stats on a GigabitEthernet port:
　　MDS-9509# clear ips stats all
　　计数器清零后，一般我们推荐等待4-6个小时，或者在严重性能问题出现后等待半小时，再收集以下两条命令的输出：
　　show tech-support details
　　show logging onboard
　　如果知道出现性能问题的初始时间点，我们可以收集：
　　show logging onboard starttime mm/dd/yy-HH:MM:SS
　　比如15年9月29日6点23分50秒：
　　show logging onboard starttime 09/29/15-06:23:50
　　三、确定SAN网络的拓扑图
　　对于多交换机网络，会有级联链路(ISL)和级联端口(E-Port)。确定SAN网络的拓扑图有助于梳理有性能问题的数据传输路径。
　　如下所示，show topology的输出显示了本机与相邻交换机之间的级联情况。show fcs ie的输出显示了本机所在VSAN中所有交换机信息。
　　Sh9222i-2# show topology
　　FC Topology for VSAN 1 :
　　--------------------------------------------------------------------------------
　　Interface Peer Domain Peer Interface Peer IP Address(Switch Name)
　　--------------------------------------------------------------------------------
　　port-channel100 0x01(1) port-channel 100 10.32.167.225(Sh9222i-1)
　　FC Topology for VSAN 30 :
　　--------------------------------------------------------------------------------
　　Interface Peer Domain Peer Interface Peer IP Address(Switch Name)
　　--------------------------------------------------------------------------------
　　port-channel100 0x0a(10) port-channel100 10.32.167.225(Sh9222i-1)
　　FC Topology for VSAN 40 :
　　--------------------------------------------------------------------------------
　　Interface Peer Domain Peer Interface Peer IP Address(Switch Name)
　　--------------------------------------------------------------------------------
　　port-channel100 0x91(145) port-channel100 10.32.167.225(Sh9222i-1)
　　Sh9222i-2# show fcs ie
　　IE List for VSAN: 1
　　-------------------------------------------------------------------------------
　　IE-WWN IE Mgmt-Id Mgmt-Addr (Switch-name)
　　-------------------------------------------------------------------------------
　　20:01:00:05:73:ad:26:01 S(Loc) 0xfffc03 10.32.167.226 (Sh9222i-2)
　　20:01:00:05:73:ad:2a:01 S(Adj) 0xfffc01 10.32.167.225 (Sh9222i-1)
　　[Total 2 IEs in Fabric]
　　IE List for VSAN: 30
　　-------------------------------------------------------------------------------
　　IE-WWN IE Mgmt-Id Mgmt-Addr (Switch-name)
　　-------------------------------------------------------------------------------
　　20:1e:00:05:73:ad:26:01 S(Loc) 0xfffc14 10.32.167.226 (Sh9222i-2)
　　20:1e:00:05:73:ad:2a:01 S(Adj) 0xfffc0a 10.32.167.225 (Sh9222i-1)
　　[Total 2 IEs in Fabric]
　　IE List for VSAN: 40
　　-------------------------------------------------------------------------------
　　IE-WWN IE Mgmt-Id Mgmt-Addr (Switch-name)
　　-------------------------------------------------------------------------------
　　20:28:00:05:73:ad:26:01 S(Loc) 0xfffc90 10.32.167.226 (Sh9222i-2)
　　20:28:00:05:73:ad:2a:01 S(Adj) 0xfffc91 10.32.167.225 (Sh9222i-1)
　　[Total 2 IEs in Fabric]
　　其中Loc代表本交换机，Adj代表直接级联的交换机，Rem代表非直接级联但是在同一个VSAN中的远端交换机。
　　四、存储网络性能分析
　　一个典型的SAN拓扑如下：两台交换机级联，均接有设备，中间由四根ISL捆绑成port-channel。
　　瓶颈可能出现在如下节点：
　　边界交换机：
　　- 服务器性能问题：应用或者操作系统
　　- HBA问题：驱动或者硬件错误
　　- 速度不 匹配：存储网络中一个快设备，一个瓶颈设备
　　- 在虚拟环境中非正常的虚机，导致FC的帧在HBA队列里面无法发出
　　- 存储子系统性能问题，包括过载
　　级联链路：
　　- 缺少buffer信用，尤其是对于长距离传输的拓扑来说
　　- 终端设备有瓶颈设备存在
　　- 边界交换机的速度大于网络中间级联口的速度
　　首先我们需要查看端口计数器的值，检查是否出现discard或者CRC的情况;其次，查看在show logging onboard命令输出中，搜索一些端口是否timeout、credit loss、packet drop之类的错误信息。
　　下图是用于考量性能问题的计数器及其说明：
　　其中比较重要的是
　　FCP_SW_CNTR_TX_AVG_B2B_ZERO
　　代表端口剩余的缓存信用(Buffer Credit)数量为0的时间。当然缓存信用数量降为0是常见现象，特别是在级联端口或者被共享的存储端口上。该值增长并不等同于出现性能问题，但是如果这个数值的占时间的比例比较高，则意味着可能出现了拥塞。一般来说如果，这个数值如果小于所传输帧数的30%，则被视为是正常的。
　　c3_timeout
　　用于判断是否出现丢帧。分为rx_c3_timeout和tx_c3_timeout两种，rx表示接收数据，tx表示发送数据。当端口发送或者接受一个帧之后，消耗掉相应的方向上的缓存信用，并开始计时，如果超过500ms依然没有收到对方的回应，则认为该分发动作没有完成，丢弃该帧，计数器加1。这个数值往往意味着性能故障。
　　Show logging onboard输出中的计数器种类非常多 ，简单总结了下，我们主要关注如下几个：
　　1)所有TX发方向的lack of credit error
　　FCP_CNTR_QMM_CH0_LACK_OF_TRANSMIT_CREDIT
　　AK_FCP_CNTR_RCM_CH0_LACK_OF_CREDIT
　　2)所有timeout 或者 packet drop的信息
　　FCP CNTR LAF C3 TIMEOUT FRMAES DISCARD
　　THB_TMM_TOLB_TIMEOUT_DROP_CNT
　　FCP_CNTR_LAF_TOTAL_TIMEOUT_FRAMES
　　3)所有buffer average to Zero的信息
　　FCP_SW_CNTR_TX_AVG_B2B_ZERO
　　在这些计数参数频繁出现时候，我们需要特别注意交换机所连的终端设备，这些设备很可能是瓶颈设备，也就是我们常说的Slow Drain Device。
　　通过如下命令可以查看端口剩余的buffer credit值：
　　Sh9222i-2# show interface fc1/7 | inc &fc|redit&
　　fc1/7 is trunking
　　Transmit B2B Credit is 250
　　Receive B2B Credit is 250
　　250 receive B2B credit remaining
　　250 transmit B2B credit remaining
　　250 low priority transmit B2B credit remaining
　　示例：
　　交换机1端口57上有FCP_CNTR_QMM_CH0_LACK_OF_TRANSMIT_CREDIT或者c3 Tx方向的timeout，表示该端口向下游发送数据时，对方回应不及时，Transmit B2B credit降到0超过0.5秒，即而发生丢帧。
　　接下来让我们看看下游端口的数据。交换机2端口55有timeout相关的counter存在，说明该端口收到上游发送来的帧之后，尝试继续向交换机2上的出口端口转发时，却也因为下一条端口没有可用Credit，超过0.5秒后丢帧。
　　如果交换机内部没有发生拥塞，或者级联链路没有物理层故障，那么在下游交换机2上应该有一个我们所说的瓶颈设备(Slow Drain Device)。通过show interface counters可以很快的找到这个设备。比如fc1/1是设备口，以下命令输出显示buffer credit明显不够，并且有较多的output discard信息：
　　Sh9222i-2# show int fc1/1 counters
　　5148945 frames output, bytes
　　100 discards, 0 errors
　　100 timeout discards, 14130 credit loss
　　2745464 Transmit B2B credit transitions to zero
　　11 Receive B2B credit transitions to zero
　　32 receive B2B credit remaining
　　1 transmit B2B credit remaining
　　1 low priority transmit B2B credit remaining
　　同时我们也可以检查在logging onboard日志中是否有credit-loss、request-timeout等出现。
　　五、性能问题排查总结
　　找出该瓶颈设备(Slow Drain Device)的一般步骤如下：
　　1.通过show topology和show fcs ie绘制SAN拓扑结构
　　2.检查show interface中端口是否有errors或者discards的报错;
　　3.检查show interface transceiver details该端口光线模块收发光情况异常;
　　4.检查show logging log是否有端口重置link failure的现象
　　5.检查show logging onboard日志查看是否有credit loss或者packet drop报错比较多的终端设备
　　6.如上述步骤均未现异常，则说明网络侧不是造成性能问题的原因，此时应检查末端设备(主机、阵列)自身是否有问题。
　　六、其他
　　排查思科SAN网络中的性能问题，认清重要计数器的含义非常重要。在设备运行正常的时候，经常清零计数器是我们极力推荐的。历
　　史计数器值会对排错产生误导，在性能问题出现时的统计生成的计数器数据才是排查过程中最得力的工具。
相关帖子：
[通过 QQ、MSN 分享给朋友]
管理员推荐
观看戴尔微视频并截图，在活动贴中回复你的邮箱+点评就有机会赢大奖！还等什么，快来参加吧！