郭德纲收欧弟为徒真假:互联网运营智慧—高可用可扩展网站技术实战
作者: 田逸著(2010年11月第1版第1次)
清华大学出版社 Tsinghua University Press http://www.tup.tsinghua.edu.cn/
北京清华大学学研大厦A座(100084)
作者简介
田逸,男,土家族,重庆秀山人,全真龙门27代俗家弟子。长期从事Linux/Unix大负载网站运营工作,专注于IT保障事业。
内容简介
互联网运维是一门系统化的学问,也是一门新兴学科,书店里也很难找到一本能全面介绍运维体系的书籍,这是《互联网运营智慧:高可用可扩展网站技术实战》创作的初衷。《互联网运营智慧:高可用可扩展网站技术实战》深入浅出地介绍运维架构中的各个节点,从网络规划到服务器安装到负载均衡、分布式文件系统等架构规划,无一不囊括,包括:从简要说明选择开源技术作为运营环境开篇,到选定平台及工具的部署实施,以实例展示如何使用开源工具,来实现用户访问量在1000万这样的一个级别的站点功能。在《互联网运营智慧:高可用可扩展网站技术实战》中,也穿插了一些非技术方面的描述,如在系统运营中,有哪些日常事务、服务扩展该怎么着手,以及在运营中有哪些策略及技巧等。《互联网运营智慧:高可用可扩展网站技术实战》加入了作者的思想、经验、教训及建议等,尽可能使用类比方式来说明一些复杂且不易理解的东西,同时增强文章的可读性和趣味性。
《互联网运营智慧:高可用可扩展网站技术实战》结合了作者在中科院、空中网等运维一线奋战的经验,详细阐述了常见运维问题的解决之道。《互联网运营智慧:高可用可扩展网站技术实战》和实际开发结合程度很高,书中大部分的示例都是从实际项目中简化而来,因此很多例子都可以直接拿到实际项目中使用。
无论是对刚入门的系统管理员,还是资深的运维工程师,相信你研读《互联网运营智慧:高可用可扩展网站技术实战》之后,都会有不少收获。
P5,CENTOS一般需要选择的软件包,包括:Administration Tools, Development Libraries, Development Tools, Network Servers, System Tools等。
P7,在创建分区时,每创建一个新的分区,就需要手动输入挂接点Mount Point,选择文件类型,选择磁盘(如果存在多盘操作时),以及指定分区大小。
P32,比较流行的WEB服务器:Apache, Lighttpd, Nginx等。
P33,源码安装APACHE
解包tar zxvf httpd-2.2.12.tar.gz
切换目录 cd httpd-2.2.12
配置 ./confiure –prefix=/usr/local/apache –enable-so –enable-rewrite –with-mpm=worker
编译 make
安装 make install
检查编辑模块是否正确:apache/bin/apachectl –l
检查配置文件是否正确:apache/bin/apachectl –t
启动APACHE服务器:apache/bin/apachectl start
P52,设定LINUX的系统环境变量
/etc/profile 文件追加内容
export JAVA_HOME=/usr/local/jdk
export CLASSPATH=$JAVA_HOME/lib
保存文件后,执行 source /etc/profile,使修改立即生效。
P65,域名系统bind
wget http://ftp.../bind-9.5.2-p3.tar.gz
源码安装略
运行:/usr/local/named/sbin/named
P155,使用负载均衡的主要目的如下:
系统高可用性,某个组件的失效不会影响正常的服务;
系统可扩展性,可以透明扩充容量:宽带、服务器、存储、数据库等;
负载均衡能力,每个服务器可以根据权重分担负载;
一个完整的负载均衡项目,一般由虚拟服务器、故障隔离和失败切换3个功能框架组成。
虚拟服务器包括两层结构:负载均衡器和真实服务器。
故障隔离是指某个真实服务器失效或者发生故障时,系统自动将该服务器从转发队列中清理出去,相反,当服务器被修复后,系统再自动地把它加入到转发队列中
失效切换是针对负载均衡器来说的,当主负载均衡器发生故障时,备份负载均衡器自动接管主负载均衡器的工作;一旦主负载均衡器修复后,两者自动回到最初的角色。
Ipvsadm+keepalive=负载均衡
角色
所需IP
实现负载所需软件
操作
主负载均衡器
接口IP, VIP
Ipvsadm+keepalive
安装软件
备份负载均衡器
接口IP, VIP
Ipvsadm+keepalive
安装软件
真实服务器
接口IP, VIP
LVS客户端配置脚本
编写配置脚本
more /usr/local/bin/lvs_real
在多vrrp_instance负载均衡应用场景下,两个负载均衡器都转发用户请求。
P247,分布式文件系统的选择
Lustre, hadop, PNFS, MooseFS.
P258,MFS服务器安装包括:元数据服务器、元数据日志服务器、数据存储服务器
MFS客户端安装:
Mfsmount依赖fuse,安装fuse
tar zxvf fuse-2.7.4.tar.gz
cd fuse-2.7.4
./configure
make;make install
修改/etc/profile,然后执行 source /etc/profile使之生效
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH
安装MFS客户端
tar zxvf mfs-1.6.11.tar.gz
cd mfs-1.6.11
Useradd mfs –s /sbin/nologin
./configure –prefix=/usr/local/mfs –with-default-user=mfs –with-default-group=mfs –enable-mfsmount
make;make install
挂接和使用MFS文件系统
创建挂接点:mkdir /mnt/mfs
加载FUSE模块:modprobe fuse
挂接:/usr/local/mfs/bin/mfsmount /mnt/mfs –H 192.168.1.19
将挂接命令追加到 /etc/rc.local ,可以实现开机自动挂接MFS.
P304,HADOOP项目:
Hadoop Common:通用工具
Chukwa:开源数据收集系统,用于大规模分布环境的状态监控
Hbase:可扩展的分布式数据库
HDFS:分布式文件系统
MapReduce:分布式并行计算框架
Hive:数据仓库
Pig:大数据集分析平台
Zookeeper:分布式应用的高性能协作服务
P325,GRE/IP隧道网关:通过穿越互联网,提供网络到网络的私有访问,与VPN比较,VPN是点到面(一个用户拨号,访问一个私有网络),而隧道则是面到面(网络访问网络)。