Linux LVS(Linux virtual server)V1.26 负载均
2 Linux LVS(Linux virtual server)V1.26 负载均衡
配置思路:
安装LVS服务器 在LVS服务器上安装kernel 链接内核文件 并手动绑定VIP 配置realserver后端服务,手动执行VIP绑定脚本 2.1 LVS 概念
LVS是Linux Virtual Server的简称,也就是Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目,它的官方站点是www.linuxvirtualserver.org。现在LVS已经是 Linux标准内核的一部分,在Linux2.4内核以前,使用LVS时必须要重新编译内核以支持LVS功能模块,但是从Linux2.4内核以后,已经完全内置了LVS的各个功能模块,无需给内核打任何补丁,可以直接使用LVS提供的各种功能。
LVS是一个模块,可以单独使用,但是配合keepalived更方便,
版本: 根据内核选择版本 Branch Version Release date Status License IPVS for kernel 2.6 1.2.1 24-Dec-2004 Stable GNU General Public License (GPL) IPVS for kernel 2.5 1.1.7 5-Jul-2003 Devel GNU General Public License (GPL) IPVS for kernel 2.4 1.0.12 17-Nov-2004 Stable GNU General Public License (GPL) IPVS for kernel 2.2 1.0.8 14-May-2001 Stable GNU General Public License (GPL)
LVS负载均衡方案
通过自已书写脚本的方式监控LVS heartbeat+lvs+ldirectord 比较复杂,不易控制 通过redhat提供的工具piranha来配置lvs keepalived+LVS方案(推荐) 2.2 LVS 负载均衡模式
VIP 虚拟IP地址(Virtual Ip Address)
RIP 后端服务器真实IP(Real Server IP Address) DIP Director的IP地址(Director IP Address) 主要是连接后端服务器和外网的网卡IP地址 CIP 客户端IP地址
2.2.1 LVS DR模式:直接路由 (企业常用)
用户请求VIP, 将数据包发送到LVS服务器,(这里是通过ARP广播找到LVS服务器的),包的源IP是CIP,目的IP是VIP LVS收到请求包后,根据调度算法和转发方式,将数据包转发到其中的某一台RS服务器上,并将数据包的目的mac地址修改成RS的mac地址。 RS收到数据包后,首先要做包的解封装,发现目的mac和目的IP都是本地的,于是会接收并处理数据包,(因为RS上的lo接口都绑定了VIP,所以它认为是给自已的包) RS将请求的目的IP修改为CIP,源IP为本地的VIP,将结果直接返回给客户端,(转发的过程是通过arp广播的方式,通过网关转发出去的) 优缺点:
LVS和RS都需要配置VIP,而且必须在同一网段中,因为它是通过修改MAC地址来实现转发 DR模式仅修改了目的MAC地址,所以无法更改目的端口,所以RS和LVS端口必须一致 RS最好能有外网IP,如果是通过内网服务器做网关,那么压力瓶颈会很大 2.2.2 LVS NAT模式:网络地址转换
NAT(Network Address Translation)是一种外网和内网地址映射的技术。NAT模式下,网络数据报的进出都要经过LVS的处理。LVS需要作为RS(真实服务器)的网关。当包到达LVS时,LVS做目标地址转换(DNAT),将目标IP改为RS的IP。RS接收到包以后,仿佛是客户端直接发给它的一样。RS处理完,返回响应时,源IP是RS IP,目标IP是客户端的IP。这时RS的包通过网关(LVS)中转,LVS会做源地址转换(SNAT),将包的源地址改为VIP,
vi /etc/sysctl.conf
特点:
后端RS不需要外网IP和接入外网 RS节点的网关必须指向LVS LVS瓶颈大 NAT支持LVS与RS的端口中不一致, 所有RS节点不需要配置VIP, LVS需要开启路由转发 2.2.3 LVS TUN 隧道 可以实现一些应用的跨机房的高可用 2.2.4 LVS FULL NAT 实现多个LB调度器来处理请求,(OSPF+多台LVS)
2.3 LVS 调度算法
固定调度算法:rr,wrr,dh,sh 动态调度算法:wlc,lc,lblc,SED,NQ 常用算法: rr, wrr, wlc rr 轮循调度(Round-Robin),它将请求依次分配不同的RS节点,也就是在RS节点中均摊请求,这种算法简单,但 只适合RS节点处理性能差不大的情况
wrr, 加权轮循调度(weighted Round-Robin),它将依据不同RS节点的权值分配任务,权值较高的RS将优先获得任务 ,并且分配到的连接数将比权值较低的RS节点更多,相同的权值的RS得到相同的数目的连接数
dh 目的地址哈希调度(Destination Hashing)以目的地址为关键字查找一个静态hash表来获得需要的RS
sh 源地址哈希调度(source hashing)以源地址为关键字查找一个静态hash表来获得需要的RS
wlc 加权最小连接数调度(weighted Least-Connection),假设各台RS的权值依次为Wi(I=1..n),当前的TCP连接 数依次为Ti(I=1..n),依次选取Ti/Wi为最小的RS作为下一个分配的RS
lc 最小连接数调度(Least-Connection),IPVS表存储了所有的活动的连接,把新的连接请求发送到当前连接数最 小的RS
生产环境选型:
一般的网络服务,如HTTP MAIL MYSQL等,常用的LVS调度算法为 a. 基本轮叫调度rr算法 b. 加权最小连接调度wlc c. 加权轮叫调度wrr算法 ? Fixed Scheduling Method 静态调服方法
RR #轮询 #调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上,它均等地对待每一台服务器,而不管服务器上实际的连接数和系统负载。
WRR #加权轮询 #调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。 这样可以保证处理能力强的服务器处理更多的访问流量。调度器 可以自动问询真实服务器的负载情况,并动态地调整其权值。
DH #目标地址hash #算法也是针对目标IP地址的负载均衡,但它是一种静态映射算法,通过一个散列(Hash)函数将一个目标IP地址映射到一台服务器。 #目标地址散列调度算法先根据请求的目标IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空。
SH #源地址hash #算法正好与目标地址散列调度算法相反,它根据请求的源IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是 可用的且未超载,将请求发送到该服务器,否则返回空。 #它采用的散列函数与目标地址散列调度算法的相同。除了将请求的目标IP地址换成请求的源IP地址外,它的算法流程与目标地址散列调度算法的基本相似。在实际应用中,源地址散列调度和目标地址散列调度可以结合使用在防火墙集群中,它们可以保证整个系统的唯一出入口。
? Dynamic Scheduling Method 动态调服方法
LC #最少连接 #调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。 如果集群系统的真实服务器具有相近的系统性能,采用"最小连接"调度算法可以较好地均衡负载。
WLC #加权最少连接 #在集群系统中的服务器性能差异较大的情况下,调度器采用"加权最少链接"调度算法优化负载均衡性能,具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况,并动态地调整其权值。
SED #最少期望延迟 #基于wlc算法,举例说明:ABC三台机器分别权重123,连接数也分别是123,name如果使用WLC算法的话一个新请求 进入时他可能会分给ABC中任意一个,使用SED算法后会进行这样一个运算 #A:(1+1)/2
#B:(1+2)/2
#C:(1+3)/3 #根据运算结果,把连接交给C
NQ #从不排队调度方法 #无需列队,如果有台realserver的连接数=0 就直接分配过去,不需要进行sed运算.
LBLC #基于本地的最少连接
#该算法根据请求的目标IP地址找出该 目标IP地址最近使用的服务器,若该服务器 是可用的且没有超载,将请求发送到该服务器; #若服务器不存在,或者该服务器超载且有服务器处于一半的工作负载,则用"最少链接"的原则选出一个可用的服务器,将请求发送到该服务器。
LBLCR #带复制的基于本地的最少连接 #"带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡,目前主要用于Cache集群系统。 #它与LBLC算法的不同 之处是它要维护从一个 目标IP地址到一组服务器的映射,而LBLC算法维护从一个目标IP地址到一台服务器的映射。 #该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组,按"最小连接"原则从服务器组中选出一台服务器, #若服务器没有超载,将请求发送到该服务器;若服务器超载,则按"最小连接"原则从这个集群中选出一 台服务器 ,将该服务器加入到服务器组中,将请求发送到该服务器。同时,当该服务器组有一段时间没有被修改, 将最忙的服务器从服务器组中删除,以降低复制的程度。
2.4 LVS 安装
官网: http://www.linuxvirtualserver.org/software/ 版本: 1.27-7.el7 最新版 ipvsadm-1.26-1.src.rpm (for kernel 2.6.28-rc3 or later) - February 8, 2011 ipvsadm-1.26.tar.gz (for kernel 2.6.28-rc3 or later) - February 8, 2011
【注意】 根据内核选择版本
2.4.1 yum安装
linux内核2.4版本以上的基本都支持LVS,要使用lvs,只需要再安装一个lvs的管理工具:ipvsadm
yum install ipvsadm
yum安装的自动会加载ip_vs模块 [root@localhost ~]# lsmod |grep ip ip_vs 140944 0
2.4.2 源码安装
安装依赖 yum install popt-static popt-devel kernel-devel kernel libnl-devel libnl3-devel 安装内核模块 ln -s /usr/src/kernels/2.6.* /usr/src/linux 下载LVS所需软件ipvsadm-1.2.6.tar.gz软件,编译安装: wget -c http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz tar xzvf ipvsadm-1.26.tar.gz &&cd ipvsadm-1.26 && make && make install https://blog.51cto.com/zhongliang/configure --sysconf=/etc --with-kernel-dir=/usr/src/kernels/2.6.32-358.el6.x86_64/
加载模块 执行命令:modprobe ip_vs 或者执行 /usr/sbin/ipvsadm自动加载 lsmod | grep ip_vs 安装小结
Centos5.x 安装lvs,使用1.24版本,不要用1.26 centos6.4安装lvs,使用1.26版本,并且安装yum install libnl* popt* -y 安装lvs后,要执行ipvsadm把ip_vs模块加载到内核 2.5 LVS Ipvsadm配置
其实LVS的本身跟iptables很相似,而且连命令的使用格式都很相似,其实LVS是根据iptables的框架开发的,那么LVS的本身分成了两个部分:
第一部分是工作在内核空间的一个IPVS的模块,其实LVS的功能都是IPVS模块实现的, 第二部分是工作在用户空间的一个用来定义集群服务的一个工具ipvsadm, 这个工具的主要作用是将管理员定义的集群服务列表传送给工作在内核空间中的IPVS模块,下面来简单的介绍下ipvsadm命令的用法 2.5.1 Ipvsadm参数详解
参数说明: -A 增加一台虚拟服务器地址(实例服务器,类似于haproxy的一个backend )。此处以VIP命名 -a 在虚拟服务器中增加一台后端RS真实服务器。 -D 删除一台虚拟服务器,删除VIP实例名 -d 删除一台RS服务器 -t 指定虚拟服务器提供的tcp服务端口。 -s 使用的调度算法。 -r 指定RS真实服务器地址。 -m 设置当前转发方式为NAT模式; -g 设置为DR直接路由模式; -i 设置为tun隧道模式。 -w 后端真实服务器的权重。 -C --clear #清除所有配置。 --set tcp tcpfin udp #设置连接超时值
查看LVS转发列表命令为:ipvsadm –Ln
#virtual-service-address:是指虚拟服务器的ip 地址(一般是VIP 当多个虚拟服务器时就有多个VIP) #real-service-address:是指真实服务器的ip 地址(后端的Real server) #scheduler:调度方法
ipvsadm 的用法和格式如下: ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p[timeout]] [-M netmask] ipvsadm -D -t|u|f virtual-service-address ipvsadm -C ipvsadm -R ipvsadm -S [-n] ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port [-g|i|m] [-w weight] ipvsadm -d -t|u|f service-address -r server-address ipvsadm -L|l [options] ipvsadm -Z [-t|u|f service-address] ipvsadm --set tcp tcpfin udp ipvsadm --start-daemon state [--mcast-interface interface] ipvsadm --stop-daemon ipvsadm -h
-A --add-service #在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。 -E --edit-service #编辑内核虚拟服务器表中的一条虚拟服务器记录。 -D --delete-service #删除内核虚拟服务器表中的一条虚拟服务器记录。 -C --clear #清除内核虚拟服务器表中的所有记录。 -R --restore #恢复虚拟服务器规则 -S --save #保存虚拟服务器规则,输出为-R 选项可读的格式 -a --add-server #在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录。也就是在一个虚拟服务器中增加一台新的真实服务器 -e --edit-server #编辑一条虚拟服务器记录中的某条真实服务器记录 -d --delete-server #删除一条虚拟服务器记录中的某条真实服务器记录 -L|-l --list #显示内核虚拟服务器表 -Z --zero #虚拟服务表计数器清零(清空当前的连接数量等) --set tcp tcpfin udp #设置连接超时值 --start-daemon #启动同步守护进程。他后面可以是master 或backup,用来说明LVS Router 是master 或是backup。在这个功能上也可以采用keepalived 的VRRP 功能。 --stop-daemon #停止同步守护进程 -h --help #显示帮助信息
#其他的选项: -t --tcp-service service-address #说明虚拟服务器提供的是tcp 的服务[vip:port] or [real-server-ip:port] -u --udp-service service-address #说明虚拟服务器提供的是udp 的服务[vip:port] or [real-server-ip:port] -f --fwmark-service fwmark #说明是经过iptables 标记过的服务类型。 -s --scheduler scheduler #使用的调度算法,有这样几个选项rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,默认的调度算法是: wlc. -p --persistent [timeout] #持久稳固的服务。这个选项的意思是来自同一个客户的多次请求,将被同一台真实的服务器处理。timeout 的默认值为300 秒。 -M --netmask #子网掩码 -r --real-server server-address #真实的服务器[Real-Server:port] -g --gatewaying 指定LVS 的工作模式为直接路由模式(也是LVS 默认的模式) -i --ipip #指定LVS 的工作模式为隧道模式 -m --masquerading #指定LVS 的工作模式为NAT 模式 -w --weight weight #真实服务器的权值 --mcast-interface interface #指定组播的同步接口 -c --connection #显示LVS 目前的连接 如:ipvsadm -L -c --timeout #显示tcp tcpfin udp 的timeout 值 如:ipvsadm -L --timeout --daemon #显示同步守护进程状态 --stats #显示统计信息 --rate #显示速率信息 --sort #对虚拟服务器和真实服务器排序输出 --numeric -n #输出IP 地址和端口的数字形式
2.5.2 配置LVS Server
配置LVS的VIP ifconfig eth0:0 10.204.3.250 up
添加虚拟主机(实例名 VIP) ipvsadm -C 清空配置 ipvsadm --set 30 5 60 tcp/tcp fin udp超时时间 ipvsadm -A -t 10.204.3.250:80 -s rr 添加虚拟主机
在虚拟服务器下添加Real server真实服务器 ipvsadm -a -t 10.204.3.250:80 -r 10.204.3.21:80 -g -w 1 # 添加RS -g DR模式 -w 权重 ipvsadm -a -t 10.204.3.250:80 -r 10.204.3.22:80 -g -w 1
ipvsadm -L -n 查看配置
2.5.3 配置LVS RServer
RS绑定VIP
ifconfig lo:0 10.0.0.10/32 配置RS端抑制ARP响应 echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce 监控RS访问 watch -n 1 ipvsadm -L -n # 1秒钟查看ipvsadm访问情况 Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 10.204.3.250:80 rr -> 10.204.3.23:80 Route 1 2 20 -> 10.204.3.24:80 Route 1 2 20
2.5.4 Ipvsadm 删除 修改 删除方法 ipvsadm -D -t 10.0.0.10:80 -s wrr 删除LVS-server ipvsadm -d -t 10.0.0.10:80 -r 10.0.0.12:80 删除RS
2.1 LVS 通过脚本管理ipvsadm
2.1.1 LVS Server 启动守户进程脚本
#!/bin/bash
VIP=10.204.1.250 PORT=80 RIP=( 10.204.3.23 10.204.3.24 )
start(){ ipvsadm –C ifconfig eth0:0 $VIP up ipvsadm -A -t $VIP:$PORT -s rr for ((i=0;i<${#RIP[*]};i++)) #循环数组中的值 do ipvsadm -a -t $VIP:$PORT -r ${RIP[$i]}:$PORT -g done }
stop(){ ipvsadm -C }
restart(){ stop start }
status(){ ipvsadm -Ln }
case $1 in start) start ;; stop) stop ;; restart) restart ;; status) status ;; *) echo "USAGE: START|STOP|RESTART|STATUS" esac 2.1.2 LVS realserver启动守户进程脚本:
#!/bin/sh #LVS Client Server VIP=192.168.33.188 case $1 in
start)
ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP /sbin/route add -host $VIP dev lo:0 echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce sysctl -p >/dev/null 2>&1 echo "RealServer Start OK" exit 0 ;;
stop) ifconfig lo:0 down route del $VIP >/dev/null 2>&1 echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce echo "RealServer Stoped OK" exit 1 ;; *) echo "Usage: $0 {start|stop}" ;; esac
2.1.3 LVS 进程监控恢复脚本 #!/bin/bash rs_1=192.168.136.129 rs_2=192.168.136.130 vip=192.168.136.127 . /etc/init.d/functions web_result() { rs= return $rs }
lvs_result() { rs= return $rs }
auto_lvs (){ web_result $1 a=$?
lvs_result $1 b=$?
if [ $a -ne 200 ] && [ $b -ge 1 ] then ipvsadm -d -t $vip:80 -r $1 action “kill $1” /bin/true fi
if [ $a -eq 200 ] && [ $b -lt 1 ] then ipvsadm -a -t $vip:80 -r $1 -g -w 1 action “add $1” /bin/true fi }
while true do auto_lvs $rs_1 auto_lvs $rs_2 sleep 2 done
2.2 LVS 通过Keepalived管理ipvsadm
配置小结:
realserver如果是DR模式,需要绑定VIP LVS不需要绑定VIP,在配置文件中已经指定 要实现高可用,需写守护进程脚本监听realserver的服务是否正常, Real_server中的connect_port端口一定要是存在,否则会误判为RS故障,自动T除,。 LVS不能转换端口,nginx可以转换端口 LVS负载均衡是单点,为了解决单点问题,我们利用keepalived在两台LVS上实现高可用。
LVS+keepalived的配置脚本要写入keepalived.conf中,keepavlied会接管lvs的服务启动 global_defs {
notification_email {
edisonchou@hotmail.com
}
notification_email_from sns-lvs@gmail.com
smtp_server 192.168.80.1
smtp_connection_timeout 30 router_id LVS_DEVEL # 设置lvs的id,在一个网络内应该是唯一的 }
vrrp_instance VI_1 {
state MASTER #指定Keepalived的角色,MASTER为主,BACKUP为备
interface eth1 #指定Keepalived的角色,MASTER为主,BACKUP为备 virtual_router_id 51 #虚拟路由编号,主备要一致 priority 100 #定义优先级,数字越大,优先级越高,主DR必须大于备用DR
advert_int 1 #检查间隔,默认为1s authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.80.200 #定义虚拟IP(VIP)为192.168.2.33,可多设,每行一个 }
}
virtual_server 192.168.80.200 80 {
delay_loop 6 # 设置健康检查时间,单位是秒
lb_algo wrr # 设置负载调度的算法为wlc
lb_kind DR # 设置LVS实现负载的机制,有NAT、TUN、DR三个模式
nat_mask 255.255.255.0
persistence_timeout 60
protocol TCP
}
}
#pvsadm -a -t 192.168.80.200:80 -r 192.168.80.102:80 -g -w 1以上语句对应此条命令 #pvsadm -a -t 192.168.80.200:80 -r 192.168.80.103:80 -g -w 1以上语句对应此条命令
2.3 LVS+交换机OSPF实现多主
2.4 LVS 故障排错
tcpdump -nn port 80 检测80端口的包 tcpdump -nn port 22 and host 192.168.1.100
2.4.1 LVS排错流程
1.PING网站哉名,能解析,域名正常 2.登录LVS服务器,查看ipvsadm -Ln
3. 查看日志tail -fn 100 /var/log/message 4. 查看realserver 80端口 5. 查zabbix监控 6. 看keepalived配置文件,进程 7. 看realserver.sh脚本运行是否正常 7. 使用tcpdump抓包
当LVS访问站点出现缓慢或者无法访问的情况时,需要检查后台站点的VIP是否服务已停止。 2.4.2 LVS分发请求RS不均衡故障
生产环境中,ipvsadm -L -n发现两台RS的负载不均衡,一台有很多请求,一台没有,并且没有请求的那台RS经测试服务正常,lo:VIP也有,但是就是没有请求
问题原因: 配置了persistent 10的原因,persistent会话保持,当client A访问网站的时候,LVS把请求分发给了RS2 那么以后client A再点击的其它操作和请求,也会发给RS2这台机器,
解决方法: 到keepalived中注释掉persistent 10后,/etc/init.d/keepalived reload,然后可以看到以后负载两边请求都OK了
其它原因:
LVS自身的会话保持参数设置(-p 300 persistent 300 )优化:大公司尽量用cookies替代sesson LVS调度算法设置,例如,rr,wrr,wlc,ls算法 后端RS节点会话保持参数,例如:apache的keealive参数 访问量较少的情况,不均衡的现象更加明显 用户发送的请求时间长短,和请求资源多少大小 实现会话保持的方案: http://oldboy/blog.51cto.com/2561410/1331316 http://oldboy/blog.51cto.com/2561410/1332468
2.4.3 LVS故障排错思路
调度器上LVS调度规则IP的正确性
RS节点上VIP绑定和ARP抑制的检查 生产处理思路: a.对绑定的VIP做实时监控,出问题报警或者自动处理后报警 b.把绑定的vip做成配置文件, arp抑制的配置思路: a.如果是单个vip,那么可以用stop传参设置0 b.如果RS端有多个VIP绑定,此时,即使是停止vip绑定也一定不要设置0 if [ ${#VIP[@]} -le 1 ];then echo "0" >/proc/sys/net/ipv4/config/lo/arp_ignore echo "0" >/proc/sys/net/ipv4/config/lo/arp_announce echo "0" >/proc/sys/net/ipv4/config/all/arp_ignore echo "0" >/proc/sys/net/ipv4/config/all/arp_announce fi
RS节点上自身提供服务的检查
辅助排除工具 tcpdump ping
负载均衡和反向代理集群
2.4.4 LVS make报错 [root@monitor ipvsadm-1.23]# make make -C libipvs make[1]: Entering directory `/opt/lvs/ipvsadm-1.23/libipvs' gcc -Wall -Wunused -Wstrict-prototypes -g -O2 -I/usr/src/linux/include -DHAVE_NET_IP_VS_H -c -o libipvs.o libipvs.c In file included from libipvs.c:23: libipvs.h:14:23: error: net/ip_vs.h: No such file or directory In file included from libipvs.c:23:
ln -s /usr/src/kernels/2.6.18-194.11.3.el5-i686/ /usr/src/linux
但是有时你找不到这个内核的路径,网上很多都是以上的解决方法连接,可有的系统安装完后并没有kernerls的目录 解决方法:yum install kernel-devel 接下来在进行连接 编译 就ok了!
上一篇:今日足球推荐:日本足球顶级较量!川崎前锋VS鹿岛鹿角,鹿岛实力强劲,川崎更强
下一篇:《闪光少女》有哪些精彩片段?
最近更新影视资讯
- 韵府群玉
- 老年临终关怀护理集锦9篇
- 如何评价剧场版动画《和谐(harmony/ハーモニー)》原作:伊藤计划 ?
- 智人战胜尼人的决定性因素 是神灵崇拜与艺术品 在3万7千年前智人击败了远比自己强
- 沈阳参考消息(2017年1月11日)
- 密集架区密集架书库图书馆负一楼期刊阅览区中外文期刊图书馆一楼图书借阅区(A-H
- 费维光:脾胃病17方
- 土耳其身为伊斯兰国家,为什么允许“风俗产业”合法化?
- 高中教师教学反思
- 三观尽毁!90后公务员出轨50岁女上司,聊天言语暧昧,妻子怒举报
- 22应用心理学考研347 首师360有调剂院校吗?
- 铃木凉美女士,你仍期待同时收获怜爱与尊敬吗?
- 团建别墅 | 确认过眼神,是能疯一起的人!Boss,今年年会我们泡私家温
- 《归来》观后感
- 翻译伦理的重要性和译者荣辱观建设研究
- 高二语文期末考试测试题及答案
- 国医大师名单!在北京看中医该找谁,这下全知道!
- 这些年爱过的同人文(BG)
- 荷兰深陷风俗业?日本都要甘拜下风,为何能稳坐世界顶尖位置!
- 戴安娜25年前私密录像首次解密:自述性生活,全英国都被炸懵逼了
- 原创上官婉儿为什么必须死,她做的这件事太无耻,李隆基忍无可忍
- 「医药速读社」Paxlovid临床失败 礼来斥巨资引进Kv1.3抑制剂
- 她是韩国性感女神,靠出演“三级片”走红,今41岁韵味不减当年!
- 电影市场有望点燃 好莱坞大片排队上映
- 评荐《传染病(Contagion)》