|
|
马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有帐号？立即注册
x
说说这一个月左右的学习情况和心得吧！我个人认为，既然决定了去做一件事，那就要以认真的态度去对待！既然决定来学习了，那不管当初是抱着怎样的心态来到这个培训班的，都要让自己认真的投入到学习中。web|缓存|设计 关于一个日会见量到达百万级的网站来讲，速度很快就成为一个瓶颈。除优化内容宣布体系的使用自己外，假如能把不需求及时更新的静态页面的输入了局转化成静态网页来宣布，速度上的提拔后果将是明显的，由于一个静态页面的速度常常会比静态页面慢2－10倍，而静态网页的内容假如能被缓存在内存里，会见速度乃至会比原有静态网页有2－3个数目级的进步。
静态缓存和静态缓存的对照
基于反向代办署理减速的站点计划
基于apache mod_proxy的反向代办署理减速完成
基于squid的反向代办署理减速完成
面向缓存的页面设计
后台的内容办理体系的页面输入恪守可缓存的设计，如许就能够把功能成绩交给前台的缓存办事器来处理了，从而大大简化CMS体系自己的庞杂水平。
静态缓存和静态缓存的对照
静态页面的缓存能够有2种模式：其实次要区分就是CMS是不是本人担任联系关系内容的缓存更新办理。
静态缓存：是在新内容宣布的同时就立即生成响应内容的静态页面，好比：2003年3月22日，办理员经由过程后台内容办理界面录入一篇文章后，就立即生成http://www.chedong.com/tech/2003/03/22/001.html这个静态页面，并同步更新相干索引页上的链接。
静态缓存：是在新内容宣布今后，其实不事后生成响应的静态页面，直到对响应内容收回恳求时，假如前台缓存办事器找不到响应缓存，就向后台内容办理办事器收回恳求，后台体系会生成响应内容的静态页面，用户第一次会见页面时能够会慢一点，然而今后就是直接会见缓存了。
假如去ZDNet等国外网站会发明他们利用的基于Vignette内容办理体系都有如许的页面称号：0,22342566,300458.html。其实这里的0,22342566,300458就是用逗号朋分开的多个参数：
第一次会见找不到页面后，相当于会在办事器端发生一个doc_type= 0&doc_id=22342566&doc_template=300458的查询，
而查询了局会生成的缓存的静态页面： 0,22342566,300458.html
静态缓存的弱点：
庞杂的触发更新机制：这两种机制在内容办理体系对照复杂的时分都长短常合用的。但关于一个关系对照庞杂的网站来讲，页面之间的逻辑援用关系就成为一个十分十分庞杂的成绩。最典范的例子就是一条旧事要同时呈现在旧事首页和相干的3个旧事专题中，在静态缓存形式中，每发一篇新文章，除这篇旧事内容自己的页面外，还需求体系经由过程触发器生成多个新的相干静态页面，这些相干逻辑的触发也常常就会成为内容办理体系中最庞杂的局部之一。
旧内容的批量更新： 经由过程静态缓存宣布的内容，关于之前生成的静态页面的内容很难修正，如许用户会见旧页面时，新的模板基本没法失效。
在静态缓存形式中，每一个静态页面只需求关怀，而相干的其他页面能主动更新，从而大大削减了设计相干页面更新触发器的需求。
之前做小型使用的时分也用过相似体例：使用初次会见今后将数据库的查询了局在当地存成一个文件，下次恳求时先反省当地缓存目次中是不是有缓存文件，从而削减对后台数据库的会见。固然如许做也能承载对照大的负载，但如许的内容办理弛缓存办理一体的体系是很难分别的，并且数据完全性也不是很好保留，内容更新时，使用需求把响应内容的的缓存文件删除。然而如许的设计在缓存文件良多的时分常常还需求将缓存目次做必定的散布，不然一个目次下的文件节点超越3000，rm *城市失足。
这时候候，体系需求再次分工，把庞杂的内容办理体系分化成：内容输出弛缓存这2个绝对复杂的体系完成。
后台：内容办理体系，专心的将内容宣布做好，好比：庞杂的任务流办理，庞杂的模板划定规矩等……
前台：页面的缓存办理则可使用缓存体系完成
- [img]http://www.pushad.comhttp://www.pushad.com/XrssFile/2006-5/14/2006514105155651.gif[/img]
面向缓存的站点计划
一个使用SQUID对多个站点停止做WEB减速http acceleration计划：
本来一个站点的计划多是如许的：
200.200.200.207 www.chedong.com
200.200.200.208 news.chedong.com
200.200.200.209 bbs.chedong.com
200.200.200.205 images.chedong.com
面向缓存办事器的设计中：一切站点都经由过程内部DNS指向到统一个IP：200.200.200.200/201这2台缓存办事器上（利用2台是为了冗余备份）
任务道理：
内部恳求过去时，设置缓存依据设置装备摆设文件停止转向解析。如许，办事器恳求就能够转发到咱们指定的外部地址上。
在处置多虚拟主机转向方面：mod_proxy比squid要复杂一些：可以把分歧办事转向后后台多个IP的分歧端口上。
而squid只能经由过程禁用DNS解析，然后依据当地的/etc/hosts文件依据恳求的域名停止地址转发，后台多个办事器必需利用不异的端口。
利用反向代办署理减速，咱们不但可以失掉功能上的提拔，并且还能取得额定的平安性和设置装备摆设的天真度：
- 设置装备摆设天真性进步：可以本人在外部办事器上掌握后台办事器的DNS解析，当需求在办事器之间做迁徙调剂时，就不必大批修正内部DNS设置装备摆设了，只需求修正外部DNS完成办事的调剂。
- 数据平安性增添：一切后台办事器可以很便利的被回护在防火墙内。
- 后台使用设计庞杂水平下降：本来为了效力经常需求创立专门的图片办事器images.chedong.com和负载对照高的使用办事器 bbs.chedong.com分别，在反向代办署理减速形式中，一切前台恳求都经由过程缓存办事器：实践上就都是静态页面，如许，使用设计时就不必思索图片和使用自己分别了，也大大下降了后台内容宣布体系设计的庞杂水平，因为数据和使用都寄存在一同，也便利了文件体系的保护和办理。
基于Apache mod_proxy的反向代办署理缓存减速完成
Apache包括了mod_proxy模块，可以用来完成代办署理办事器，针对后台办事器的反向减速
装置apache 1.3.x 编译时：
--enable-shared=max --enable-module=most
注：Apache 2.x中mod_proxy已被分别成mod_proxy和mod_cache：同时mod_cache有基于文件和基于内存的分歧完成
创立/var/www/proxy，设置apache办事所用户可写
mod_proxy设置装备摆设样例：反相代办署理缓存＋缓存
架设前台的www.example.com反向代办署理后台的www.backend.com的8080端口办事。
修正：httpd.conf
<VirtualHost *>
ServerName www.example.com
ServerAdmin admin@example.com
# reverse proxy setting
ProxyPass / http://www.backend.com:8080/
ProxyPassReverse / http://www.backend.com:8080/
# cache dir root
CacheRoot "/var/www/proxy"
# max cache storage
CacheSize 50000000
# hour: every 4 hour
CacheGcInterval 4
# max page expire time: hour
CacheMaxExpire 240
# Expire time = (now - last_modified) * CacheLastModifiedFactor
CacheLastModifiedFactor 0.1
# defalt expire tag: hour
CacheDefaultExpire 1
# force complete after precent of content retrived: 60-90%
CacheForceCompletion 80
CustomLog /usr/local/apache/logs/dev_access_log combined
</VirtualHost>
基于Squid的反向代办署理减速完成
Squid是一个更公用的代办署理办事器，功能和效力会比Apache的mod_proxy高良多。
假如需求combined格局日记补钉：
http://www.squid-cache.org/mail-archive/squid-dev/200301/0164.html
squid的编译：
./configure --enable-useragent-log --enable-referer-log --enable-default-err-language=Simplify_Chinese --enable-err-languages="Simplify_Chinese English" --disable-internal-dns
make
#make install
#cd /usr/local/squid
make dir cache
chown squid.squid *
vi /usr/local/squid/etc/squid.conf
在/etc/hosts中：到场外部的DNS解析，好比：
192.168.0.4 www.chedong.com
192.168.0.4 news.chedong.com
192.168.0.3 bbs.chedong.com
---------------------cut here----------------------------------
# visible name
visible_hostname cache.example.com
# cache config: space use 1G and memory use 256M
cache_dir ufs /usr/local/squid/cache 1024 16 256
cache_mem 256 MB
cache_effective_user squid
cache_effective_group squid
http_port 80
httpd_accel_host virtual
httpd_accel_single_host off
httpd_accel_port 80
httpd_accel_uses_host_header on
httpd_accel_with_proxy on
# accelerater my domain only
acl acceleratedHostA dstdomain .example1.com
acl acceleratedHostB dstdomain .example2.com
acl acceleratedHostC dstdomain .example3.com
# accelerater http protocol on port 80
acl acceleratedProtocol protocol HTTP
acl acceleratedPort port 80
# access arc
acl all src 0.0.0.0/0.0.0.0
# Allow requests when they are to the accelerated machine AND to the
# right port with right protocol
http_access allow acceleratedProtocol acceleratedPort acceleratedHostA
http_access allow acceleratedProtocol acceleratedPort acceleratedHostB
http_access allow acceleratedProtocol acceleratedPort acceleratedHostC
# logging
emulate_httpd_log on
cache_store_log none
# manager
acl manager proto cache_object
http_access allow manager all
cachemgr_passwd pass all
----------------------cut here---------------------------------
创立缓存目次：
/usr/local/squid/sbin/squid -z
启动squid
/usr/local/squid/sbin/squid
中断squid：
/usr/local/squid/sbin/squid -k shutdown
启用新设置装备摆设：
/usr/local/squid/sbin/squid -k reconfig
经由过程crontab天天0点截断/轮循日记：
0 0 * * * (/usr/local/squid/sbin/squid -k rotate)
可缓存的静态页面设计
甚么样的页面可以对照好的被缓存办事器缓存呢？假如前往内容的HTTP HEADER中有"Last-Modified"和"Expires"相干声明，好比：
Last-Modified: Wed, 14 May 2003 13:06:17 GMT
Expires: Fri, 16 Jun 2003 13:06:17 GMT
前端缓存办事器在时代会将生成的页面缓存在当地：硬盘或内存中，直至上述页面过时。
因而，一个可缓存的页面：
- 页面必需包括Last-Modified: 标志
普通纯静态页面自己城市有Last-Modified信息，静态页面需求经由过程函数强迫加上，好比在PHP中：
// always modified now
header("Last-Modified: " . gmdate("D, d M Y H:i:s") . " GMT");
- 必需有Expires或Cache-Control: max-age标志设置页面的过时工夫：
关于静态页面，经由过程apache的mod_expires依据页面的MIME类型设置缓存周期：好比图片缺省是1个月，HTML页面缺省是2天等。
<IfModule mod_expires.c>
ExpiresActive on
ExpiresByType image/gif "access plus 1 month"
ExpiresByType text/CSS "now plus 2 day"
ExpiresDefault "now plus 1 day"
</IfModule>
关于静态页面，则可以直接经由过程写入HTTP前往的头信息，好比关于旧事首页index.php可所以20分钟，而关于详细的一条旧事页面多是1天后过时。好比：在php中到场了1个月后过时：
// Expires one month later
header("Expires: " .gmdate ("D, d M Y H:i:s", time() + 3600 * 24 * 30). " GMT");
- 假如办事器端有基于HTTP的认证，必需有Cache-Control: public标志，答应前台
ASP使用的缓存改革 起首在公用的包括文件中(好比include.asp)到场以下公用函数：
<%
' Set Expires Header in minutes
Function SetExpiresHeader(ByVal minutes)
' set Page Last-Modified Header:
' Converts date (19991022 11:08:38) to http form (Fri, 22 Oct 1999 12:08:38 GMT)
Response.AddHeader "Last-Modified", DateToHTTPDate(Now())
' The Page Expires in Minutes
Response.Expires = minutes
' Set cache control to externel applications
Response.CacheControl = "public"
End Function
' Converts date (19991022 11:08:38) to http form (Fri, 22 Oct 1999 12:08:38 GMT)
Function DateToHTTPDate(ByVal OleDATE)
Const GMTdiff = #08:00:00#
OleDATE = OleDATE - GMTdiff
DateToHTTPDate = engWeekDayName(OleDATE) & _
", " & Right("0" & Day(OleDATE),2) & " " & engMonthName(OleDATE) & _
" " & Year(OleDATE) & " " & Right("0" & Hour(OleDATE),2) & _
":" & Right("0" & Minute(OleDATE),2) & ":" & Right("0" & Second(OleDATE),2) & " GMT"
End Function
Function engWeekDayName(dt)
Dim Out
Select Case WeekDay(dt,1)
Case 1:Out="Sun"
Case 2:Out="Mon"
Case 3:Out="Tue"
Case 4:Out="Wed"
Case 5:Out="Thu"
Case 6:Out="Fri"
Case 7:Out="Sat"
End Select
engWeekDayName = Out
End Function
Function engMonthName(dt)
Dim Out
Select Case Month(dt)
Case 1:Out="Jan"
Case 2:Out="Feb"
Case 3:Out="Mar"
Case 4:Out="Apr"
Case 5:Out="May"
Case 6:Out="Jun"
Case 7:Out="Jul"
Case 8:Out="Aug"
Case 9:Out="Sep"
Case 10:Out="Oct"
Case 11:Out="Nov"
Case 12:Out="Dec"
End Select
engMonthName = Out
End Function
%>
然后在详细的页面中，好比index.asp和news.asp的“最下面”到场以下代码：HTTP Header
<!--#include pold="http://www.alixixi.com/program/include.asp"-->
<%
'页面将被设置20分钟后过时
SetExpiresHeader(20)
%>
若何反省今朝站点页面的可缓存性（Cacheablility）呢？可以参考以下2个站点上的东西：
http://www.ircache.net/cgi-bin/cacheability.py
附：SQUID功能测尝尝验
phpMan.php是一个基于php的man page server，每一个man page需求挪用后台的man号令和良多页面格局化东西，体系负载对照高，供应了Cache Friendly的URL，以下是针对一样的页面的功能测试材料：
测试情况：Redhat 8 on Cyrix 266 / 192M Mem
测试法式：利用apache的ab(apache benchmark)：
测试前提：恳求50次，并发50个毗连
测试项目：直接经由过程apache 1.3 (80端口) vs squid 2.5(8000端口：减速80端口)
测试1：无CACHE的80端口静态输入：
ab -n 100 -c 10 http://www.chedong.com:81/phpMan.php/man/kill/1
This is ApacheBench, Version 1.3d <$Revision: 1.1 $> apache-1.3
Copyright (c) 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Copyright (c) 1998-2001 The Apache Group, http://www.apache.org/
Benchmarking localhost (be patient).....done
Server Software: Apache/1.3.23
Server Hostname: localhost
Server Port: 80
Document Path: /phpMan.php/man/kill/1
Document Length: 4655 bytes
Concurrency Level: 5
Time taken for tests: 63.164 seconds
Complete requests: 50
Failed requests: 0
Broken pipe errors: 0
Total transferred: 245900 bytes
HTML transferred: 232750 bytes
Requests per second: 0.79 [#/sec] (mean)
Time per request: 6316.40 [ms] (mean)
Time per request: 1263.28 [ms] (mean, across all concurrent requests)
Transfer rate: 3.89 [Kbytes/sec] received
Connnection Times (ms)
min mean[+/-sd] median max
Connect: 0 29 106.1 0 553
Processing: 2942 6016 1845.4 6227 10796
Waiting: 2941 5999 1850.7 6226 10795
Total: 2942 6045 1825.9 6227 10796
Percentage of the requests served within a certain time (ms)
50% 6227
66% 7069
75% 7190
80% 7474
90% 8195
95% 8898
98% 9721
99% 10796
100% 10796 (last request)
测试2：SQUID缓存输入
/home/apache/bin/ab -n50 -c5 "http://localhost:8000/phpMan.php/man/kill/1"
This is ApacheBench, Version 1.3d <$Revision: 1.1 $> apache-1.3
Copyright (c) 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Copyright (c) 1998-2001 The Apache Group, http://www.apache.org/
Benchmarking localhost (be patient).....done
Server Software: Apache/1.3.23
Server Hostname: localhost
Server Port: 8000
Document Path: /phpMan.php/man/kill/1
Document Length: 4655 bytes
Concurrency Level: 5
Time taken for tests: 4.265 seconds
Complete requests: 50
Failed requests: 0
Broken pipe errors: 0
Total transferred: 248043 bytes
HTML transferred: 232750 bytes
Requests per second: 11.72 [#/sec] (mean)
Time per request: 426.50 [ms] (mean)
Time per request: 85.30 [ms] (mean, across all concurrent requests)
Transfer rate: 58.16 [Kbytes/sec] received
Connnection Times (ms)
min mean[+/-sd] median max
Connect: 0 1 9.5 0 68
Processing: 7 83 537.4 7 3808
Waiting: 5 81 529.1 6 3748
Total: 7 84 547.0 7 3876
Percentage of the requests served within a certain time (ms)
50% 7
66% 7
75% 7
80% 7
90% 7
95% 7
98% 8
99% 3876
100% 3876 (last request)
结论：No Cache / Cache = 6045 / 84 = 70
结论：关于能够被缓存恳求的页面，办事器速度可以有2个数目级的进步，由于SQUID是把缓存页面放在内存里的（因而几近没有硬盘I/O操作）。
大节：
- 大会见量的网站应尽量将静态网页生成静态页面作为缓存宣布，乃至关于搜刮引擎如许的静态使用来讲，缓存机制也长短常十分主要的。
- 在静态页面中使用HTTP Header界说缓存更新战略。
- 使用缓存办事器取得额定的设置装备摆设和平安性
- 日记十分主要：SQUID日记缺省不撑持COMBINED日记，但关于需求REFERER日记的这个补钉十分主要：http://www.squid-cache.org/mail-archive/squid-dev/200301/0164.html
参考材料：
HTTP代办署理缓存
http://vancouver-webpages.com/proxy.html
可缓存的页面设计
http://linux.oreillynet.com/pub/a/linux/2002/02/28/cachefriendly.html
相干RFC文档：
- RFC 2616:
- section 13 (Caching)
- section 14.9 (Cache-Control header)
- section 14.21 (Expires header)
- section 14.32 (Pragma: no-cache) is important if you are interacting with HTTP/1.0 caches
- section 14.29 (Last-Modified) is the most common validation method
- section 3.11 (Entity Tags) covers the extra validation method
可缓存性反省：
http://www.web-caching.com/cacheability.html
缓存设计要素：
http://vancouver-webpages.com/CacheNow/detail.html
ZOPE上的几篇利用APACHE MOD_PROXY MOD_GZIP减速的文档
http://www.zope.org/Members/anser/apache_zserver/
http://www.zope.org/Members/softsign/ZServer_and_Apache_mod_gzip
http://www.zope.org/Members/rbeer/caching
接触MYSQL，开始设计数据库程序 |
|
|Archiver|手机版|仓酷云
鄂ICP备14007578号-2
发表于 2015-2-4 00:09:20
收藏
转播
分享
淘帖
顶
踩
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜
楼主
窥视卡
雷达卡
发表于 2015-4-8 22:11:02