永利官网ylg客户端Node.js 13.0.3 发表,重做 rmdir(State of Qatar

Node.js 13.0.3 已经发布。

windows server 2012 r2 iis8.5 部署asp.net mvc4/5程序小结

Celery 进阶学习

参考链接: Celery 4.1.0
documentation

一、WEB服务器与Apache 1、web服务器与网址
2、Apache的历史
3、补充

同时必须注意的是ngnix,正处于强势增长的上升时期,大有和apache一争天下的感觉,真是后生可畏~~~
二、Apache服务器的管理命令
1、命令启动:service httpd
start/stop/restart/reload/condrestart/status/configtest/graceful/help
2、脚本启动:/etc/init.d/httpd start/stop/…..
3、设为开机自动启动:ntsysv+空格键
三、Apache服务器的目录和文件
1、WEB站点目录
/var/www Apache站点文件的目录
/var/www/html 存放WEB站点的WEB文件
/var/www/cgi-bin CGI程序文件
/var/www/html/manual Apache WEB服务器手册

显著变化

  • fs
    • 重做rmdir() 递归 (cjihrig)#30644
      • maxBusyTries选项被重命名为maxRetries,其默认值为0。该emfileWait选项已被删除,并且EMFILE的错误
        使用与其他错误相同的重试逻辑。retryDelay已经支持该选项。ENFILE现在错误会进行重试。
  • http
    • 使每个流或每个服务器的最大标头大小可配置(Anna
      Henningsen)#30570
  • http2
    • 使最大允许的流可配置(Denys
      Otrishko)#30534
    • 允许配置最大容许的无效帧(Denys
      Otrishko)#30534
  • wasi
    • 引入初步的WASI支持(Cjihrig)#30258

其他 179 项更新: 

(文/开源中国)    

原文链接:

初始文件

安装部署celery相关的pip包,参考文档或Celery
部署小记

另外,本文使用ipython作为控制台的交互式解释器,pip install ipython

tasks.py例1

from celery import Celery


class CeleryConfig():
    broker_url = 'redis://localhost'
    result_backend = 'redis://localhost'
    timezone = 'Asia/Shanghai'


app = Celery()
app.config_from_object(CeleryConfig)


@app.task
def add(a, b):
    return a + b

以上文件可以正常通过以下命令启动

celery -A tasks worker --loglevel=info

例1中使用类的方式来加载配置,其他方式有:

Configuration

  • app.conf.timezone = 'Asia/Shanghai'
    app.conf.update(option1=True, option2='xxx', ...)
  • app.config_from_object(param)方法,参数可以是模块名的字符串形式、模块对象实体、配置的类或对象等
  • app.config_from_envvar(param)方法,参数是系统的环境变量名,而这个变量对应的值是模块的字符串。如:os.environ.setdefault('CELERY_CONFIG_MODULE', 'celeryconfig')

2、配置文件
.htaccess
基于目录的配置文件,.htaccess文件包含对它所在目录中文件的访问控制指令
/etc/httpd/conf/httpd.conf Apache WEB服务器配置文件目录

基本配置

打开服务器管理器,点击添加角色和功能。

永利官网ylg客户端 1

选择基于角色或基于功能的安装。

永利官网ylg客户端 2

选择服务器。

永利官网ylg客户端 3

选择webserver(iis)

永利官网ylg客户端 4

 

选择角色。

永利官网ylg客户端 5

打开web服务器(IIS)选项。选择常见http功能。

永利官网ylg客户端 6

安全性选择中勾选常用的安全性选项。

永利官网ylg客户端 7

应用程序开发选项中,请确保选择.net 3.5,.net 4.5,ISAPI扩展。

永利官网ylg客户端 8

开始安装。

抽象任务(类)

所有task都必须使用@app.task装饰器来装饰,经过装饰器之后,这些任务会继承Task类。可以通过继承Task类,来创建一个抽象类,供task装饰

tasks.py例2

from celery import Celery


# 抽象tasks
from celery import Task
class DebugTask(Task):
    # 在调用之前打印一行字
    def __call__(self, *args, **kwargs):
        print('TASK STARTING: {0.name}[{0.request.id}]'.format(self))
        return super(DebugTask, self).__call__(*args, **kwargs)


class CeleryConfig():
    broker_url = 'redis://localhost'
    result_backend = 'redis://localhost'
    timezone = 'Asia/Shanghai'


app = Celery()
app.config_from_object(CeleryConfig)


@app.task(base=DebugTask)
def add(a, b):
    return a + b

ipython调试

In [1]: from tasks import add

In [2]: add.delay(2, 3)
Out[2]: <AsyncResult: d9e63190-0591-403d-a5be-8b59893fcb2d>

celery输出

[2017-11-20 15:52:05,660: INFO/MainProcess] Received task: tasks.add[d9e63190-0591-403d-a5be-8b59893fcb2d]  
[2017-11-20 15:52:05,662: WARNING/ForkPoolWorker-4] TASK STARTING: tasks.add[d9e63190-0591-403d-a5be-8b59893fcb2d]
[2017-11-20 15:52:05,666: INFO/ForkPoolWorker-4] Task tasks.add[d9e63190-0591-403d-a5be-8b59893fcb2d] succeeded in 0.00480927500029793s: 5

3、启动脚本
/etc/rc.d/init.d/httpd WEB服务器守护进程的启动脚本
/etc/rc.d/rc3.d/S85httpd
将运行级目录(/etc/rc3.d)连接到目录/etc/rc.d/init.d中的启动脚本

常见错误

TTP 错误 403.14 – Forbidden

Web 服务器被配置为不列出此目录的内容。

最可能的原因:

·        
没有为请求的 URL 配置默认文档,并且没有在服务器上启用目录浏览。

可尝试的操作:

·        
如果不希望启用目录浏览,请确保配置了默认文档并且该文件存在。

·        
使用 IIS 管理器启用目录浏览。

1.   
打开 IIS 管理器。

2.   
在“功能”视图中,双击“目录浏览”。

3.   
在“目录浏览”页上,在“操作”窗格中单击“启用”。

·        
确认站点或应用程序配置文件中的 configuration/system.webServer/directoryBrowse@enabled
特性被设置为 True。

详细错误信息:

模块

   DirectoryListingModule

通知

   ExecuteRequestHandler

处理程序

   StaticFile

错误代码

   0x00000000

请求的 URL

   

物理路径

   D:websiteyuanjing

登录方法

   匿名

登录用户

   匿名

 

 

 

 

 

永利官网ylg客户端 9

解决方案:

1)         发布时不要选择预编译,否则会出现这样的错误;

2)         站点所在的文件夹,保证iis有访问和控制权限。

 

 

acks_late选项

task在经过worker确认(acknowledge)之后,才会从worker的任务队列中移除。并且worker维护的任务队列可以保留相当大量的队列信息,即使这个worker被杀掉,任务信息仍然可以转移到其他的worker

  • broker在收到来自worker的确认之后,便不会发送任务信息给其他的worker

  • worker默认的确认时机:任务信息被worker接收

  • 设置了acks_late选项之后,worker的确认时机变为任务被实际执行

  • 在保证taskidempotent(幂等的),即任意次执行代码所产生的影响和一次执行的影响相同,可以使用acks_late选项

  • http://docs.celeryproject.org/en/master/userguide/tasks.html#Task.acks_late

  • http://docs.celeryproject.org/en/master/faq.html#faq-acks-late-vs-retry

4、应用文件
/usr/sbin 存放Apache WEB服务器程序文件和应用程序的位置
/usr/doc/ 放置Apache WEB服务器文档
/var/log/http 放置Apache 日志文件的位置
四、更多命令
1、查看Apache安装信息:apachectl -C
2、对Apache的配置文件进行语法检查:apachectl -t
3、查看Apache编译配置参数:apachectl -V
4、查看Apache的编译模块:apachectl -l
五、httpd.conf配置文件 (一)基本配置
httpd.conf文件包含为下面三个部分:

HTTP 错误 500.19 – Internal Server Error

无限期阻塞的任务

由于网络传输等问题,导致任务无限期阻塞,会阻止此worker实例执行其他工作,解决方案是:

  • I/O任务:确保添加超时(可配合retry)。例如:使用requests

connect_timeout, read_timeout = 5.0, 30.0
response = requests.get(URL, timeout=(connect_timeout, read_timeout))
  • time limits选项也可以很方便地规定任务遵循一个时间限制,但是这个时间过后,这个worker会被直接杀掉,所以该选项仅用于没有使用其他超时方案的情况
    (http://docs.celeryproject.org/en/master/userguide/workers.html#worker-time-limits)
  1. 全局环境设置:控制整个Apache服务器行为的部分(即全局环境变量)
    2.
    主服务器配置:定义主要或者默认服务参数的指令,也为所有虚拟主机提供默认的设置参数
  2. 虚拟主机设置:虚拟主机的设置参数
    其中,一行写不下使用“”表示换行,除了选项的参数值外,所有选项指令不区分大小写,“#”表示注释。
    现在,我们来学习httpd.conf中的具体设置项:
    1.设置相对根目录的路径
    相对根目录通常是Apache存放配置文件和日志文件的地方,通常情况下相对根目录是”/etc/httpd”,它一般包含conf和logs子目录,此时可以采用”ServerRoot”/etc/httpd””格式进行设置。
    2.设置Apache监听的IP地址和端口号
    Apache默认会在本机所有可用IP地址上的TCP
    80端口监听客户端的请求,可以使用Listen语句以便在某个指定地址和端口上监听请求。例如设置服务器只监听192.168.0.94的80端口,则可以在httpd.conf中进行相应的设置:Listen
    192.168.0.94:80。如果需要更改端口号为8080,也可以采用”Listen
    192.168.0.94:8080″之类的设置,但是此时通过网页浏览器访问网站的时候也必须在域名地址后面添加相应的端口号,例如输入”
    3.设置网络管理员的电子邮件地址
    当客户端计算机访问服务器发生错误的时候,服务器通常都会向客户端计算机返回错误提示页面,为了方便解决错误,在这个网页中通常包含有管理员的电子邮件地址,此时可以采用ServerAdmin语句来设置管理员的电子邮件地址,例如”ServerAdmin
    xinyuan365@sohu.com”。
    4.设置服务器主机名称
    为了方便Apache识别服务器自身的信息,可以使用ServerName语句来设置服务器的主机名称。在ServerName语句中,如果服务器有域名则填写服务器的域名;如果没有域名,则填入服务器的IP地址。例如”ServerName
    192.168.0.94:80″。
    5.设置主目录的路径
    Apache服务器主目录默认路径为”/var/www/html”,可以将需要发布的网页放置在这个目录中,同时也可以把主目录的路径修改为别的目录便于用户管理和使用。例如需要将Apache服务器主目录路径设置为”/home/lk/www”,则可以在httpd.conf文件中进行相应修改:DocumentRoot
    “/home/www”。
    6.设置默认文档
    默认文档是指在网页浏览器中输入Web站点的IP地址或者域名显示出来的Web页面,也就是通常所说的主页。在缺省情况下,Apache的默认文档名为index.html,默认文档由DirectoryIndex语句进行定义,例如在httpd.conf中通过”DirectoryIndex
    index.html
    index.html.var”进行设置,此时可以将DirectoryIndex语句的默认文档名修改为其他文件。
    如果有多个文件名,每个文件名之间必须用空格进行分隔,Apache会根据文件名的先后顺序查找在DirectoryIndex语句中指定的文件名。如果能找到第1个则调用第1个,否则再寻找并调用第2个,依次类推。例如添加index.htm和index.php文件作为默认文档,则可以相应修改httpd.conf文件为”DirectoryIndex
    index.html index.htm index.php index.html.var”。
    7.设置日志文件
    日志文件对于用户查找系统故障或者分析Web服务器运行状况非常重要,此时有两项重要设置内容。
    (1)错误日志。错误日志记录了Apache在启动和运行时发生的错误,所以当Apache出错的时候,应该首先检查这个日志文件。通常错误日志的文件名为error_log,错误日志文件存放的位置和文件名可以通过ErrorLog参数进行设置。例如”ErrorLog
    logs/erroe_log”。如果日志文件存放路径不是以”/”开头,则表示该路径是相对于ServerRoot目录的相对路径。
    (2)访问日志。访问日志记录了客户端计算机所有的访问信息,通过分析访问日志可以知道客户机何时访问了网站的哪些文件等信息。通常访问日志的文件名为access_log,访问日志文件的存放位置和文件名可以通过CustomLog参数进行设置,例如”CustomLog
    logs/access_log combined”。
    在这个访问日志设置中,combined指明日志使用的格式,在这个位置可以使用common或者combined。其中common是指使用
    Web服务器普遍采用的普通标准格式,这种格式可以被许多日志分析程序所识别;combined是指使用组合记录格式,和common相比,combined的格式基本相同,只是多了引用页和浏览器识别信息而已。
    8.设置默认字符集
    AddDefaultCharset选项设置了服务器返回给客户端计算机的默认字符集,由于Apache服务器默认字符集为西欧(UTF-8),因此当客户端访问服务器的中文网页时会出现乱码现象。解决的办法是将语句”AddDefaultCharset
    UTF-8″改为”AddDefaultCharset
    GB2312″,然后重新启动Apache服务器,中文网页就可以正常显示了。
    (二)配置目录权限 1、定义目录特性
    Apache访问的每个目录可设置相关的服务和特性是允许或(和)不允许。(同样影响其子目录)
    首先,设置”default”地址只有最基本的权限:

无法访问请求的页面,因为该页的相关配置数据无效。

详细错误信息

Prefork池预取设置

prefork池默认将异步发送尽可能多的任务到进程中(进程预取任务)。对于延时短的任务,这样会加快速度,但是如果是高延时的任务,该进程后面的任务会长期处于等待。

默认设置: worker会发送任务给缓冲区可写的进程,例子如下

-> send task T1 to process A
# A executes T1
-> send task T2 to process B
# B executes T2
<- T2 complete sent by process B

-> send task T3 to process A
# A still executing T1, T3 stuck in local buffer and won't start until
# T1 returns, and other queued tasks won't be sent to idle processes
<- T1 complete sent by process A
# A executes T3

使用-Ofair选项可以关闭预取设置,此时,worker会发送任务给真正可用于工作的进程,例子如下

-> send task T1 to process A
# A executes T1
-> send task T2 to process B
# B executes T2
<- T2 complete sent by process B

-> send T3 to process B
# B executes T3

<- T3 complete sent by process B
<- T1 complete sent by process A

复制代码 代码如下:

发表评论

电子邮件地址不会被公开。 必填项已用*标注