Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

请教一个mutliprocess的问题 #372

Closed
glli opened this issue Jun 11, 2017 · 5 comments
Closed

请教一个mutliprocess的问题 #372

glli opened this issue Jun 11, 2017 · 5 comments
Labels

Comments

@glli
Copy link

glli commented Jun 11, 2017

前两天把python multiprocess lib装好可以正常使用了(编译了_multiprocess.so)。但是当我下载的时候比如参数processes设为4,实际下载还是只有PoolWorker-1在工作,其他三个貌似没有任何活动。我下载的时候百度盘里只有一个大文件。是不是因为百度只允许一个文件一个下载进程?

@houtianze
Copy link
Owner

谈不上请教。这个是因为现在单个上传下载并没有多线程/进程支持,只是在下载多个文件(目录上传下载)时才有多进程的支持,所以一个大文件下载--processes参数基本没用。。。

如果想多线程下载,可以试试--download aria2这个参数(要调用aria2c,需要另外apt-get/yum安装),默认4个线程。

@glli
Copy link
Author

glli commented Jun 12, 2017

多谢解疑!

@glli
Copy link
Author

glli commented Jun 13, 2017

抱歉又叨扰了,请问:用了--downloader aria2这个参数后,--retry这个参数还有效吗?我知道可以在--downloader-arguments里面设置aria2的重试次数(--max-tries),但是问题是下载大文件的时候bypy传给aria2的链接在2-3小时便失效了,如果没有及时下载完不管aria2重试多少次也没有用,这时候貌似bypy也直接退出了。有没有办法让bypy retry获取一个新链接再传给aria2继续下载?多谢了。

@houtianze
Copy link
Owner

不客气。

刚才查了一下代码,应该之前用downloader参数下载是没有重试的,刚刚改了一下,升级到最新版1.5.6应该就有重试了。重试是用pcs的url,所以应该是有效的(aria2应该跟从百度返回的重定位再拿到新的连接),你可以试一下。

@glli
Copy link
Author

glli commented Jun 13, 2017

👌 再次感谢!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
Projects
None yet
Development

No branches or pull requests

2 participants