小编Chr*_*sso的帖子

PHP中的多线程,多卷曲爬虫

大家好再次!

我们需要一些帮助来在我们的抓取工具中开发和实现多卷曲功能.我们有一大堆"要扫描的链接",我们循环使用Foreach.

让我们使用一些伪代码来理解逻辑:

    1) While ($links_to_be_scanned > 0).
    2) Foreach ($links_to_be_scanned as $link_to_be_scanned).
    3) Scan_the_link() and run some other functions.
    4) Extract the new links from the xdom.
    5) Push the new links into $links_to_be_scanned.
    5) Push the current link into $links_already_scanned.
    6) Remove the current link from $links_to_be_scanned.
Run Code Online (Sandbox Code Playgroud)

现在,我们需要定义最大数量的并行连接,并能够并行地为每个链接运行此过程.

我知道我们必须创建$ links_being_scanned或某种队列.

我真的不确定如何处理这个问题,说实话,如果有人能提供一些片段或想法来解决它,我将不胜感激.

提前致谢!克里斯;

扩展:

我刚刚意识到,多卷曲本身并不是棘手的部分,而是请求后每个链接完成的操作量.

即使在muticurl之后,我最终也必须找到一种方法来并行运行所有这些操作.下面描述的整个算法必须并行运行.

所以现在重新思考,我们必须做这样的事情:

  While (There's links to be scanned)
  Foreach ($Link_to_scann as $link)
  If (There's less than 10 scanners running)
  Launch_a_new_scanner($link)
  Remove the link …
Run Code Online (Sandbox Code Playgroud)

php parallel-processing curl fork fsockopen

7
推荐指数
1
解决办法
4968
查看次数

CSS多个不同高度的左浮动元素排列在2列中

这是空白的问题:我有多个float:left元素,需要将它们排列为2列,而且它们的高度都不同。

CSS多个不同高度的左浮动元素排列在2列中

为了简化操作,我需要图片中的元素3紧接元素1之后。

我100%使用的是Plain,例如Vainilla CSS和AngularJS。我想避免使用任何JS模块,因为这些元素几乎永久地被加载和重新加载。最重要的是:100%需要避免使用Jquery。

重要更新:

无法使用float:left,float:right方式(如果孩子是偶数或奇数):将 多个固定宽度/高度可变的框浮动到2列中

重要更新:

在某些情况下,我确实需要仅应用2个元素,一个在另一个的底部。所以我想将属性应用于元素1。

html javascript css angularjs

5
推荐指数
1
解决办法
5124
查看次数

使网看起来像一本书

你好朋友来自SO:

我今天提出了一个非常简单的问题:我们正在尝试创建一个网页,或者,更清楚一个html文档,看起来像一本书!

好的,你是什么意思?

我希望元素向下,直到它达到屏幕的最大高度,比方说,800px,然后跳到右边.

那么让我们举一个例子:

我们有一个总高度为300px的div,然后,第二个div,另一个300px,然后是第三个,但是嘿!屏幕的可见区域只有900x的高度,所以第3个div实际上应该向右移动,而不是使滚动条出现.

所以任何人都知道如何使用CSS3和HTML5来完成这项工作?我宁愿避开Js,但如果没有其他选择,那将非常受欢迎.

在此先感谢新年快乐!克里斯;


对于遇到同样问题的人来说,我现在找到了几个解决方案:

亲切的问候; 克里斯;

html javascript css html5 css3

-1
推荐指数
1
解决办法
327
查看次数

标签 统计

css ×2

html ×2

javascript ×2

angularjs ×1

css3 ×1

curl ×1

fork ×1

fsockopen ×1

html5 ×1

parallel-processing ×1

php ×1