DEDE全自动采集插件

DedeCms织梦内容管理系统自动采集、伪原创、发布、更新一体化插件

正在浏览发布于 2010十二月 的文章

更新日志:

本次因为彻底修改了多线程采集代码,大幅提高了媒体文件采集效率,插件版本号更新为V3.2

时间:2010-12-26

内容:
1.增加了自定义采集文件夹名字的功能,在全局配置里面进行设置。
2.修正了一个,当文章存在多个分页的时候,可能不能正确采集到多页内容的逻辑问题。
3.彻底修改了多线程采集代码,大幅提高了媒体文件采集效率。
在本地测试时发现网络占用非常平滑,30秒内可以采集到3M的文件,正好达到ADSL下行网速限制100KB/S。(可怜俺的ADSL网速只有1M)

本次更新涉及的文件:
/plus/autocollect/data/class.php
/plus/autocollect/data/template.php
/plus/autocollect/fun_gen.php
/plus/autocollect/fun_image.php

更新操作:
请v3用户在插件后台控制面板上,点 在线升级插件 ,根据提示操作,就可以完成升级。

阅读全文..

更新日志:

本次因为更新了对图片集模型的支持,插件版本号更新为V3.15

时间2010-12-19

内容
1.开始支持图集模型。
2.增加了将节点参数应用到同模型的其他节点的功能,并可选择是否将预设栏目也应用到其他节点。
3.增加了单节点发布选项,可选择是否将该节点采集的内容生成HTML、或者不生成HTML而仅仅是动态浏览。
4.在全局设置里面增加了强制更新首页的选项,可设置每隔一定时间强制更新首页。

本次更新涉及的文件:
/plus/autocollect/data/class.php
/plus/autocollect/data/template.php
/plus/autocollect/fun_gen.php
/plus/autocollect/fun_image.php

更新操作:
请v3用户在插件后台控制面板上,点 在线升级插件 ,根据提示操作,就可以完成升级。

阅读全文..

更新日志:

本次因为更新了自动在线升级功能,插件版本号更新为V3.1

时间2010-12-11

内容
1.修正了一个,采集时,目标服务器返回301重定向可能会造成无法正确获取网页内容的问题。
2.修正了一个在正文中插入拼音时,没有判断关键字是否为空可能会造成插入出错的问题。
3.给多线程采集增加了同时采集url数量限制,以期望能解决列表页地址超多时,采集占用资源大的问题。为配合多线程并发限制,在全局配置中增加了一个选项:【多线程采集最大并发量】。取值5-100,建议20,越大占用资源越多。需要说明的是,这个选项会影响采集速度。如果你使用的服务器性能够强,可以设置为100,不影响采集速度;如果有时候发现CPU占用率很高,那么就可以适当的调低这个值。
5.修正了一个,可能会不能正确判断网页编码,造成网页乱码的问题。
6.增加了自动在线升级插件的功能,默认是关闭。只要在全局配置里面打开【自动升级】的选项,插件就会在每天凌晨尝试自动更新自己到最新的发行版。
需要说明的是这个功能非常强悍,因此插件版本会更新为v3.1。但是毕竟只是经过在少数几个网站上的测试,追求稳定的客户请先暂时不要使用。

本次更新涉及的文件:
/plus/autocollect/data/class.php
/plus/autocollect/data/template.php
/plus/autocollect/fun_gen.php
/plus/autocollect/fun_image.php

更新操作:
请v3用户在插件后台控制面板上,点 在线升级插件 ,根据提示操作,就可以完成升级。

阅读全文..

DEDE全自动采集插件第三版已经发布,以下是跟 自动采集插件第一版 的功能对比:

阅读全文..

更新日志:

时间2010-12-05

内容
1.修正了当图片标签中有JS代码时,自动排版可能会显示乱码的问题。
2.给节点增加了可选择是否排除重复标题的选项,默认是排除重复标题。
3.修正了一个没有正确转换字符串编码,在SEO变量中插入时可能会造成乱码的问题。
4.增加了导出文档主表中的typeid2/shorttitle两个字段(如果存在值的话)。
5.修正了采集时自动修正url链接的一点小问题。
6.增加了自定义同义词词库的功能,可在线批量修改多个同义词词组,也可以通过导出、再导入的方式修改词库。

本次更新涉及的文件:
/plus/autocollect/data/class.php
/plus/autocollect/data/template.php
/plus/autocollect/fun_gen.php
/plus/autocollect/fun_image.php

更新操作:
请v3用户在插件后台控制面板上,点 在线升级插件 ,根据提示操作,就可以完成升级。

阅读全文..