DEDE全自动采集插件

DedeCms织梦内容管理系统自动采集、伪原创、发布、更新一体化插件

正在浏览标签为 Dede自动采集 的文章

更新日志:

时间:2011-04-17

内容:
1.修正了一个,在节点参数里面选择了【自动调整段落格式】时,图片下方说明文字可能不会正确居中的问题。
2.修正了一个,在插件控制面板里面提示“获取采集锁状态失败”的问题。
3.重新规划了插件程序流程设计,缩短了插件进程执行时间,最短可至30秒。使得绝大部分的服务器均能使用本插件。
4.增强了采集规则,可自定义列表网址匹配规则。
5.增强后台管理面板对DEDE5.7的兼容性。
6.【一键采集】改成使用AJAX方式操作,在提高速度的同时,也改善了用户体验。

本次更新涉及的文件:
/plus/autocollect/data/class.php
/plus/autocollect/data/template.php
/plus/autocollect/fun_gen.php
/plus/autocollect/fun_image.php

更新操作:
请v3用户在插件后台控制面板上,点 在线升级插件 ,根据提示操作,就可以完成升级。
如果已经在全局设置里面勾选【自动升级到最新的发行版】,则可以自动升级到此版本,不需要手工在线升级。

阅读全文..

更新日志:

时间:2011-03-28

内容:
1.增加对dedeV5.7版本的支持。
2.修正了一个在采集图片,不能添加水印的逻辑错误。
3.修正了一个当目标网页使用gzip压缩时,可能会造成采集失败的逻辑错误。
4.修正了一个即使在织梦后台关掉了水印,采集的图片依然带水印的逻辑错误。
5.应客户要求,增加了一个【重置插件运行数据】的功能。
6.增加邮件自动发送每天采集报告的功能,默认开启,在全局设置里面可关闭。

本次更新涉及的文件:
/plus/autocollect/data/class.php
/plus/autocollect/data/template.php
/plus/autocollect/fun_gen.php
/plus/autocollect/fun_image.php

更新操作:
请v3用户在插件后台控制面板上,点 在线升级插件 ,根据提示操作,就可以完成升级。

阅读全文..

更新日志:

时间:2011-03-15

内容:
1.修正了一个采集正文时,如果目标服务器没有设置content_type头,可能会造成正文采集失败的问题。
2.在采集节点处增加了“采集数量限制”选项,用来限制当列表页链接地址很多,但只需要取最近更新的一部分。
3.采集节点【在标题中插入关键字】选项,增加了随机插入到标题中间的的功能。
4.采集节点【在标题中插入关键字】选项,增加了一个插入【间隔字符】的功能。
5.在全局设置里面,增加了限制图片最大宽度和最大高度的功能,超过限定尺寸的图片,将会被等比例缩放。
6.在全局设置里面,增加了【JPEG图片质量参数】,数值越大图片效果越好,但文件也越大。
7.在采集节点中增加了【最小标题长度】和【最小正文长度】选项,不满足条件的文章将不会入库。

本次更新涉及的文件:
/plus/autocollect/data/class.php
/plus/autocollect/data/template.php
/plus/autocollect/fun_gen.php
/plus/autocollect/fun_image.php

更新操作:
请v3用户在插件后台控制面板上,点 在线升级插件 ,根据提示操作,就可以完成升级。

阅读全文..

更新日志:

时间:2011-02-20

内容:
1.修正了一个,如果列表页或者文章内容分页规则设定错误、采集到非文本内容,将会造成程序出错不能继续的问题。
2.修正了一个全局设置处,【主页及栏目列表页创建间隔时间】不能保存为小于600以下的数值的问题。
3.修正了一个,如果采集到的内容中包含某些特定的SQL语句将造成文章入库卡住的问题。
4.在控制面板运行信息处增加了,显示当前运行步骤的信息。
5.修正了一个,可能会错误的将昨天的文章入库数量重置为0的逻辑问题。
6.增强了对文章分页位置进行自然排序的能力。

本次更新涉及的文件:
/plus/autocollect/data/class.php
/plus/autocollect/data/template.php
/plus/autocollect/fun_gen.php
/plus/autocollect/fun_image.php

更新操作:
请v3用户在插件后台控制面板上,点 在线升级插件 ,根据提示操作,就可以完成升级。

阅读全文..

更新日志:

时间:2011-01-27

内容:
1.修正了一个当文档属于3级栏目下面的时候,生成HTML时当前位置显示不正确的问题。
2.修正了一个在设置采集节点参数时,JS代码对火狐浏览器兼容不好,造成火狐不能设置节点对应栏目的问题。
3.修正了一个,在DREAMHOST/GODADDY等主机上PHP运行时间最长不超过2分钟,造成插件不能触发自己的问题。
4.修正了一个当采集节点很多时,入库文档可能会很不均衡的问题。
5.增加了一键采集功能,此功能是对本插件只能自动不能手动采集的一个补充。
6.在采集规则里面增加了列表页匹配缩略图功能,支持采集优酷缩略图。
7.在采集规则里面增加了自定义内容分页匹配规则的功能,使得采集用JS加载的漫画连载成为可能。

本次更新涉及的文件:
/plus/autocollect/data/class.php
/plus/autocollect/data/template.php
/plus/autocollect/fun_gen.php
/plus/autocollect/fun_image.php

更新操作:
请v3用户在插件后台控制面板上,点 在线升级插件 ,根据提示操作,就可以完成升级。

阅读全文..

更新日志:

时间:2011-01-16

内容:
1.修正了一个当文章正文内容超多时,选择自动调整文章格式,可能会造成PHP内存溢出的问题。
2.适当增加了多线程采集图片时的采集超时时间,并调整了程序代码,提高了插件对图片的采集效率。
3.修正了一个,在采集媒体文件时,数据表里面可能不能正确保存媒体文件的采集记录的逻辑问题。

本次更新涉及的文件:
/plus/autocollect/data/class.php
/plus/autocollect/data/template.php
/plus/autocollect/fun_gen.php
/plus/autocollect/fun_image.php

更新操作:
请v3用户在插件后台控制面板上,点 在线升级插件 ,根据提示操作,就可以完成升级。

阅读全文..

更新日志:

时间:2011-01-10

内容:
1.修正了3.15版增加对图集模型的支持以后出现的一个bug,具体表现为升级以后不能使用手工采集。
2.修正了一个,在控制面板处启动插件时,可能会造成程序失去响应的问题。
3.修正了一个多线程采集时可能会造成采集超时的逻辑问题。
4.根据客户要求,将全局设置【自动设置文章标志属性】里面的各属性全部分开设置。
5.修改了日志记录机制,非插件程序文件(可能是DEDE系统程序文件)的错误信息将不再记录在日志中。

本次更新涉及的文件:
/plus/autocollect/data/class.php
/plus/autocollect/data/template.php
/plus/autocollect/fun_gen.php
/plus/autocollect/fun_image.php

更新操作:
请v3用户在插件后台控制面板上,点 在线升级插件 ,根据提示操作,就可以完成升级。

阅读全文..

更新日志:

本次因为彻底修改了多线程采集代码,大幅提高了媒体文件采集效率,插件版本号更新为V3.2

时间:2010-12-26

内容:
1.增加了自定义采集文件夹名字的功能,在全局配置里面进行设置。
2.修正了一个,当文章存在多个分页的时候,可能不能正确采集到多页内容的逻辑问题。
3.彻底修改了多线程采集代码,大幅提高了媒体文件采集效率。
在本地测试时发现网络占用非常平滑,30秒内可以采集到3M的文件,正好达到ADSL下行网速限制100KB/S。(可怜俺的ADSL网速只有1M)

本次更新涉及的文件:
/plus/autocollect/data/class.php
/plus/autocollect/data/template.php
/plus/autocollect/fun_gen.php
/plus/autocollect/fun_image.php

更新操作:
请v3用户在插件后台控制面板上,点 在线升级插件 ,根据提示操作,就可以完成升级。

阅读全文..

更新日志:

本次因为更新了对图片集模型的支持,插件版本号更新为V3.15

时间2010-12-19

内容
1.开始支持图集模型。
2.增加了将节点参数应用到同模型的其他节点的功能,并可选择是否将预设栏目也应用到其他节点。
3.增加了单节点发布选项,可选择是否将该节点采集的内容生成HTML、或者不生成HTML而仅仅是动态浏览。
4.在全局设置里面增加了强制更新首页的选项,可设置每隔一定时间强制更新首页。

本次更新涉及的文件:
/plus/autocollect/data/class.php
/plus/autocollect/data/template.php
/plus/autocollect/fun_gen.php
/plus/autocollect/fun_image.php

更新操作:
请v3用户在插件后台控制面板上,点 在线升级插件 ,根据提示操作,就可以完成升级。

阅读全文..

更新日志:

本次因为更新了自动在线升级功能,插件版本号更新为V3.1

时间2010-12-11

内容
1.修正了一个,采集时,目标服务器返回301重定向可能会造成无法正确获取网页内容的问题。
2.修正了一个在正文中插入拼音时,没有判断关键字是否为空可能会造成插入出错的问题。
3.给多线程采集增加了同时采集url数量限制,以期望能解决列表页地址超多时,采集占用资源大的问题。为配合多线程并发限制,在全局配置中增加了一个选项:【多线程采集最大并发量】。取值5-100,建议20,越大占用资源越多。需要说明的是,这个选项会影响采集速度。如果你使用的服务器性能够强,可以设置为100,不影响采集速度;如果有时候发现CPU占用率很高,那么就可以适当的调低这个值。
5.修正了一个,可能会不能正确判断网页编码,造成网页乱码的问题。
6.增加了自动在线升级插件的功能,默认是关闭。只要在全局配置里面打开【自动升级】的选项,插件就会在每天凌晨尝试自动更新自己到最新的发行版。
需要说明的是这个功能非常强悍,因此插件版本会更新为v3.1。但是毕竟只是经过在少数几个网站上的测试,追求稳定的客户请先暂时不要使用。

本次更新涉及的文件:
/plus/autocollect/data/class.php
/plus/autocollect/data/template.php
/plus/autocollect/fun_gen.php
/plus/autocollect/fun_image.php

更新操作:
请v3用户在插件后台控制面板上,点 在线升级插件 ,根据提示操作,就可以完成升级。

阅读全文..