使用Java在MySQL中存储HTML

Question

所以,我现在正在开发一个项目,我应该将网页存储在数据库中,我使用crawler4j进行爬网,使用Proxool和MySQL Java Connector连接到我的数据库.

当我测试应用程序时,我得到了:com.mysql.jdbc.MysqlDataTruncation: Data truncation: Data too long for column 'HTMLData'.

该HTMLData柱TEXT.

当我更改HTMLData列时LONGTEXT错误消失了,但我担心它可能会在将来重新开始.

关于如何完美地做到这一点的任何想法,所以我不担心将来的错误(或任何其他类似的错误)？

谢谢 :)

Answer 1

原则上,LONGTEXT字段可以容纳4GB数据,但是其他较小的限制可能适用:例如,从MySQL文档中,"可以传输到MySQL 5.1服务器或客户端的最大可能数据包是1GB.".我认为这有效意味着你将在LONGTEXT中获得大约1GB的内容(即便如此,你必须重新配置我认为默认的最大数据包大小).

不管这个限制如何,HTML通常压缩得很好,所以如果你的框架允许这样做,我会建议你实际考虑LONGBLOB并在存储之前通过Deflater运行数据(并通过检索时的Inflator).