标签: large-files

HTML5 - 如何流式传输大型.mp4文件?

我正在尝试设置一个非常基本的html5页面来加载一个20MB的.mp4视频.看起来浏览器需要下载整个内容而不是仅仅播放视频的第一部分和其他内容的流媒体.

这篇文章是我在搜索时发现的最接近的东西......我尝试过Hand Brake和Data Go Round,但两者似乎没有什么区别:

关于如何做到这一点或有可能的任何想法?

这是我正在使用的代码:

<video controls="controls">
    <source src="/video.mp4" type="video/mp4" />
    Your browser does not support the video tag.
</video>
Run Code Online (Sandbox Code Playgroud)

video streaming html5 large-files

73
推荐指数
2
解决办法
8万
查看次数

获取最后10行非常大的文本文件> 10GB

显示非常大的文本文件的最后10行的最有效方法是什么(此特定文件超过10GB).我只想写一个简单的C#应用​​程序,但我不确定如何有效地做到这一点.

c# text large-files

64
推荐指数
6
解决办法
5万
查看次数

python:从压缩文本文件中读取行

是否很容易使用python从gz压缩的文本文件中读取一行而不完全提取文件?我有一个text.gz文件,它是200mb.当我提取它时,它变成7.4gb.这不是我必须阅读的唯一文件.对于整个过程,我必须阅读10个文件.虽然这将是一项顺序工作,但我认为在没有提取整个信息的情况下这样做是明智之举.我甚至不知道这是可能的.如何使用python完成?我需要逐行阅读文本文件.

python compression large-files

59
推荐指数
4
解决办法
6万
查看次数

有没有一种内存高效快速的方法来加载python中的大json文件?

我有一些500MB的json文件.如果我使用"trivial"json.load一次加载其内容,它将消耗大量内存.

有没有办法部分阅读文件?如果它是一个文本,行分隔文件,我将能够遍历这些行.我正在寻找它的类比.

有什么建议?谢谢

python json large-files

56
推荐指数
5
解决办法
5万
查看次数

用PHP解析巨大的XML文件

我正在尝试将DMOZ内容/结构XML文件解析为MySQL,但是执行此操作的所有现有脚本都很老,并且运行不正常.如何在PHP中打开一个大的(+ 1GB)XML文件进行解析?

php xml parsing large-files dmoz

52
推荐指数
6
解决办法
7万
查看次数

gitignore按文件大小?

我正在尝试实施Git来管理创意资产(Photoshop,Illustrator,Maya等),我想根据文件大小而不是扩展名,位置等从Git中排除文件.

例如,我不想排除所有.avi文件,但在随机目录中有一些大量的+ 1GB avi文件,我不想提交.

有什么建议?

git configuration blob gitignore large-files

45
推荐指数
6
解决办法
1万
查看次数

用大文件Git

情况

我有两台服务器,生产和开发.在生产服务器上,有两个应用程序和多个(6)数据库(MySQL),我需要将它们分发给开发人员进行测试.所有源代码都存储在开发服务器上的GitLab中,开发人员只能使用此服务器,并且无权访问生产服务器.当我们发布一个应用程序时,master会登录到生产环境并从Git中提取新版本.数据库很大(每个超过500M并且数不胜数),我需要尽可能简单地将它们分发给开发人员进行测试.

可能的解决方案

  • 在将数据库(每个数据库)转储到单个文件的备份脚本之后,执行将每个数据库推送到其自己的分支的脚本.如果开发人员想要更新他的本地副本,则会拉出其中一个分支.

    发现这个不起作用.

  • 生产服务器上的Cron每天都会保存二进制日志,并将它们推送到该数据库的分支中.因此,在分支中,有每日更改的文件,开发人员会提取他没有的文件.当前的SQL转储将以另一种方式发送给开发人员.当存储库的大小变得太大时,我们将向开发人员发送完全转储并刷新存储库中的所有数据并从头开始.

问题

  • 解决方案可行吗?
  • 如果git正在推送/拉出存储库,它是上传/下载整个文件,还是只更改它们(即添加新行或编辑当前的行)?
  • Git可以管理如此大的文件吗?没有.
  • 如何设置存储库中保留的修订数量?与新解决方案无关.
  • 有没有更好的解决方案?我不想强迫开发人员通过FTP或类似的东西下载这么大的文件.

git large-files gitlab

41
推荐指数
4
解决办法
5万
查看次数

如何使用Scala Stream类读取大型CSV文件?

如何使用Scala Stream读取大型CSV文件(> 1 Gb)?你有代码示例吗?或者您是否会使用不同的方式来读取大型CSV文件而不先将其加载到内存中?

csv streaming scala large-files

40
推荐指数
2
解决办法
2万
查看次数

在大型文本文件中搜索字符串 - 在python中分析各种方法

这个问题已被多次询问.花了一些时间阅读答案后,我做了一些快速分析,试用了前面提到的各种方法......

  • 我有一个600 MB的文件,有600 行字符串(来自DMOZ项目的类别路径).
  • 每行的条目都是唯一的.
  • 我想加载文件一次继续搜索数据中的匹配项

我在下面尝试的三种方法列出了加载文件所花费的时间,在任务管理器中搜索负匹配和内存使用的时间


1) set :
    (i)  data   = set(f.read().splitlines())
    (ii) result = search_str in data   
Run Code Online (Sandbox Code Playgroud)

加载时间〜10s,搜索时间~0.0s,内存使用量~1.2GB


2) list :
    (i)  data   = f.read().splitlines()
    (ii) result = search_str in data
Run Code Online (Sandbox Code Playgroud)

加载时间~6s,搜索时间~0.36s,内存使用量~1.2GB


3) mmap :
    (i)  data   = mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ)
    (ii) result = data.find(search_str)
Run Code Online (Sandbox Code Playgroud)

加载时间〜0s,搜索时间~5.4s,内存使用量~NA


4) Hash lookup (using code from @alienhard below):   
Run Code Online (Sandbox Code Playgroud)

加载时间〜65s,搜索时间~0.0s,内存使用量~250MB


5) File search (using code from @EOL below):   
   with open('input.txt') …
Run Code Online (Sandbox Code Playgroud)

python performance search profiling large-files

40
推荐指数
3
解决办法
3万
查看次数

通过html格式上传大文件(超过2 GB)

有没有上传超过2 GB的文件,使用简单的html表单上传?以前我一直在使用分块通过silverlight上传大文件(将一个大文件分成多个段然后逐个上传段然后在服务器上重新组合段).

现在,我们要求我们只需要使用简单的html(尽管是GWT)表单上传.如果有任何方法可以通过这种方式实现大文件上传,请指导我.

如果使用简单的html无法做到这一点,那么有人可以指导我如何使用flex分段和上传文件吗?

html file-upload http large-files

38
推荐指数
2
解决办法
6万
查看次数