使用AVPlayer的多个视频

Question

我正在开发一款适用于iPad的iOS应用程序,需要在屏幕的某些部分播放视频.我有几个视频文件需要按照编译时未给出的顺序互相播放.它看起来好像只是一个视频播放.从一个视频转到另一个视频是很好的,这是两个视频的最后一帧或第一帧显示的延迟,但是没有闪烁或没有内容的白色屏幕.视频不包含音频.考虑内存使用情况非常重要.视频具有非常高的分辨率,并且可以同时彼此相邻地播放几个不同的视频序列.

为了获得这个,我已经尝试了一些解决方案.它们列在下面:

1.带有AVComposition的AVPlayer,其中包含所有视频

在这个解决方案中,我有一个AVPlayer,只能在AVPlayerItem上使用AVComposition制作,AVComposition包含彼此相邻的所有视频.当我去特定的视频时,我会在下一个视频开始的构图中寻找时间.这个解决方案的问题是,当寻找时,播放器将快速显示它正在寻找的一些帧,这是不可接受的.似乎没有办法直接跳到合成中的特定时间.我尝试通过制作刚完成的视频中最后一帧的图像来解决这个问题,然后在搜索时显示在AVPLayer前面,最后在搜索完成后删除它.我使用AVAssetImageGenerator制作图像,但由于某种原因,图像的质量与视频不同,因此在视频上显示和隐藏图像时会有显着的变化.另一个问题是AVPlayer使用大量内存,因为单个AVPlayerItem包含所有视频.

2.具有多个AVPlayerItem的AVPlayer

此解决方案为每个视频使用AVPlayerItem,并在切换到新视频时替换AVPlayer的项目.这个问题是,当切换AVPlayer的项目时,它会在加载新项目时短时间显示白色屏幕.为了解决这个问题,可以使用在加载时将图像放在最后一帧的前面的解决方案,但仍然存在图像和视频的质量不同且值得注意的问题.

3.两个AVPlayers互相排斥,轮流播放AVPlayerItem

我尝试的下一个解决方案是让两个AVPlayer在彼此之上,轮流播放AVPlayerItems.因此,当玩家完成播放时,它将保留在视频的最后一帧.另一个AVPlayer将被带到前面(其项目设置为nil,因此它是透明的),并且下一个AVPlayerItem将被插入到该AVPlayer中.一旦加载它就会开始播放,两个视频之间顺畅交易的错觉将完好无损.此解决方案的问题是内存使用情况.在某些情况下,我需要同时在屏幕上播放两个视频,这将导致4个AVPlayers同时加载AVPlayerItem.这只是太多的记忆,因为视频可以分辨率非常高.

---

有没有人有一些关于整体问题和上面发布的尝试解决方案的想法,建议,评论或其他内容.

Answer 1

因此,该项目现在正在App Store中运行,现在是时候回到这个主题并分享我的发现并揭示我最终做的事情.

什么没有奏效

我在大AVComposition上使用其中所有视频的第一个选项还不够好,因为在没有小的擦洗小故障的情况下无法跳到合成中的特定时间.此外,我在组合中的两个视频之间准确暂停视频时遇到问题,因为API无法为暂停提供帧保证.

第三个有两个AVPlayers,并让他们轮流在实践中工作得很好.特别是在iPad 4或iPhone 5上.具有较低RAM量的设备是一个问题,因为内存中的多个视频同时消耗了太多内存.特别是因为我必须处理分辨率非常高的视频.

我最终做了什么

好吧,左边是选项号2.在需要时为视频创建AVPlayerItem并将其提供给AVPlayer.这个解决方案的好处是内存消耗.通过延迟创建AVPlayerItem并在不再需要它们的时候丢弃它们可以将内存消耗降至最低,这对于支持RAM有限的旧设备非常重要.这个解决方案的问题在于,当从一个视频转到另一个视频时,在下一个视频被加载到内存中的同时,会有一个空白屏幕.我解决这个问题的想法是在AVPlayer后面放一个图像,以便在玩家缓冲时显示.我知道我需要的图像与视频完美匹配,因此我捕获的图像是视频的最后一帧和第一帧的精确副本.

这个解决方案的问题

我遇到的问题是,如果视频/图像不是原始大小或模块4缩放,那么UIImageView内部图像的位置与AVPlayer内部视频的位置不同.换句话说,我遇到了如何用UIImageView和AVPlayer处理半像素的问题.它似乎没有相同的方式.

我是如何修理它的

我尝试了很多东西,因为我的应用程序是以交互方式使用视频,以不同的大小显示.我尝试更改了AVPlayerLayer和CALayer的magnificationfilter和minificationFilter以使用相同的算法,但没有真正改变任何东西.最后,我最终创建了一个iPad应用程序,可以自动截取我需要的所有尺寸的视频截图,然后在视频缩放到一定大小时使用正确的图像.这给出了我在显示特定视频时所有尺寸都像素完美的图像.不是一个完美的工具链,但结果是完美的.

最后的反思

这个位置问题对我来说非常明显(因此非常重要)的主要原因是因为我的应用程序正在播放的视频内容是绘制动画,其中很多内容处于固定位置并且只有部分内容图片正在移动.如果所有内容仅移动一个像素,则会产生非常明显且难看的故障.在今年的WWDC上,我与一位专注于AVFoundation的Apple工程师讨论了这个问题.当我向他介绍问题时,他的建议基本上是选择3,但我向他解释说这是不可能的,因为内存消耗和我已经尝试过解决方案了.有鉴于此,他说我选择了正确的解决方案并要求我在缩放视频时为UIImage/AVPlayer定位提交错误报告.

Answer 2

您可能已经看过这个,但是您已经查看了AVQueuePlayer 文档

它专为AVPlayerItems在队列中播放而设计,是AVPlayer的直接子类,因此只需以相同的方式使用它.你设置如下:

AVPlayerItem *firstItem = [AVPlayerItem playerItemWithURL: firstItemURL];
AVPlayerItem *secondItem = [AVPlayerItem playerItemWithURL: secondItemURL];

AVQueuePlayer *player = [AVQueuePlayer queuePlayerWithItems:[NSArray arrayWithObjects:firstItem, secondItem, nil]];

[player play];

如果要在运行时向队列中添加新项,请使用以下方法:

[player insertItem:thirdPlayerItem afterItem:firstPlayerItem];

我还没有测试过,看看这是否会减少你提到的闪烁问题,但似乎这就是要走的路.