标签: nui

我有一个深度热图的图像,我已经过滤了比图像的前25%更远的任何东西.

它看起来像这样:

图像中有两种颜色,一种是我的手(我脸后面有一部分),另一种是左下角的桌子.如何搜索图像以找到这些斑点？如果可能的话,我希望能够在它们周围画一个矩形.

我也可以这样做(忽略阴影,过滤为黑色或白色):

在过去的几个月里,我一直在研究为各种软件音乐合成器开发基于Kinect的多点触控界面.

我提出的总体策略是以编程方式或(如果可能的话)以算法方式创建对象以表示软合成器的各种控件.这些应该有;

• X位置
• Y位置
• 高度
• 宽度
• MIDI输出通道
• MIDI数据缩放器(将xy coords转换为midi值)

我考虑用于创建算法的2个策略是XML描述,并以某种方式在屏幕上拉出东西(即给定一个正在运行的程序,找到所有控件的xycoords).我不知道如何去做第二个,这就是为什么我用这种特定的技术语言来表达它;).我可以做一些中间解决方案,比如在控件的角上点击鼠标来生成一个xml文件.我在Flash应用程序中经常看到的另一件事是将屏幕大小放入变量并使用数学来根据屏幕大小构建所有界面对象.请注意,并非必须使对象与屏幕控件的大小相同,或者表示所有屏幕上的对象(有些只是指示符,而不是交互式控件)

其他考虑;

给(现在)两组X/Y坐标作为输入(左手和右手),使用它们的最佳选择是什么？我的第一直觉是创建某种焦点测试,其中如果x/y坐标落入接口对象的边界内,则该对象变为活动状态,然后如果它们在一段时间内落在其他较小边界之外则变为非活动状态.我找到的廉价解决方案是使用左手作为指针/选择器,右边作为控制器,但似乎我可以做更多.我有几个手势解决方案(隐藏马尔科夫链)我可以搞砸.并不是说他们很容易上班,确切地说,但这是我可以看到自己在给予充分激励的情况下做的事情.

总而言之,问题是

• 表示接口(必要,因为默认接口总是需要鼠标输入)
• 选择一个控件
• 使用两组x/y坐标(旋转/连续控制器)操纵它,或者在开关的情况下,优选使用手势来切换它而不给予/获得焦点.

任何评论,特别是那些已经工作/正在使用多点触控io/NUI的人,都非常感谢.与现有项目和/或一些好的阅读材料(书籍,网站等)的链接将是一个很大的帮助.

我有一个TabHost控件(不在操作栏中),我想在用户在每个选项卡上滑动上下文时更改选项卡(类似于whatsapp表情符号选项卡).
我怎样才能做到这一点？

编辑
感觉也很重要.我希望上下文应该有滚动动画(无论用户是否滑动或是否单击了选项卡).