终端、声音协作再现系统和内容显示装置

摘要

本发明提供一种能够输出音频内容的、具有第一声音输出部和第二声音输出部的终端，其包括：用于获取第一音频内容和第二音频内容的声音获取部；设定部，其能够设定表示所述第一音频内容和所述第二音频内容的输出目的地的信息；和声音输出控制部，其基于由所述设定部设定的信息，将所述第一音频内容输出至所述第一声音输出部和第二声音输出部中的一者，并将所述第二音频内容输出至所述第一声音输出部和第二声音输出部中的另一者。

权利要求

1.一种声音协作系统，包括显示接收到的内容的内容显示装置和能够输出音频内容的、具有第一声音输出部和第二声音输出部的终端，其特征在于：所述终端包括：

用于获取第一音频内容和第二音频内容的声音获取部；

设定部，其能够设定表示所述第一音频内容和所述第二音频内容的输出目的地的信息；和

声音输出控制部，其基于由所述设定部设定的信息，将所述第一音频内容输出至所述第一声音输出部和第二声音输出部中的一者，并将所述第二音频内容输出至所述第一声音输出部和第二声音输出部中的另一者，所述内容显示装置包括：

从所述接收到的内容中获取影像数据和音频数据的获取部；

显示由所述获取部获取的影像数据的显示部；

输出由所述获取部获取的音频数据的第三声音输出部；和将所述音频数据发送至所述终端的发送部，所述终端包括从所述内容显示装置接收所述音频数据作为所述第一音频内容的接收部，

所述终端还包括输入部，该输入部用于输入包含由所述第三声音输出部输出的声音的终端外部的声音，

所述声音输出控制部基于由所述输入部输入的声音来进行输出控制，所述声音输出控制部确定由所述输入部输入的声音的音量，并基于该音量来控制要对所述第一声音输出部输出的音量，以使由所述第三声音输出部输出的声音的音量与由所述第一声音输出部输出的声音的音量的合计成为再现基准音量的值。

2.如权利要求1所述的声音协作系统，其特征在于：所述声音输出控制部确定由所述输入部输入的声音的输入时刻，并基于该输入时刻来控制要对所述第一声音输出部或第二声音输出部输出的时刻。

3.如权利要求1或2所述的声音协作系统，其特征在于：还包括分析部，该分析部从由所述输入部输入的声音中提取周边声音并分析该周边声音的种类，

所述声音输出控制部基于所述分析部分析得到的分析结果来控制要对所述第一声音输出部或第二声音输出部输出的音量。

4.如权利要求1或2所述的声音协作系统，其特征在于：所述终端能够使用电话网进行通话，所述声音输出控制部基于由所述输入部输入的声音和由所述接收部接收到的音频数据，来进行强调由所述输入部输入的声音中包含的通话声音的强调处理。

5.如权利要求4所述的声音协作系统，其特征在于：所述声音输出控制部将由所述输入部输入的声音与将由所述接收部接收到的音频数据的相位反转而得到的结果相加，来作为所述强调处理。

6.如权利要求4所述的声音协作系统，其特征在于：所述声音输出控制部将由所述输入部输入的声音分离得到的结果中的通话声音部分放大，来作为所述强调处理。

7.如权利要求1或2所述的声音协作系统，其特征在于：所述内容显示装置还包括用于接受接收对象的内容的变更的变更接受部，所述发送部发送与由所述变更接受部接受的变更相应的内容的音频数据。

8.如权利要求1所述的声音协作系统，其特征在于：所述终端还包括能够计算所述终端与所述内容显示装置的距离的计算部，所述声音输出控制部基于由所述计算部计算出的距离，来确定由所述输出部输入的声音的音量。

9.如权利要求1或2所述的声音协作系统，其特征在于：所述终端还包括：

能够显示输出信息的显示部；和进行控制以使所述显示部显示所述信息的显示控制部，所述接收部还获取与所述音频数据关联的字幕数据，所述显示控制部将关于所述字幕数据的信息显示于所述显示部。

10.如权利要求9所述的声音协作系统，其特征在于：还包括能够对所述字幕数据进行翻译的翻译部，所述显示控制部将翻译后的所述数据作为关于所述字幕数据的信息显示于所述显示部。

11.如权利要求1或2所述的声音协作系统，其特征在于：还包括能够对信息进行翻译的翻译部，所述接收部还获取与所述音频数据关联的字幕数据，所述声音输出控制部对使所述翻译部翻译所述字幕数据而得到的数据进行声音输出。

说明书

终端、声音协作再现系统和内容显示装置

技术领域

[0001] 本发明涉及终端、声音协作再现系统和内容显示装置。

背景技术

[0002] 以往，存在使能够与主要的接收终端装置之间发送接收数据的多个副接收终端分别具有对于各副接收终端装置固有的ID信息(识别信息)，从主接收终端装置对副接收终端
装置发送与该ID信息对应的副内容的技术(例如参考专利文献1)。

[0003] 现有技术文献

[0004] 专利文献

[0005] 专利文献1：日本特开2013‑236389号公报

发明内容

[0006] 发明要解决的课题

[0007] 如专利文献1所记载的包括主接收终端装置(电视接收机)和副接收终端装置的系统中，主接收终端装置和副接收终端装置分别具有声音输出部。另外，存在1台终端装置中
也具有多个声音输出部(例如扬声器和耳机)的情况。

[0008] 这样具有多个声音输出部的情况下，优选适当地进行内容的声音输出。于是，如上所述，目的在于提供一种能够对于多个声音输出部适当地控制输出音频内容的终端、声音
协作再现系统和内容显示装置。

[0009] 用于解决课题的技术方案

[0010] 作为用于解决上述课题的技术方案，使用要求的权利范围中记载的技术。

[0011] 举其一例，是一种能够输出音频内容的、具有第一声音输出部和第二声音输出部的终端，其包括：用于获取第一音频内容和第二音频内容的声音获取部；设定部，其能够设
定表示所述第一音频内容和所述第二音频内容的输出目的地的信息；和声音输出控制部，
其基于由所述设定部设定的信息，将所述第一音频内容输出至所述第一声音输出部和第二
声音输出部中的一者，并将所述第二音频内容输出至所述第一声音输出部和第二声音输出
部中的另一者。

[0012] 发明效果

[0013] 通过使用本发明的技术，能够对于多个声音输出部适当地控制输出音频内容。

附图说明

[0014] 图1是表示实施例1的便携信息终端的应用例的图。

[0015] 图2是实施例1的便携信息终端的框图。

[0016] 图3是说明实施例1的便携信息终端的声音输出部的输出模式的图。

[0017] 图4是表示实施例1的便携信息终端的处理的流程图。

[0018] 图5A是实施例2的声音协作再现系统的系统结构图(1)。

[0019] 图5B是实施例2的声音协作再现系统的系统结构图(2)。

[0020] 图5C是实施例2的声音协作再现系统的系统结构图(3)。

[0021] 图6是实施例2的声音协作再现系统的便携信息终端的声音输出部中的默认设定的说明图。

[0022] 图7是实施例2的内容显示装置的框图。

[0023] 图8是实施例2的外部发送装置的框图。

[0024] 图9是表示实施例2的便携信息终端的处理的流程图(1)。

[0025] 图10是表示实施例2的便携信息终端的处理的流程图(2)。

[0026] 图11A是表示实施例2的声音协作再现系统的应用例的图(1)。

[0027] 图11B是表示实施例2的声音协作再现系统的应用例的图(2)。

[0028] 图12A是表示实施例2的声音协作再现系统的应用例的图(3)。

[0029] 图12B是表示实施例2的声音协作再现系统的应用例的图(4)。

[0030] 图13是说明实施例3的声音协作再现系统的声音控制的图。

[0031] 图14是表示实施例3的便携信息终端的处理的流程图(1)。

[0032] 图15是表示实施例3的便携信息终端的处理的流程图(2)。

[0033] 图16是表示实施例4的便携信息终端的处理的流程图。

[0034] 图17是说明实施例4的声音协作再现系统的同步控制的图。

[0035] 图18是表示实施例5的便携信息终端的处理的流程图。

[0036] 图19是表示实施例6的便携信息终端的处理的流程图。

[0037] 图20是表示实施例7的声音协作再现系统的字幕显示例的图。

[0038] 图21是表示实施例8的声音协作再现系统的翻译所需的各种处理的图。

具体实施方式

[0039] 以下使用附图说明本发明的实施方式的例子。

[0040] (实施例1)

[0041] 首先，说明本实施例的便携信息终端(终端)中能够再现的内容的一例。首先使用图1说明便携信息终端700(便携信息终端700mu)的应用例。便携信息终端700例如是移动电
话或智能手机、平板终端等。另外，便携信息终端700也可以是PDA(Personal Digital 
Assistants：个人数字助理)或笔记本型PC。另外，便携信息终端700也可以是数字静态摄像
机或能够拍摄动态影像的视频摄像机、便携型游戏机等、或者其他便携数字设备。

[0042] 便携信息终端700经由外部网络(例如互联网等)接收包括音频数据的音频内容并再现该音频内容。此处，音频内容指的是音乐内容、动态影像内容、单频段(One Segment)广
播内容等。另外，便携信息终端700能够接收单频段广播信号，接收单频段广播内容，并再现
该单频段广播内容。

[0043] 便携信息终端700具有多个声音输出部，能够从该声音输出部输出声音。具体而言，便携信息终端700能够从扬声器和本装置所连接的耳机输出声音。

[0044] 进而，便携信息终端700能够经由上述外部网络或移动电话通信网进行通话。即，便携信息终端700能够使用电话网进行通话。进而，便携信息终端700经由外部网络或移动
电话通信网进行通话，接收通话声音，对通话对方发送通话数据。另外，便携信息终端700再
现预先存储的音乐内容。以上说明不仅限定于日本国内的应用。

[0045] 图1是表示2种内容视听的示意图。便携信息终端700中，再现流传输内容和音乐内容。此处，考虑A用户10000mua想要视听流传输内容，另一方面，B用户10000mub想要视听音
乐内容。

[0046] 该情况下，便携信息终端700mu的耳机声音输出部再现上述流传输内容的声音，便携信息终端700mu的扬声器声音输出部再现上述音乐内容。该情况下，A用户10000mua对于
流传输内容、B用户10000mub对于音乐内容，能够分别不妨碍另一方的内容的视听地进行视
听。

[0047] [便携信息终端的硬件结构]

[0048] 接着，进行本实施例中的具体的结构例的说明。图2是表示便携信息终端700的内部结构的一例的框图。便携信息终端700具备主控制部701、系统总线702、通信处理部720
(接收部)、操作部730、图像处理部740(显示控制部)和声音处理部750。

[0049] 主控制部701是控制便携信息终端700全体的微处理器单元。主控制部701经由通信处理部720获取广播内容、动态影像内容等的多个音频内容。另外，主控制部701也可以存
储获取的内容。这样，主控制部701发挥声音获取部的功能。

[0050] 主控制部701安装了用于再现内容的应用程序(例如声音协作再现应用程序)、通话应用程序，响应用户的操作请求等来执行这些应用程序。再现内容的应用程序再现各种
音频内容。例如再现获取的音频内容。另外，声音协作再现应用程序是再现从电视接收机获
取的音频数据的应用程序。关于该声音协作应用程序的动作，在后文中叙述。通话应用程序
是控制呼叫/来电的应用程序。

[0051] 主控制部701在上述再现内容的应用程序接受了内容的再现请求的情况下，对图像处理部740或声音处理部750送出获取的内容或存储的内容。另外，主控制部701用上述通
信应用程序进行电话的呼叫/来电控制、和使用扬声器声音输出部751和声音输入部754的
通话控制。系统总线702是在主控制部701与便携信息终端700内的各动作模块之间进行数
据发送接收用的数据通信通路。

[0052] 通信处理部720具有LAN通信部721、移动电话网通信部722和NFC通信部723。LAN通信部721经由互联网进行数据的发送接收。移动电话网通信部722经由移动电话通信网进行
电话通信(通话)和数据的发送接收。

[0053] NFC通信部723在与支持的读取器/写入器接近时进行无线通信。LAN通信部721、移动电话网通信部722和NFC通信部723分别具备编码电路和解码电路、天线等。另外，通信处
理部720也可以进一步具备BlueTooth(注册商标)通信部和红外线通信部等、其他通信部。
例如，通信处理部720接收从外部装置(例如电视接收机)发送的内容。

[0054] 操作部730是进行对于便携信息终端700的操作指示的输入的指示输入部，本实施例中，由与显示部741重合地配置的触摸面板和将按钮开关排列而成的操作按键构成。也可
以仅有任一方。也可以使用通过有线通信或无线通信连接的另外的便携终端机器进行便携
信息终端700的操作。另外，上述触摸面板功能也可以由显示部741具备。

[0055] 图像处理部740由显示部741、图像信号处理部742、第一图像输入部743和第二图像输入部744构成。显示部741例如是液晶面板等显示设备，对便携信息终端700的用户提供
(显示输出)用图像信号处理部742处理后的图像数据。图像信号处理部742具备省略了图示
的视频RAM，基于对视频RAM输入的图像数据驱动显示部741。

[0056] 另外，图像信号处理部742具有根据需要进行格式变换、菜单和其他OSD(On Screen Display，在屏显示)信号的叠加处理等的功能。第一图像输入部743和第二图像输
入部744例如是摄像机单元。该摄像机单元通过使用CCD(Charge Coupled Device，电荷耦
合器件)或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)传
感器等电子器件将从镜头输入的光变换为电信号，而输入周围和对象物的图像数据。

[0057] 声音处理部750由扬声器声音输出部751(第一声音输出部)、耳机声音输出部752(第二声音输出部)、声音信号处理部753(声音输出控制部、分析部、计算部)和声音输入部
754(输入部)构成。

[0058] 扬声器声音输出部751对于能够听到输出的扬声器声音的范围内的全部用户，提供用声音信号处理部753处理后的声音信号。耳机声音输出部752对便携信息终端700的用
户提供用声音信号处理部753处理后的声音信号。耳机声音输出部752也可以具备能够连接
头戴式耳机或耳机等的端子。另外，耳机声音输出部752也可以经由BlueTooth(注册商标)
通信(近距离无线通信)等无线输出声音信号。这样，便携信息终端700是具备输出音频内容
的多个声音输出部的终端。

[0059] 另外，声音信号处理部753为了用扬声器声音输出部751和耳机声音输出部752输出不同的声音信号，而能够处理2个以上声音信号。从扬声器声音输出部751或耳机声音输
出部752输出的声音信号，被主控制部701选择性地控制。

[0060] 用扬声器声音输出部751和耳机声音输出部752输出的声音信号分别可以是单声道的也可以是立体声的。声音输入部754是麦克风，将用户的声音等变换为音频数据输入。

[0061] 声音信号处理部753经由操作部730设定后述的输出模式信息，存储设定的输出模式信息。这样，声音信号处理部753发挥设定部的功能。另外，声音信号处理部753基于输出
模式信息，将第一音频内容输出至第一声音输出部和第二声音输出部中的一者，将第二音
频内容输出至第一声音输出部和第二声音输出部中的另一者。

[0062] 另外，图2所示的便携信息终端700的结构例也包括多个对于本实施例并非必要的结构，即使是不具备这些的结构也不损害本实施例的效果。另外，也可以进一步添加数字广
播接收功能和电子货币结算功能等未图示的结构。

[0063] [声音信号的输出模式]

[0064] 图3是表示便携信息终端700中从扬声器声音输出部751和耳机声音输出部752输出第一声音信号或第二声音信号时的输出模式的一例的图。各声音信号有“不输出”“从扬
声器声音输出部751输出”“从耳机声音输出部752输出”这3个模式，作为两种声音信号的组
合可以取3×3＝9个模式。两种声音信号都是音频内容的信号。第一声音信号例如是动态影
像内容的信号，第二声音信号例如是音乐内容的信号。

[0065] 具体而言，有图3所示的No.1输出模式22000至No.9输出模式22008。其中，同时输出第一声音信号和第二声音信号的模式，是No.5输出模式22004、No.6输出模式22005、No.8
输出模式22007、No.9输出模式22008这4个模式。特别是No.5输出模式22004和No.9输出模
式22008叠加地输出第一声音信号和第二声音信号。

[0066] 这些输出模式的选择，可以由用户经由操作部730手动地选择，也可以具备判断连接了耳机的耳机连接检测部，基于耳机连接检测部的检测结果自动地选择。主控制部701通
过检测端子的连接状态，或检测使用近距离无线通信的耳机连接，而实现耳机连接检测部。

[0067] 图3所示的设定只是一例，便携信息终端700具备其他声音输出部的情况下，也允许选择其他声音输出部，也允许从多个声音输出部输出同一声音信号。

[0068] 接着，使用图4，说明便携信息终端700进行声音信号的输出切换的处理的流程。图4是表示便携信息终端700进行声音信号的输出切换的处理的流程的流程图。另外，预先设
定了输出模式。

[0069] 首先，主控制部701获取第一音频内容(第一声音信号)(步骤S91)，进而获取第二音频内容(第二声音信号)(步骤S92)。声音信号处理部753参照输出模式(设定值)，将第一
音频内容输出至第一声音输出部和第二声音输出部中的一者，将第二音频内容输出至第一
声音输出部和第二声音输出部中的另一者(步骤S93)。

[0070] 如以上所说明，根据实施例1中记载的便携信息终端700，预先设定输出模式，根据该输出模式，将第一声音信号输出至第一声音输出部和第二声音输出部中的一者，将第二
声音信号输出至第一声音输出部和第二声音输出部中的另一者。例如，便携信息终端700能
够从扬声器声音输出部751输出音乐内容，从耳机声音输出部752输出影像内容。这样，便携
信息终端700可以使用多个声音输出部适当地控制输出音频内容。

[0071] (实施例2)

[0072] 对于本发明的实施例2进行说明。本实施例是使用实施例1中记载的便携信息终端的声音协作再现系统。另外，本实施例中的便携信息终端的结构和效果等只要没有特别声
明就与实施例1相同。

[0073] 首先，对于能够用本实施例的声音协作再现系统再现的内容的一例进行说明。本实施例的声音协作再现系统中，例如电视接收机即内容显示装置经由天线接收广播信号，
由此能够再现BS/地面数字广播。

[0074] 进而，内容显示装置能够与外部网络连接的情况下，能够经由外部网络接收流传输内容并再现。另一方面，便携信息终端能够将经由上述外部网络接收的流传输内容传输
至内容显示装置并再现。

[0075] 进而，便携信息终端700能够接收单频段广播信号的情况下，能够将单频段广播内容传输至内容显示装置并再现。以上说明不仅限定于日本国内的应用。

[0076] 接着，进行本实施例中的实施方式的具体的结构例的说明。

[0077] [系统结构]

[0078] 首先，使用图5(图5A～图5C)说明声音协作再现系统的系统结构。图5是表示声音协作系统的系统结构的图。图5A是表示本实施例的声音协作再现系统的一例的系统结构
图。本实施例的声音协作再现系统包括内容显示装置100、天线100a、宽带网络等互联网
200、路由器装置210、广播台的信号塔300t、移动电话通信网的基站600b和便携信息终端
700。

[0079] 内容显示装置100是在现有的数字广播接收功能之外、也具有支持广播通信协作系统的功能的电视接收机。内容显示装置100经由天线100a接收从信号塔300t发射的广播
信号。另外，内容显示装置100能够经由路由器装置210与互联网200连接，能够通过与互联
网200上的各服务器装置通信而发送接收数据。

[0080] 路由器装置210与互联网200通过无线通信或有线通信连接，并且与内容显示装置100通过无线通信或有线通信连接，与便携信息终端700通过无线通信连接。由此，互联网
200上的各服务器装置与内容显示装置100与便携信息终端700能够经由路由器装置210相
互进行数据的发送接收。即，内容显示装置100与便携信息终端700能够通信。信号塔300t从
广播台的广播设备发射包括数字广播信号等的广播信号。

[0081] 图5B是表示本实施例的声音协作再现系统的另一例的系统结构图。与图5A所示的系统结构不同，不包括路由器装置210。图5B所示的系统结构中，不经由路由器装置210，而
是改为通过使用BlueTooth(注册商标)等方式进行内容显示装置100与便携信息终端700的
通信。

[0082] 图5C是表示本实施例的声音协作再现系统的另一例的系统结构图。与图5B所示的系统结构不同，使用外部发送装置100b。

[0083] 内容显示装置100在不能与路由器装置210连接的情况和不具有BlueTooth(注册商标)等通信方式的情况下，经由外部发送装置100b将声音信号等传输至便携信息终端
700。

[0084] 图5A至图5C所示的3个系统结构中，内容显示装置100与便携信息终端700之间的通信方式不同，但不限定于某一种通信方式，也可以同时使用2个以上通信方式。如上所述，
内容显示装置100使用各种通信手段(路由器装置210、外部发送装置100b等)对便携信息终
端700发送各种信息(例如数字广播中的音频数据)。便携信息终端700与此相应地接收该信
息。另外，内容显示装置100对便携信息终端700发送的音频数据中，包括表示主声道或副声
道的种类的信息。

[0085] 另外，便携信息终端700的主控制部701如上所述存储了与内容显示装置100进行协作用的应用程序。便携信息终端700在起动该应用程序时，与内容显示装置100之间进行
认证处理。另外，便携信息终端700预先存储了音量基准信息，对于接收的信息(音频数据)
基于该音量基准信息进行声音输出。

[0086] [声音信号的输出模式]

[0087] 本实施例的声音协作再现系统因为使用实施例1的便携信息终端700，所以能够从扬声器声音输出部751和耳机声音输出部752输出第一声音信号或第二声音信号。例如，能
够从便携信息终端700的扬声器声音输出部751输出从内容显示装置100的扬声器174输出
的声音，从耳机声音输出部752输出网络上的动态影像内容等其他音频内容的声音信号。便
携信息终端700预先存储了按每个获取来源规定输出对象的数据的输出目标的输出模式。

[0088] 图6是表示便携信息终端700中再现各种音频内容的情况下的、关于声音输出部的默认设定的一例的图。在用内容显示装置100显示影像的内容20000中，默认设定了从扬声
器声音输出部751输出多数用户视听的主声道，从耳机声音输出部752输出副声道。

[0089] 另一方面，在用便携信息终端700显示影像的内容20001中，基本而言，视听的用户仅有持有上述便携信息终端700的一人，所以默认设定了无论音频内容的种类如何都从耳
机声音输出部752输出声音。

[0090] 基于图6所示的默认设定的情况下，在卸下耳机的状态下内容20000的副声道和内容20001的声音信号不能输出，所以从扬声器声音输出部751仅输出上述内容20000的主声
道。另外，声音信号处理部753在连接了耳机的状态下，从扬声器声音输出部751输出内容
20000的主声道的声音信号。另外，声音信号处理部753从耳机声音输出部752输出内容
20000的副声道或内容20001的声音信号。耳机的连接被解除的情况下，声音信号处理部753
使从耳机声音输出部752进行的声音信号的输出中断。

[0091] 图6所示的设定只是默认设定，图6中的各声音输出的设定也允许选择另一方的输出部。

[0092] [内容显示装置的硬件结构]

[0093] 图7是表示内容显示装置100的内部结构的一例的框图。内容显示装置100包括主控制部101、系统总线102、外部通信部103、调谐器/解调部131、分离部132、影像显示部173
和扬声器174(第三声音输出部)。

[0094] 主控制部101是按照规定的动作程序控制内容显示装置100全体的微处理器单元。系统总线102是在主控制部101与内容显示装置100内的各动作模块之间进行数据发送接收
用的数据通信通路。

[0095] 外部通信部103例如在具备LAN(Local Area Network，局域网)通信部的情况下，如图5A所示，能够构成经由路由器装置210从互联网接收流传输内容、或与便携信息终端
700进行通信的系统。另外，上述外部通信部103例如具备BlueTooth(注册商标)通信部等的
情况下，如图5B所示，能够构成与便携信息终端700直接通信的系统。

[0096] 另外，外部通信部103例如具备声音输出部的情况下，能够如图5C所示地经由外部发送装置100b对便携信息终端700发送声音信息。LAN通信部、BlueTooth通信部、使用声音
输出部的通信方式不限定于某一种通信方式，也可以同时使用2种以上通信方式。另外，外
部通信部103也可以进一步具备NFC通信部、红外线通信部等其他通信部。

[0097] 外部通信部103从后述的分离部132接受了音频数据的情况下，将该音频数据发送至便携信息终端700。另外，外部通信部103也可以将用调谐器/解调部131接收到的内容发
送至便携信息终端700。

[0098] 调谐器/解调部131经由天线100a从信号塔300t接收广播信号，基于主控制部101的控制调谐(选台)至用户要求的服务的频道。进而，调谐器/解调部131对接收到的广播信
号进行解调而获取传输流(Transport Stream：TS)。另外，图6所示的例子中，举例示出了存
在一个调谐器/解调部的结构，但为了同时显示多个画面和同时间节目录像等目的，也可以
采用内容显示装置100搭载多个调谐器/解调部的结构。

[0099] 分离部132输入从调谐器/解调部131输出的TS，分离为影像数据串、音频数据串、字幕数据串等各数据串并输出。这样，分离部132从接收到的内容(TS)中获取影像数据和音
频数据。影像显示部173例如是液晶面板等显示设备，对内容显示装置100的用户提供用分
离部132分离后的影像信息和字幕信息。扬声器174对内容显示装置100的用户提供用分离
部132分离后的声音信息。

[0100] 内容显示装置100在电视接收机之外，也可以是DVD(Digital Versatile Disc，数字多功能盘)录像机等光盘驱动器录像机、HDD录像机等磁盘驱动器录像机、STB(Set Top 
Box，机顶盒)等。也可以是具备数字广播接收功能和广播通信协作功能的PC(Personal 
Computer，个人计算机)或平板终端、游戏机等。内容显示装置100是DVD录像机、HDD录像机、
STB等的情况下，也可以不具备影像显示部173和扬声器174。通过在外部通信部103上连接
外部监视器和外部扬声器，能够进行与本实施例的内容显示装置100同样的动作。

[0101] [外部发送装置的硬件结构]

[0102] 图8是对于本实施例的声音协作再现系统例如采取图5C所示的系统结构的情况下使用的外部发送装置100b、示出内部结构的一例的框图。外部发送装置100b具备主控制部
100b1、系统总线100b2、声音输入部100b3和外部信号发送部100b4。

[0103] 主控制部100b1是按照规定的动作程序控制外部发送装置100b全体的微处理器单元。系统总线100b2是在主控制部100b1与外部发送装置100b内的各动作模块之间进行数据
发送接收用的数据通信通路。

[0104] 声音输入部100b3获取从内容显示装置100内的外部通信部103具备的声音输出部输出的声音信号。

[0105] 外部信号发送部100b4例如具备BlueTooth(注册商标)通信部，对声音输入部获取的声音信号进行变换，发送至装置的外部。外部信号发送部100b4也可以进一步具备NFC通
信部、红外线通信部等其他通信部。

[0106] 内容显示装置100内的外部通信部103例如具备影像输出部的情况下，外部发送装置100b由于具备影像输入部而能够通过例如BlueTooth(注册商标)通信将影像信号发送至
装置的外部。声音信号输入和影像信号输入可以用分别独立的端子进行，也可以经由例如
HDMI端子等同时输入声音信号和影像信号。另外，一同输入声音信号和影像信号的情况下，
用外部信号发送部100b4发送的信号可以是声音信号和影像信号双方，也可以仅有声音信
号。

[0107] [声音协作再现时的动作序列]

[0108] 图9是表示使本实施例的声音协作再现系统工作时的、便携信息终端700的动作序列的一例的动作序列图。该图表示便携信息终端700起动使本实施例的声音协作再现系统
工作用的应用程序、持续进行内容的视听之后直到结束视听的一系列流程。

[0109] 首先，便携信息终端700起动使本实施例的声音协作再现系统工作用的应用程序(S101)，进行协作的内容显示装置100的认证。本实施例的声音协作再现系统构成了图5A所
示的系统的情况下，便携信息终端700经由网络通过输入密码等进行认证。本实施例的声音
协作再现系统构成了图5B所示的系统的情况下，通过配对操作等进行内容显示装置100的
认证。

[0110] 本实施例的声音协作再现系统构成了图5C所示的系统的情况下，便携信息终端700通过配对操作等进行外部发送装置100b的认证。另外，内容显示装置100或外部发送装
置100b具备NFC通信部的情况下，便携信息终端700也可以经由NFC通信部723直接进行内容
显示装置100或外部发送装置100b的认证。

[0111] 另外，也可以由内容显示装置100通过用户操作在影像显示部173上显示QR码，便携信息终端700的图像处理部740通过图像处理对QR码进行处理，由此进行认证。特别是，本
实施例的声音协作再现系统设想由家庭这样的多用户视听内容，所以使用NFC通信或QR码
的方法操作简单，从儿童到老年人都能够简单地开始协作。

[0112] 使本实施例的声音协作再现系统工作用的应用程序的起动和各装置的认证完成之后，开始声音协作再现。便携信息终端700为了减少因个人差异引起的声音的呈现方式的
差异，能够经由操作部730进行再现基准音量的设定等。声音信号处理部753在确认用操作
部730等设定的设定值(S103)之后，确认从通信处理部720接收的接收声音(S105)，从扬声
器声音输出部751或耳机声音输出部752输出上述接收到的声音(S106)。

[0113] 对于是否继续声音协作再现，在S103至S106的处理循环内时常进行监视(S102)。从操作部730输入应用程序的中断/结束请求，或者内容显示装置100的电源切断、内容显示
装置100与便携信息终端700之间的通信中断的情况下，结束本实施例的声音协作再现系
统。通过以上处理，能够使用内容显示装置100和便携信息终端700进行本实施例的声音协
作再现系统的动作。

[0114] 图10是表示图9所示的便携信息终端700的动作序列的一例中、声音输出(S106)的详细的动作序列的一例的动作序列图。首先，声音信号处理部753在输出声音时，确认便携
信息终端700是否处于通话状态(S10601)。

[0115] 具体而言，声音信号处理部753对主控制部701进行通话状态的询问，从主控制部701获取表示是否在通话中的信息进行判断。声音信号处理部753在处于通话状态的情况下
(S10601：是)，为了不妨碍听到来电声音，而不进行全部声音信号的输出并结束处理。

[0116] 另一方面，声音信号处理部753在不处于通话状态的情况下(S10601：否)，认为能够再现声音信号，接着使用耳机连接检测部进行连接判断(S10602)。声音信号处理部753在
连接了耳机的情况下(S10602：是)，因为能够再现2个以上声音信号，所以使用扬声器声音
输出部751和耳机声音输出部752的一方或双方，进行1个或2个声音信号的输出(S10603)。

[0117] 另一方面，未连接耳机的情况下，声音信号处理部753因为能够输出声音的仅有扬声器声音输出部751，所以从上述扬声器声音输出部751再现单一的声音信号(S10604)。对
于S10603至S10604的处理中输出的声音信号的选择，可以在S103的处理中选择，也可以基
于预先设定的默认设定选择。

[0118] 在基于图10所示的动作序列再现声音信号的过程中，便携信息终端700有来电的情况下，声音信号处理部753中，S10601的处理中的判断改变，使声音信号的输出中断。通话
结束时，声音信号处理部753中，再次改变S10601的处理中的判断，使声音信号的输出再次
开始。

[0119] 另外，在连接耳机并从扬声器声音输出部751和耳机声音输出部752双方分别再现声音信号的过程中，耳机的连接被解除的情况下，改变S10602的处理中的判断，使从耳机声
音输出部752进行的声音信号的输出中断。连接耳机时，声音信号处理部753中，再次改变
S10602的处理中的选择，使从耳机声音输出部752进行的声音信号的输出再次开始。

[0120] 图9和图10的各动作序列能够适当地部分地组合，进而，一部分动作步骤能够与其他动作步骤适当地更换顺序、同时动作等。另外，图9和图10的各动作序列除用户操作的输
入之外能够进行后台动作，在用户使用其他应用程序时，不会造成妨碍。

[0121] [本实施例的声音协作再现系统的应用例]

[0122] 图11A是表示作为本实施例的声音协作再现系统的应用例的一例的、2种内容视听的示意图。对于内容显示装置100ua的影像显示部173中再现的内容，A用户10000uaa和B用
户10000uab正在视听。B用户10000uab与A用户10000uaa相比位于更远离内容显示装置
100ua的位置。

[0123] 另一方面，C用户10000uac在B用户10000uab视听上述内容时，用便携信息终端700ua开始上述内容的关联内容的视听。此处，便携信息终端700ua的扬声器声音输出部751
再现内容显示装置100ua的扬声器174再现的声音。另外，便携信息终端700ua的耳机声音输
出部752再现上述关联内容的声音。由此，A用户10000uaa和B用户10000uab视听用内容显示
装置100ua的影像显示部173再现的内容，C用户10000uac能够不妨碍上述内容的再现地，用
便携信息终端700ua视听上述内容的关联内容。

[0124] 图11B是表示作为本实施例的声音协作再现系统的应用例的一例的、双画面的内容显示装置的内容视听的示意图。内容显示装置100ub具备2个调谐器/解调部131，将影像
显示部173分割为2部分，再现第一内容和第二内容。

[0125] 此处，A用户10000uba和B用户10000ubb想要视听第一内容，另一方面，C用户10000ucc想要视听第二内容。于是，从内容显示装置100ub的扬声器174和便携信息终端
700ub的扬声器声音输出部751再现上述第一内容的声音。另外，从便携信息终端700ub的耳
机声音输出部752再现上述第二内容的声音。由此，A用户10000uba和B用户10000ubb对于第
一内容、C用户10000ucc对于第二内容，能够分别不妨碍另一方的内容的视听地，一同视听
影像/声音。

[0126] 图12A表示作为本实施例的声音协作再现系统的应用例的一例的、多声道内容视听的示意图。内容显示装置100uc再现包括第一声音和第二声音的多声道内容。

[0127] 此处，A用户10000uca和B用户10000ucb想要以第一声音视听上述多声道内容，另一方面，C用户10000ucc想要以第二声音视听上述多声道内容。于是，从内容显示装置100uc
的扬声器174和便携信息终端700uc的扬声器声音输出部751再现上述第一声音。另外，从便
携信息终端700uc的耳机声音输出部752再现上述第二声音。由此，A用户10000uca和B用户
10000ucb能够以第一声音、C用户10000ucc能够以第二声音，分别不妨碍另一方的视听地视
听多声道内容。

[0128] 图12B表示作为本实施例的声音协作再现系统的应用例的一例的、环绕声内容视听的示意图。内容显示装置100ud例如再现包括5.1ch这样的环绕声的内容。

[0129] 此处，在视听上述内容的A用户10000uda、B用户10000udb和C用户10000udc的周围，配置了A便携信息终端700uda、B便携信息终端700udb、C便携信息终端700udc和D便携信
息终端700udd。内容显示装置100ud将上述环绕声传输至A便携信息终端700uda至D便携信
息终端700udd。A便携信息终端700uda至D便携信息终端700udd再现传输的各声音。由此，A
用户10000uda至C用户10000udc能够在临场感高的视听环境中视听环绕声内容。

[0130] 另外，作为使本实施例的声音协作再现系统工作用的应用程序的扩展功能，也可以登记内容显示装置与多个便携信息终端的台数和位置关系，基于上述便携信息终端的台
数和位置关系，生成实现要求的环绕声视听用的各声音，将上述各声音传输至各便携信息
终端。

[0131] 如以上所说明，根据实施例2中记载的声音协作再现系统，因为从内容显示装置100对便携信息终端700发送音频数据，所以能够不仅用内容显示装置100、也用便携信息终
端700的声音输出部(例如扬声器声音输出部751)输出。这样，能够使用能够进行对于多个
声音输出部的多个音频内容的选择性的输出控制的便携信息终端700，改善用内容显示装
置100再现的第一内容的视听环境，同时实现便携信息终端700的用户能够视听第二内容的
声音协作再现系统。

[0132] (实施例3)

[0133] 以下对于本发明的实施例3进行说明。另外，本实施例中的结构和效果等只要没有特别声明就与实施例2相同。因此，以下主要说明本实施例与实施例2的不同点，对于共同点
为了避免重复而尽量省略说明。

[0134] 实施例2中也记载了进行声音协作再现系统的情况下的实施方式，但对于更详细的实施方式进行说明。

[0135] 进行声音协作再现时，存在想要构建与内容显示装置的距离的不同引起的声音的呈现方式的差异较少的视听环境的情况。此时，优选以从内容显示装置到便携信息终端700
的距离越远就越提高便携信息终端700的扬声器音量的方式进行控制。

[0136] 于是，本实施例中，便携信息终端700输入从内容显示装置100输出的声音，基于输入的声音的音量，从扬声器声音输出部751输出声音。

[0137] 具体而言，便携信息终端700的声音输入部754输入周围的声音(终端外部的声音)，声音信号处理部753获取该声音。声音信号处理部753对该声音与从内容显示装置100
通过通信获取的音频数据进行比较，从输入的声音中确定从内容显示装置100输出的声音，
确定该声音的音量。声音信号处理部753基于确定的音量和设定的基准音量音频数据的音
量，进行声音输出。

[0138] 图13是表示本实施例的声音协作再现系统中的音量控制的一例的示意图。作为用内容显示装置100再现的内容的用户，在接近内容显示装置100的场所有A用户10000a，在远
离内容显示装置100的场所有B用户10000b。A用户10000a持有A便携信息终端700，B用户
10000b持有B便携信息终端700b。

[0139] A用户10000a以A用户的位置处的内容显示装置的扬声器音量100sa听到从内容显示装置100的扬声器174输出的声音。另一方面，B用户10000b以B用户的位置处的内容显示
装置的扬声器音量100sb听到从内容显示装置100的扬声器174输出的声音。上述B用户的位
置处的内容显示装置的扬声器音量100sb与上述A用户的位置处的内容显示装置的扬声器
音量100sa相比更小，B用户10000b与A用户10000a相比更难以听到扬声器174输出的声音。

[0140] 于是，A便携信息终端700a和B便携信息终端700b与内容显示装置100协作，A便携信息终端700a从扬声器声音输出部751以A便携信息终端的扬声器音量700sa再现声音，B便
携信息终端700b从扬声器声音输出部751以B便携信息终端的扬声器音量700sb再现声音。

[0141] 与上述A便携信息终端的扬声器音量700sa相比，B便携信息终端的扬声器音量700sb是更大的音量。此时，A用户10000a和B用户10000b听到的音量分别是A用户听到的音
量800sa和B用户听到的音量800sb。A便携信息终端700a和B便携信息终端700b为了使上述A
用户听到的音量800sa与上述B用户听到的音量800sb成为大致相同的值，而分别控制上述A
便携信息终端的扬声器音量700sa和上述B便携信息终端的扬声器音量700sb。

[0142] 图14是表示对于图9所示的便携信息终端700的动作序列、考虑了扬声器声音输出部751的音量控制的动作序列的一例的动作序列图。图9中的S105的处理中仅确认接收声
音，与此相对，图14中的S104的处理中在接收声音之外也进行从声音输入部754输入的输入
声音的确认。

[0143] 声音信号处理部753确认接收声音和输入声音之后，计测从声音输入部754输入的输入声音的音量(S107)。如图13所示，声音信号处理部753为了使内容显示装置100从扬声
器174输出的输出声音与便携信息终端700从扬声器声音输出部751输出的输出声音的音量
的合计总是成为接近再现基准音量的值，而计算出从便携信息终端700的扬声器声音输出
部751输出的声音的音量(S108)。然后，便携信息终端700从扬声器声音输出部751输出计算
出的音量的声音(S106)。

[0144] 图15是表示在图14所示的便携信息终端700的动作序列的一例中、输入声音确认/接收声音确认(S104)的详细的动作序列的一例的动作序列图。首先，声音信号处理部753确
认从便携信息终端700的声音输入部754输入的输入声音(S10401)，将输入音频数据保存至
能够缓冲规定时间的缓冲(S10402)。

[0145] 另一方面，确认便携信息终端700的通信处理部720接收的接收声音(S10403)，将接收音频数据保存至能够缓冲规定时间的缓存(S10404)。然后，在保存了上述输入音频数
据的缓存与保存了上述接收声音的缓存这两个缓存之间，检测出判断为同一音频数据的位
置(S10405)。通过进行上述检测，能够计算出仅在输入音频数据中包括的音频内容的声音
信号成分的大小。

[0146] 图14和图15的各动作序列能够适当地部分地组合，进而，一部分动作步骤能够与其他动作步骤适当地更换顺序、同时动作等。另外，图14和图15的各动作序列除用户操作的
输入之外能够进行后台动作，在用户使用其他应用程序时，不会造成妨碍。

[0147] 关于音量控制，在从便携信息终端700的扬声器声音输出部751输出与从内容显示装置100的扬声器174输出的声音相同的声音信号的情况下，为了减少与内容显示装置100
的距离的不同引起的呈现方式的差异，优选在默认设定下使其有效。另一方面，从耳机声音
输出部752输出上述声音信号的情况下，因为与内容显示装置100的距离的不同引起的呈现
方式的差异非常小，所以优选在默认设定下使其无效。

[0148] 如以上所说明，扬声器声音输出部751输入便携信息终端700的外部的声音，声音信号处理部753基于输入的声音控制声音输出。具体而言，声音信号处理部753基于用扬声
器声音输出部751输入的声音，决定接收到的音频数据的音量并输出。由此，对于远离内容
显示装置100的使用者也能够以适当的音量从扬声器声音输出部751输出音频数据。

[0149] 如以上所说明，本发明中，通过以从内容显示装置100到便携信息终端700的距离越远就越提高便携信息终端的扬声器音量的方式进行控制，能够实现与内容显示装置100
的距离的不同引起的声音的呈现方式的差异较少的声音协作再现系统。

[0150] (实施例4)

[0151] 以下对于本发明的实施例4进行说明。另外，本实施例中的结构和效果等只要没有特别声明就与实施例2相同。因此，以下主要说明本实施例与实施例2的不同点，对于共同点
为了避免重复而尽量省略说明。

[0152] 实施例2中也记载了进行声音协作再现系统的情况下的实施方式，但对于更详细的实施方式进行说明。

[0153] 进行声音协作再现时，存在从内容显示装置100的扬声器输出的声音信号、与从便携信息终端700的扬声器声音输出部751输出的与上述声音信号相同的声音信号的再现时
刻存在偏差的情况。这是由内容显示装置100与便携信息终端700之间的通信延迟引起的。
此时，为了得到良好的视听环境，优选进行使上述同一声音信号、以及内容显示装置再现的
影像的再现时刻同步的控制。

[0154] 本实施例的声音协作再现系统对上述再现时刻进行调整。具体而言，便携信息终端700的声音输入部754输入周围的声音，声音信号处理部753获取并存储该声音。另外，声
音信号处理部753存储经由通信处理部720获取的音频数据。

[0155] 声音信号处理部753对从声音输入部754输入的声音和经由通信处理部720获取的音频数据进行比较，判断是否存在一致的数据。声音信号处理部753在存在一致的数据的情
况下，对声音输入时的时刻、与接收数据的接收时刻进行比较，计算出时刻差异。声音信号
处理部753基于该时刻差异对声音输出时刻进行调整。具体而言，声音输入时的时刻更早的
情况下，声音信号处理部753以使内容显示装置100的再现时刻延迟的方式进行控制。另外，
音频数据更早的情况下，使便携信息终端700的再现时刻延迟。

[0156] 同步控制是基于从声音输入部754输入的输入声音进行的，所以便携信息终端700的动作序列成为图16。图16是对于图15所示的输入声音确认/接收声音确认(S104)的详细
的动作序列、考虑了同步控制的动作序列的一例。检测出输入音频数据和接收音频数据的
同一位置(S10405)之后，计算输入声音中的上述同一音频数据的听到时刻、与接收声音中
的上述同一音频数据的再现时刻的时刻差异(S10406)。

[0157] 此处，输入声音更早的情况下，使内容显示装置100中的内容再现时刻延迟(S10408)，另一方面，接收声音更早的情况下，使便携信息终端700的扬声器声音输出部751
中的声音再现时刻延迟(S10409)。S10408的处理仅在能够从便携信息终端700向内容显示
装置100通信的情况下能够执行，所以作为本实施例的声音协作再现系统，采用图5A或图5B
所示的系统结构的情况下是有效的。

[0158] 图17是表示本实施例的声音协作再现系统中的同步控制的一例的示意图。作为内容，设想视听内容显示装置100接收的BS/地面数字广播。考虑内容显示装置100与便携信息
终端700之间的传输时间等，基本而言，从内容显示装置100的扬声器174输出的声音、即从
便携信息终端700的声音输入部754输入的输入声音，是与便携信息终端700的通信处理部
720接收的接收声音相比在时间上更早的数据。

[0159] 于是，声音信号处理部753为了消除同步前的输入声音的100sp的听到时刻11000a、与同步前的接收声音700sp的再现时刻11000b的时刻差异，而进行S10408的处理。
S10408的处理中，首先将使内容显示装置100中的内容再现时刻延迟的指示传输至内容显
示装置100的外部通信部103，接收了指示的内容显示装置100通过应用口形同步技术等，而
以50msec程度的分辨能力100sdt，使扬声器174和影像显示部173的再现时刻延迟。

[0160] 但是，对于输入声音的听到时刻和接收声音的再现时刻，如果不考虑空气中的声音的传播延迟等而以更精细的数量级进行同步，对于用户就会听起来像是有回音。于是，声
音信号处理部753以使输入声音的听到时刻比接收声音的再现时刻更晚的方式基于上述分
辨能力100sdt使扬声器174的再现时刻延迟，同时以更精细的20μsec程度的分辨能力
700sdt使便携信息终端700的扬声器声音输出部751中的再现时刻延迟。

[0161] 基于分辨能力100sdt延迟的同步后的输入声音100sq的听到时刻、与基于分辨能力700sdt延迟的同步后的接收声音700sq的再现时刻，在同步时刻11000c一致，用户能够在
减少了回音的视听环境中视听内容。

[0162] 作为本实施例的声音协作再现系统中的内容，视听内容显示装置100接收到的流传输内容的情况下，也能够基于图16所示的动作序列进行同步控制。与BS/地面数字广播的
视听时不同，可以通过在S10408的处理中控制进行流传输用的程序，而使内容显示装置100
的再现时刻延迟。

[0163] 作为本实施例的声音协作再现系统中的内容，设想视听便携信息终端700接收到的流传输内容或单频段广播内容的情况。该情况下，考虑从便携信息终端700向内容显示装
置100的传输时间等时，基本而言，从内容显示装置100的扬声器174输出的声音的再现时
刻，与从便携信息终端700的扬声器声音输出部751输出的声音的再现时刻相比在时间上更
晚。从而，能够仅用使便携信息终端700的再现时刻延迟的S10409的处理进行同步控制。

[0164] 图16的动作序列能够适当地部分地组合，进而，一部分动作步骤能够与其他动作步骤适当地更换顺序、同时动作等。另外，图16的动作序列除用户操作的输入之外能够进行
后台动作，在用户使用其他应用程序时，不会造成妨碍。

[0165] 对于1台内容显示装置100，使2台以上便携信息终端700协作，构建本实施例的声音协作再现系统的情况下，也能够通过基于图16所示的动作序列进行同步控制，进行全部
这些装置中的声音和影像等的同步控制。

[0166] 关于同步控制，在从便携信息终端700的扬声器声音输出部751或耳机声音输出部752输出与从内容显示装置100的扬声器174输出的声音相同的声音信号的情况下，都为了
与内容显示装置100再现的影像的再现时刻同步的目的，而优选在默认设定下使其有效。

[0167] 如以上所说明，本实施例中，声音信号处理部753确定由声音输入部754输入的时刻，基于该时刻控制对扬声器声音输出部751输出的时刻。由此，能够适当地调整从内容显
示装置100输出的声音和从便携信息终端700输出的声音的输出时刻，例如，即使因通信延
迟而产生接收时刻的偏差，也能够适当地进行调整。

[0168] (实施例5)

[0169] 以下对于本发明的实施例5进行说明。另外，本实施例中的结构和效果等只要没有特别声明就与实施例2至4相同。因此，以下主要说明与实施例2至4的不同点，对于共同点为
了避免重复而尽量省略说明。

[0170] 实施例2至4中也记载了进行声音协作再现系统的情况下的实施方式，但对于更详细的实施方式进行说明。

[0171] 存在进行声音协作再现时，在再现的内容的声音之外，也对周边声音进行分析，想要与周边状况相应地控制内容的声音的音量的情况。例如内容的视听用户对他人说话的情
况下，为了使会话易于听到，优选降低便携信息终端的扬声器的音量。另一方面，例如内容
的视听用户的周围的生活噪音较大的情况下，为了使内容的声音易于听到，优选提高便携
信息终端的扬声器的音量。

[0172] 本实施例的声音协作再现系统对周边声音的种类进行分析，基于该种类控制输出的声音的音量。具体而言，便携信息终端700的声音输入部754输入周围的声音，声音信号处
理部753获取并存储该声音。另外，声音信号处理部753存储经由通信处理部720获取的音频
数据。

[0173] 声音信号处理部753对于从声音输入部754输入的声音、与经由通信处理部720获取的音频数据进行比较，提取一致的部分，并且从由声音输入部754输入的声音中提取不一
致的部分(周边声音部分)。声音信号处理部753确定周边声音的种类(例如会话、周边的噪
音)，与所确定的周边声音的种类相应地，决定接收到的音频数据的声音输出音量，基于该
音量进行声音输出。

[0174] 本实施例中，对于实现以上的详细的实施方式用的流程进行说明。图18表示对于图9所示的便携信息终端700的动作序列、考虑了基于周边声音的分析的音量控制的动作序
列的一例的动作序列图。在S104的处理中，从由声音输入部754输入的输入声音中检测出与
接收声音一致的数据、即内容的声音时，在上述输入声音中进行内容的声音与周边声音的
分离(S109)。

[0175] 声音信号处理部753基于分离出的周边声音，进行上述周边声音中包括的主成分例如是会话还是生活噪音这样的种类分析(S110)。声音信号处理部753另一方面计测上述
周边声音的音量(S111)，在S108的处理中，在考虑周边声音的种类分析结果和声音的基础
上，计算从便携信息终端700的扬声器声音输出部751输出的声音的音量。

[0176] 作为音量的控制方法的例子，在上述周边声音的种类分析结果例如是会话的情况下，使从扬声器声音输出部751输出的声音一致地成为规定的较小音量，上述周边声音的种
类分析结果例如是生活噪音的情况下，对于从扬声器声音输出部751输出的声音，以生活噪
音的音量越大则使其越大的方式进行音量的控制。

[0177] 此处，声音分离(S109)和周边声音的分析(S110)等可以在便携信息终端700的内部进行，也可以在互联网上的服务器装置中进行。如果处理S109和S110等需要较长的处理
时间，则在预先估算处理时间的最大值的基础上，在S104的处理中的同步控制中考虑上述
处理时间的最大值。然后，可以在图16所示的S10406的处理中考虑上述处理时间的最大值、
即确认接收声音(S10403)之后分析周边声音直到实际输出(S106)的时间，计算与输入声音
的时刻差异。

[0178] 图18的各动作序列能够适当地部分地组合，进而，一部分动作步骤能够与其他动作步骤适当地更换顺序、同时动作等。另外，图18的各动作序列除用户操作的输入之外能够
进行后台动作，在用户使用其他应用程序时，不会造成妨碍。

[0179] 这样，声音信号处理部753提取周边声音、分析该周边声音的种类，基于该分析结果，控制输出音量，所以能够进行与周边状况相应的音量控制。

[0180] 如以上所说明，本发明中，能够实现能够分析周边声音、与周边状况相应地控制内容的声音的音量的声音协作再现系统。

[0181] (实施例6)

[0182] 以下对于本发明的实施例6进行说明。另外，本实施例中的结构和效果等只要没有特别声明就与实施例2至4相同。因此，以下主要说明本实施例与实施例2至4的不同点，对于
共同点为了避免重复而尽量省略说明。

[0183] 实施例2至4中也记载了进行声音协作再现系统的情况下的实施方式，但对于更详细的实施方式进行说明。

[0184] 存在用声音协作再现系统视听内容的过程中，想要使用便携信息终端进行通话的情况。此时，为了对进行通话的对方传达清晰的声音，优选使从麦克风输入的声音中包括的
通话内容成分增大，或者尽量减少视听中的内容的声音成分。

[0185] 作为前者的方式的一例，有通过应用实施例5中的声音分离处理(S109)，将从麦克风输入的声音中包括的通话内容成分与视听中的内容的声音成分分离，在其中仅使通话内
容成分放大的方式。作为后者的方式的一例，可以考虑使用为了从扬声器声音输出部751输
出而接收的接收声音信息，将从麦克风输入的声音中包括的视听中的内容的声音成分抵消
的方式。

[0186] 本实施例的声音协作系统中，便携信息终端700输出从内容显示装置100接收的音频数据、同时进行通话处理的情况下，适当地控制通话声音(通话的输入声音)。具体而言，
声音信号处理部753对主控制部701进行通话状态的询问，从主控制部701获取表示是否在
通话中的信息进行判断。声音信号处理部753进行接收到的音频数据的相位反转、和基于对
声音输入部754输入的内容的声音成分的音量的振幅调整，并相加至用户的呼叫声音。

[0187] 本实施例中，对于实现以上的详细的实施方式用的流程进行说明。图19是表示对于图9所示的便携信息终端700的动作序列、考虑了使本实施例的声音协作再现系统工作用
的应用程序与通话应用程序的协同动作的动作序列的一例的动作序列图。通话应用程序在
来电或呼叫之后开始处理循环(S121)。首先，进行来电声音的确认(S123)、和从接听部输出
上述来电声音(S124)。另一方面，确认来自声音输入部754的用户的呼叫声音(S125)。

[0188] 此处，在发送上述呼叫声音时，利用从作为声音协作再现系统工作的便携信息终端700的扬声器声音输出部751输出的内容的声音。具体而言，声音信号处理部753进行S106
的处理中从扬声器声音输出部751输出的内容的声音的相位反转、和基于呼叫声音中包括
的内容的声音成分的音量的振幅调整(S120)。然后，声音信号处理部753通过相加至S125的
处理中确认的用户的呼叫声音(S126)，而减少呼叫声音中包括的内容的声音成分，能够生
成清晰的呼叫声音。然后，发送上述清晰的呼叫声音(S127)。

[0189] 对于是否继续通话，在S123至S127的处理循环内一直进行监视(S122)，在从操作部730输入挂断请求、或进行通话的对方请求挂断的情况下，结束本实施例的通话。

[0190] 图19的各动作序列能够适当地部分地组合，进而，一部分动作步骤能够与其他动作步骤适当地更换顺序、同时动作等。另外，图19的各动作序列除用户操作的输入之外能够
进行后台动作，在用户使用其他应用程序时，不会造成妨碍。

[0191] 如上述实施例所示，声音信号处理部753基于由声音输入部754输入的声音和经由通信处理部720获取的音频数据，对由声音输入部754输入的声音中包括的通话声音进行强
调。具体而言，声音信号处理部753将使由通信处理部720接收到的音频数据的相位反转的
结果相加至由声音输入部754输入的声音，作为该强调处理。由此，声音信号处理部753进行
使接收到的音频数据(音频内容)部分减弱的处理，所以在视听内容的过程中，也能够以清
晰的声音进行通话。

[0192] 另外，声音信号处理部753也可以如上述举例所述地，进行实施例5中的声音分离处理，将从麦克风输入的声音中包括的通话内容成分与视听中的内容的声音成分分离，在
其中仅使通话内容成分(通话声音部分)放大。该情况下，声音信号处理部753对通话内容部
分进行强调，所以在视听内容的过程中，也能够以清晰的声音进行通话。

[0193] (实施例7)

[0194] 以下对于本发明的实施例7进行说明。另外，本实施例中的结构和效果等只要没有特别声明就与实施例2至4相同。因此，以下主要说明本实施例与实施例2至4的不同点，对于
共同点为了避免重复而尽量省略说明。

[0195] 实施例2至4中也记载了进行声音协作再现系统的情况下的实施方式，但对于更详细的实施方式进行说明。

[0196] 存在用声音协作再现系统视听内容的过程中，想要在便携信息终端中不仅有声音，也显示影像或字幕的情况。特别是，关于字幕，存在多个用户视听的内容显示装置中显
示的情况下，有用户认为与影像重叠的字幕碍事的情况。此时，例如优选不在内容显示装置
上显示字幕，仅在需要字幕的用户持有的便携信息终端上显示字幕。

[0197] 本实施例的声音协作系统中，便携信息终端700接收与音频数据关联的字幕数据，并显示该字幕数据。

[0198] 本实施例中，对于使用以上的详细的实施方式用的流程进行说明。图20是便携信息终端700的显示部741中的显示画面的一例。上述显示部741具备触摸面板功能，兼作操作
部730。首先，在菜单741b中，用户选择是否需要显示影像和字幕等。用户选择了显示字幕的
情况下，显示字幕741a。

[0199] 对于上述字幕741a，通过使用触摸面板功能向上下方向滑动，能够回溯规定时间的字幕数据，在暂时漏看/漏听内容的情况下，能够不使内容的再现停止地得知漏看/漏听
的位置的内容。显示的字幕741a也能够通过对滚动条741c中表示当前的字幕的位置的滑块
741d进行操作而移动。

[0200] 如以上所说明，本发明中，能够实现在便携信息终端中不仅有声音、也能够显示影像或字幕的声音协作再现系统。

[0201] (实施例8)

[0202] 以下对于本发明的实施例8进行说明。另外，本实施例中的结构和效果等只要没有特别声明就与实施例2至4相同。因此，以下主要说明本实施例与实施例2至4的不同点，对于
共同点为了避免重复而尽量省略说明。

[0203] 实施例2至4中也记载了进行声音协作再现系统的情况下的实施方式，但对于更详细的实施方式进行说明。

[0204] 存在进行声音协作再现时，再现的内容的一种以上声音和一种以上字幕中，不包括视听用户能够理解的语言的情况。此时，优选能够使用上述一种以上声音和一种以上字
幕中的某一种进行翻译，成为用户能够理解的语言的声音或字幕并提供。

[0205] 本实施例中，便携信息终端700接收字幕数据，对外部的服务器(翻译部)请求翻译接收到的字幕数据，该外部服务器与该翻译请求相应地进行翻译，显示该翻译结果，或者进
行声音输出。另外，也可以由便携信息终端700自身具备翻译单元。

[0206] 本实施例中，对于实现以上的详细的实施方式用的流程进行说明。图21是表示各种翻译模式中必要的各种处理的一例的图。作为翻译模式，翻译前的数据有“字幕”“声音”2
个模式，翻译后的数据也有“字幕”“声音”2个模式，所以翻译模式的组合可以取2×2＝4个
模式。

[0207] 具体而言，如图21所示，有从字幕到字幕的翻译模式23000、从字幕到声音的翻译模式23001、从声音到字幕的翻译模式23002、从声音到声音的翻译模式23003。另外，一般而
言翻译大多基于文本进行，所以作为进行上述4个模式的翻译用的处理，需要将声音变换为
文本用的声音文本化处理23004、基于文本的翻译处理23005、将文本变换为声音用的文本
声音化处理23006。通过如图21所示地应用上述3种处理，能够进行上述4个模式的翻译。

[0208] 从声音到字幕的翻译模式23002、从声音到声音的翻译模式23003，在图14所示的便携信息终端700的动作序列中，在S104的处理内确认了接收声音之后执行。关于从字幕到
字幕的翻译模式23000、从字幕到声音的翻译模式23001，也使用在与声音相同的时刻传输
的字幕进行，所以在与使用声音进行的翻译模式相同的时刻进行。此处，声音文本化处理
23004至文本声音化处理23006可以在便携信息终端700的内部进行，也可以在互联网上的
服务器装置中进行。

[0209] 翻译后的字幕或声音是内容中原本不包括的数据，所以对用户的提供时刻不能如图16所示的动作序列一般严密地同步，但优选与内容的影像粗略地同步。因此，如果声音文
本化处理23004至文本声音化处理23006需要较长的处理时间，则预先估算处理时间的最大
值。然后，可以在S104的处理中的同步控制中考虑上述处理时间的最大值，在图16所示的
S10406的处理中考虑上述处理时间的最大值、即确认接收声音(S10403)之后进行翻译直到
实际输出(S106)的时间地计算与输入声音的时刻差异。

[0210] 图21所示的设定只是一例，例如也可以不是基于文本的翻译处理，也允许能够从声音翻译至声音的基于声音的翻译处理。

[0211] 如以上所说明，本发明中能够实现能够使用一种以上声音和一种以上字幕的某一种进行翻译、提供用户能够理解的语言的声音或字幕的声音协作再现系统。

[0212] 以上对于本发明的实施方式的例子使用实施例1～8进行了说明，但实现本发明的技术的结构不限于上述实施例，可以考虑各种变形例。例如，能够将某个实施例的结构的一
部分置换为其他实施例的结构，也能够在某个实施例的结构上添加其他实施例的结构。这
些都属于本发明的范畴。另外，文中和图中出现的数值和消息等也只是一例，即使使用不同
的也不损害本发明的效果。

[0213] 例如，便携信息终端700也可以使用近距离无线通信单元(例如信标等)计算便携信息终端700与内容显示装置100的距离，基于计算出的结果控制输出接收到的音频数据的
音量。例如，便携信息终端700也可以存储规定与距离对应的音量的信息，参照该信息确定
与计算出的距离对应的音量，以该音量输出音频数据。

[0214] 该情况下，便携信息终端700如果在距离较长的情况下提高音量，则即使远离内容显示装置100，也从便携信息终端700以较高音量输出音频数据，所以能够改善视听环境。

[0215] 另外，内容显示装置100也可以在接受了接收对象的内容的变更的情况下，将变更后的内容的音频数据发送至便携信息终端700。另外，内容显示装置100也可以在接受了接
收对象的内容的变更的情况下，将变更前的内容发送至便携信息终端700。

[0216] 另外，内容显示装置100在接受了接收对象的内容的变更的情况下，对于是否与该变更相应地改变对便携信息终端700发送的音频数据可以预先决定，也可以对便携信息终
端700询问。

[0217] 对于上述本发明的功能等，例如可以通过在集成电路中设计等而用硬件实现其一部分或全部。另外，也可以通过微处理器单元等解释并执行实现各功能的动作程序而用软
件实现。也可以同时使用硬件和软件。

[0218] 另外，图中示出的控制线和信息线示出了认为说明上必要的，并不一定示出了产品上全部的控制线和信息线。实际上也可以认为几乎全部结构都相互连接。

[0219] 另外，图中示出的控制线和信息线示出了认为说明上必要的，并不一定示出了产品上全部的控制线和信息线。实际上也可以认为几乎全部结构都相互连接。

[0220] 附图标记说明

[0221] 100……内容显示装置，100a……天线，100b……外部发送装置，100b1……主控制部，100b2……系统总线，100b3……声音输入部，100b4……外部信号发送部，101……主控
制部，102……系统总线，103……外部通信部，131……调谐器/解调部，132……分离部，
173……影像显示部，174……扬声器，200……互联网，210……路由器装置，300t……广播
台的信号塔，600b……移动电话通信网的基站，700……便携信息终端，701……主控制部，
702……系统总线，720……通信处理部，721……LAN通信部，722……移动电话网通信部，
723……NFC通信部，730……操作部，740……图像处理部，741……显示部，742……图像信
号处理部，743……第一图像输入部，744……第二图像输入部，750……声音处理部，
751……扬声器声音输出部，752……耳机声音输出部，753……声音信号处理部，754……声
音输入部。