オーディオ処理の方法、システム、及び制御サーバ

专利摘要:
オーディオ処理の方法は以下の各ステップを含む。制御サーバは、各端末が制御サーバにアクセスしてからはじめて、能力ネゴシエーションによって各端末のオーディオ能力を獲得する（２０１）。制御サーバは、オーディオ能力に従って各端末に符号化オーディオデータを転送する（２０２）。さらに、オーディオ処理システムおよび制御サーバも提供される。
公开号:JP2011508546A
申请号:JP2010540017
申请日:2008-12-24
公开日:2011-03-10
发明作者:リ、インビン
申请人:華為技術有限公司；
IPC主号:H04M3-56

专利说明:

[0001] 本出願は、参照によりその全文が本明細書に組み込まれる、「オーディオ処理の方法およびシステム、ならびに制御サーバ（Audio Processing Method and System, and Control Server）」という名称の、２００７年１２月２８日付けで中国特許庁に出願された、中国特許出願第２００７１０３０５６８４．６号の優先権を主張するものである。]
[0002] 本発明は、音声通信技術に関し、詳細には、オーディオ処理の方法、オーディオ処理システム、および制御サーバに関する。]
背景技術

[0003] 現在、テレビ会議製品または一部の電話会議製品は、主に、オーディオ処理についてはＩＴＵ−Ｈ．３２３またはＩＴＵ−Ｈ．３２０に準拠している。コアのオーディオ切換えを実施し、複数の会議端末を制御する機器が、ＭＣＵ（Multipoint Control Unit、多地点制御装置）である。ＭＣＵは少なくとも、多地点制御（Multipoint Control、ＭＣ）機能と、多地点処理（Multipoint Processing、ＭＰ）機能とを提供し、複数のチャネルのオーディオ混合を行うことができる。例えば電話会議では、少なくとも３ヶ所のサイトにある電話端末が、ＭＣＵを介して同時にやりとりすることができる。したがって、ＭＣＵは、全端末によって送信された音を混合して１つのチャネルにし、それを各サイトの電話端末に送信する必要がある。このようにして、全サイトの端末ユーザが、異なる空間にいるにもかかわらずあたかも同じ会議室にいるかのようにやりとりすることができるようになる。]
[0004] 会議のオーディオ処理を例に取って、図１に、従来技術において複数の端末によって行われるオーディオ通信のためのオーディオ処理のプロセスを示す。] 図１
[0005] ステップ１０１：ＭＣＵで、オーディオ・コーデック・ポートが、各サイトにアクセスする端末にそれぞれ割り振られる。]
[0006] ステップ１０２：呼が開始された後で、各端末がそれぞれ、ＭＣＵに符号化オーディオデータを送信する。]
[0007] ステップ１０３：ＭＣＵが、各端末によって送信されたオーディオデータを復号し、より大容量の音を生じるサイトのオーディオデータを選択する。]
[0008] ステップ１０４：選択されたオーディオデータが、オーディオデータの１つのチャネルに混合される。]
[0009] ステップ１０５：オーディオデータの混合チャネルが符号化され、次いで、各サイトの端末に送信される。]
[0010] ステップ１０６：各サイトの端末が受信したオーディオデータを復号する。]
[0011] 従来技術において、オーディオ符号化／復号プロセスは、各サイトの端末がＭＣＵにオーディオデータを送った後でオーディオデータがＭＣＵを通過すると、各サイトがＭＣＵによって送信されたオーディオデータの混合チャネルを受信するまで行われる必要がある。]
発明が解決しようとする課題

[0012] 本発明を考案する過程において、発明者は、従来技術には少なくとも次の問題があることを見出した。すなわち、符号化／復号プロセスが行われると、端末間のオーディオひずみが増大する。ＭＣＵに基づく多地点会議が開始すると、サイトにある端末は、符号化／復号プロセスを行う必要がある。ＭＣＵのオーディオ混合の際には、もう一度符号化／復号プロセスが行われる必要があり、そのため、オーディオには２回ひずみが生じる。２台のカスケード接続されたＭＣＵに基づく多地点会議が開始すると、サイトにある端末は、符号化／復号プロセスを行う必要がある。２台のＭＣＵによるオーディオ混合の際には、２回の符号化／復号プロセスが行われる必要があり、そのため、オーディオには３回ひずみが生じる。このことから類推すると、１台のＭＣＵが追加されると、オーディオにはさらに１回多くひずみが生じる。さらに、前述のオーディオひずみの推論と同様に、あらゆる符号化／復号のプロセスは端末間のオーディオ遅延を増大させるものであることも容易に理解される。しかも、音声会議に同時に参加する各サイト端末のために、ＭＣＵは、各端末ごとにオーディオ・コーデック・ポートを割り振る必要がある。特に、多くのサイトがあるときには、ＭＣＵは、多くのオーディオ・コーデック・ポートを提供する必要があり、これにより多地点会議の費用が増大する。]
課題を解決するための手段

[0013] 本発明の各実施形態は、オーディオ処理の方法、オーディオ処理システム、および制御サーバを提供する。]
[0014] 本発明による技術的解決法は以下のとおりである。]
[0015] オーディオ処理の方法は、
制御サーバが、制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信すること、
各端末と能力ネゴシエーションを行って各端末のオーディオ能力を獲得すること、および
オーディオ能力に従って、各端末に、符号化オーディオデータから抽出されたオーディオデータを転送すること、
を含む。]
[0016] オーディオ処理システムは、少なくとも１台の制御サーバと、複数の端末とを含む。]
[0017] 制御サーバは、制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信し、各端末と能力ネゴシエーションを行って各端末のオーディオ能力を獲得し、オーディオ能力に従って、各端末に符号化オーディオデータから抽出されたオーディオデータを転送するように適合されている。]
[0018] 端末は、制御サーバにアクセスし、受信したオーディオデータを復号し、オーディオデータを自動的に混合し、そのデータを再生するように適合されている。]
[0019] 制御サーバは、
制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信し、各端末と能力ネゴシエーションを行って各端末のオーディオ能力を獲得するように適合された獲得ユニットと、
オーディオ能力に従って、各端末に符号化オーディオデータから抽出されたオーディオデータを転送するように適合された転送ユニットと、
を含む。]
発明の効果

[0020] 本発明による技術的解決法では、端末が制御サーバにアクセスした後で、制御サーバが能力ネゴシエーションによって端末のオーディオ能力を獲得し、オーディオ能力に従って各端末に符号化オーディオデータを転送する。オーディオデータは、オーディオデータが制御サーバを通過するたびに符号化／復号プロセスを受ける必要がなく、制御サーバは、オーディオデータの抽出パケットおよびアセンブル済みパケットだけを再アセンブルし、転送し、そのため、符号化／復号の回数が低減され、オーディオデータの伝送遅延が短縮され、端末間の対話のリアルタイム性が改善され、制御サーバによるオーディオ・コーデック・リソースの占有が軽減され、費用が低減される。制御サーバによる符号化／復号動作回数の低減に基づいて、複数のオーディオチャネルが混合され、本発明による技術的解決法は、既存の標準プロトコルに基づく制御サーバに高適合し、テレビ会議や電話会議といった通信分野に広く適用できる。]
図面の簡単な説明

[0021] 従来技術における複数の端末間のオーディオ通信時におけるオーディオ処理を示す図である。
本発明の第１の実施形態におけるオーディオ処理の方法を示す流れ図である。
本発明の第２の実施形態におけるオーディオ処理の方法を示すアーキテクチャである。
本発明の第２の実施形態におけるオーディオ処理の方法を示す流れ図である。
本発明の第３の実施形態におけるオーディオ処理の方法を示すアーキテクチャである。
本発明の第３の実施形態におけるオーディオ処理の方法を示す流れ図である。
本発明の第４の実施形態におけるオーディオ処理の方法を示すアーキテクチャである。
本発明の第４の実施形態におけるオーディオ処理の方法を示す流れ図である。
本発明の第５の実施形態におけるオーディオ処理の方法を示すアーキテクチャである。
本発明の第５の実施形態におけるオーディオ処理の方法を示す流れ図である。
本発明の第６の実施形態におけるオーディオ処理の方法を示すアーキテクチャである。
本発明の第６の実施形態におけるオーディオ処理の方法を示す流れ図である。
本発明の一実施形態におけるオーディオ処理システムを示すブロック図である。
本発明の一実施形態における制御サーバを示すブロック図である。]
実施例

[0022] 本発明の各実施形態は、オーディオ処理の方法、オーディオ処理システム、および制御サーバを提供する。端末が制御サーバにアクセスした後で、制御サーバは、能力ネゴシエーションによって端末のオーディオ能力を獲得し、オーディオ能力に従って各端末に符号化オーディオデータを転送する。]
[0023] 本発明による技術的解決法を当業者にとってより明確なものにするために、以下に、本発明による技術的解決法を、添付の図面および好ましい実施形態を参照してより詳細に説明する。]
[0024] 図２は、本発明の第１の実施形態におけるオーディオ処理の方法の流れ図である。この方法は以下の各ステップを含む。] 図２
[0025] ステップ２０１：端末が制御サーバにアクセスした後で、制御サーバが、能力ネゴシエーションによって端末のオーディオ能力を獲得する。]
[0026] 端末のオーディオ能力には以下が含まれる。端末がマルチチャネル分離オーディオ・コーデック・プロトコル（multi-channel separation audio codec protocol）をサポートする、または端末が複数のオーディオ論理チャネルをサポートする、または端末がマルチチャネル分離オーディオ・コーデック・プロトコルも複数のオーディオ論理チャネルもサポートしない。]
[0027] ステップ２０２：ＭＣＵが、オーディオ能力に従って各端末に符号化オーディオデータを転送する。]
[0028] 制御サーバは、オーディオ能力に従って各端末に符号化オーディオデータを転送するのに、以下の各モードのいずれかを使用する。端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている場合、制御サーバは、オーディオデータの複数のチャネルを選択し、それらをカプセル化し、１つのオーディオ論理チャネルで転送する。端末が複数のオーディオ論理チャネルをサポートしている場合、制御サーバは、オーディオデータの複数のチャネルを選択し、それらを複数のオーディオ論理チャネルで転送する。端末が前述のモードをサポートしていない場合、会議サーバは、オーディオデータのためのオーディオ混合符号化を行い、そのデータを各端末に送信する。]
[0029] ただ１台の制御サーバしか存在しない場合、制御サーバは、オーディオ能力に従って、制御サーバにアクセスする各端末に符号化オーディオデータを転送する。複数の制御サーバがカスケード接続されている場合、制御サーバは、オーディオ能力に従ってカスケード式にデータを送信する。送信側制御サーバは、送信側制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信し、各端末によって送信された符号化オーディオデータからオーディオデータを抽出し、そのオーディオデータを受信側制御サーバに送信し、受信側制御サーバはそのオーディオデータを、受信側制御サーバにアクセスする各端末に転送する。]
[0030] 図３は、本発明の第２の実施形態におけるオーディオ処理の方法のアーキテクチャである。図３の制御サーバはＭＣＵである。４台の端末が、多地点オーディオ処理を実施するためにＭＣＵと接続されている。各端末とＭＣＵの間には（図３に実線矢印で示される）固有のオーディオ送信チャネルが存在し、各端末とＭＣＵの間には（図３に点線矢印で示される）固有のオーディオ受信チャネルが存在する。すなわち、ＭＣＵと端末の間にはオーディオ論理チャネルが存在する。図３に示すアーキテクチャを踏まえて、図４に本発明の第２の実施形態におけるオーディオ処理の方法を示す。この実施形態は、マルチチャネル分離オーディオ・コーデック・プロトコルに基づくＭＣＵと端末の間のオーディオデータ処理を扱うものである。] 図３ 図４
[0031] ステップ４０１：端末が、発呼した後で、ＭＣＵにアクセスし、ＭＣＵに符号化オーディオデータを送信する。]
[0032] 発呼するときに、端末は一般に、ＭＣＵと能力ネゴシエーションを行って、端末とＭＣＵの間でのマルチチャネル分離オーディオ・コーデック・プロトコルのサポートを判定する。このプロトコルは一般に、ＡＡＣ（Advanced Audio Coding、先進的音響符号化）といった国際規格、または専用プロトコルである。]
[0033] ステップ４０２：ＭＣＵが、マルチチャネル分離オーディオ・コーデック・プロトコルに特有の復号器を作成する。]
[0034] この実施形態のマルチチャネル分離オーディオ・コーデック・プロトコルにおいて、「チャネル分離」とは、ＭＣＵが、受信した各端末のオーディオ符号化データを復号する必要がなく、オーディオ符号化データを搬送するＩＰパケットによって、そのオーディオデータが由来するチャネルおよびそのチャネルのオーディオ符号化プロトコルを知ることを意味する。]
[0035] ステップ４０３：ＭＣＵが、復号オーディオデータの容量に従ってオーディオ混合を必要とする端末を選択する。]
[0036] ステップ４０４：ＭＣＵが、オーディオ混合を必要とする端末の個別チャネルからオーディオデータを抽出する。]
[0037] 本発明の各実施形態において、ＭＣＵは、受信した全端末のオーディオデータを一様に復号する必要も、オーディオ混合のためのオーディオデータの複数の必要なチャネルを選択する必要も、データを符号化する必要もなく、受信したマルチチャネル分離オーディオ・コーデック・プロトコルのオーディオデータからオーディオパケットの１つのチャネルを直接抽出する。抽出されたオーディオパケットに対応する端末は、オーディオデータの容量に従ってオーディオ固定（ｆｉｘｉｎｇ）のために選択された端末である。]
[0038] ステップ４０５：ＭＣＵが、オーディオデータの選択されたチャネルをパケットにカプセル化し、次いでそのパケットを、オーディオ論理チャネルを介して各端末に送信する。]
[0039] 復号されないオーディオパケットの複数の抽出チャネルは、再度カプセル化され、一緒にアセンブルされる。ＭＣＵと多地点通信を行う端末は、端末１、端末２、端末３、および端末４である。容量に従って選択されたオーディオデータの３つのチャネルは、端末１、端末２、および端末３によって送信された符号化オーディオデータであるものと仮定する。３台の端末それぞれのオーディオデータは、個別チャネルとしてカプセル化され、オーディオ論理チャネルに入れられ、すなわち、この論理チャネル内のオーディオデータは、３つの個別チャネルのデータを含み、次いでデータは、各端末に転送される。すなわち、端末１は、端末２および端末３のオーディオ符号化データから成るオーディオ・データ・パケットを受信する。端末２は、端末１および端末３のオーディオ符号化データから成るオーディオ・データ・パケットを受信する。端末３は、端末１および端末２のオーディオ符号化データから成るオーディオ・データ・パケットを受信する。端末４は、端末１、端末２および端末３のオーディオ符号化データから成るオーディオ・データ・パケットを受信する。]
[0040] ステップ４０６：端末が、受信したカプセル化オーディオデータを復号し、自動的にオーディオ混合を行い、次いでオーディオを再生する。]
[0041] 本発明による方法の第２の実施形態では、必ずしもすべての端末がＭＣＵと相互動作するためのマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしているとは限らない場合、ＭＣＵは、このプロトコルをサポートしていない端末のためのオーディオ混合および符号化のリソースを作成する必要があり、自動オーディオプロトコル適合をサポートしている必要がある。すなわちＭＣＵは、マルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている端末によって送信されたオーディオデータのための復号およびオーディオ混合符号化を行い、それらのデータを、このプロトコルをサポートしていない端末に送って、このプロトコルをサポートしていない端末との互換性を保持する。]
[0042] 図５は、本発明の第３の実施形態におけるオーディオ処理のアーキテクチャである。図５において、制御サーバはＭＣＵであり、端末Ａ１、端末Ａ２、端末Ａ３、および端末Ａ４はそれぞれ、ＭＣＵ＿Ａと接続されており、端末Ｂ１、端末Ｂ２、端末Ｂ３、および端末Ｂ４はそれぞれ、ＭＣＵ＿Ｂと接続されている。上記各端末は、ＭＣＵとの接続によって多地点オーディオ処理を実施する。各端末とＭＣＵの間には（図５に単方向実線矢印で示される）固有のオーディオ送信チャネルが存在し、各端末とＭＣＵの間には（図５に点線矢印で示される）固有のオーディオ受信チャネルが存在する。すなわち、ＭＣＵと端末の間には１つのオーディオ論理チャネルが存在し、ＭＣＵ間には（図５に双方向実線矢印で示される）１つの呼のチャネルが実施されている。図５に示すアーキテクチャを踏まえて、図６に本発明の第３の実施形態におけるオーディオ処理の方法を示す。この実施形態は、マルチチャネル分離オーディオ・コーデック・プロトコルに基づく２台のカスケード接続されたＭＣＵのそれぞれと端末の間のオーディオデータ処理を扱うものである。] 図５ 図６
[0043] ステップ６０１：端末が、発呼した後で、ＭＣＵ＿Ａにアクセスし、ＭＣＵ＿Ａに符号化オーディオデータを送信する。]
[0044] ステップ６０２：ＭＣＵ＿Ａが、マルチチャネル分離オーディオ・コーデック・プロトコルに特有の復号器を作成する。]
[0045] ステップ６０３：ＭＣＵ＿Ａが、復号オーディオデータの容量に従ってオーディオ混合を必要とする端末を選択する。]
[0046] ステップ６０４：ＭＣＵ＿Ａが、オーディオ混合を必要とする端末の個別チャネルからオーディオデータを抽出する。]
[0047] ステップ６０５：ＭＣＵ＿Ａが、オーディオデータの選択されたチャネルをカプセル化し、次いでそれらのチャネルをカスケード接続されたＭＣＵ＿Ｂに送信する。]
[0048] ステップ６０６：ＭＣＵ＿Ｂが復号器を作成し、次いで、容量に従ってＭＣＵ＿Ａのチャネルのオーディオデータの代わりのオーディオデータを選択する。]
[0049] カスケード接続されたＭＣＵ＿ＡとＭＣＵ＿Ｂが、これらに接続された端末によって送信されたオーディオデータを処理するとき、その処理方法は、ＭＣＵ＿ＡとＭＣＵ＿Ｂの間に１つのチャネルが追加されることを除いて、本発明の第２の実施形態における処理と同じである。特に、２台を超えるＭＣＵがカスケード接続されるときには、さらに多くのチャネルが追加される。したがって、カスケード接続されたＭＣＵ＿ＡがＭＣＵ＿Ｂにカプセル化オーディオデータを送信すると、ＭＣＵ＿Ｂは、受信したオーディオデータの容量を、ＭＣＵ＿Ｂと接続された端末によって送信されたオーディオデータの容量と比較し、比較結果に従って、ＭＣＵ＿Ａによって送信されたオーディオパケット内のより小容量のオーディオデータを、ＭＣＵ＿Ｂと接続された端末のオーディオデータで置換する。]
[0050] 図５に示すように、ＭＣＵ＿Ａと接続されている端末Ａ１、端末Ａ２、端末Ａ３、および端末Ａ４の中から選択されるオーディオパケットは、端末Ａ１、端末Ａ２、および端末Ａ３のオーディオデータを含むものと仮定する。オーディオパケットを受信した後で、ＭＣＵ＿Ｂは、オーディオパケットの容量を比較する。ＭＣＵ＿Ｂと接続された端末Ｂ１のオーディオデータの容量が端末Ａ１のオーディオデータの容量より大きい場合、ＭＣＵ＿Ｂは、オーディオパケット内の端末Ａ１のオーディオデータを端末Ｂ１のオーディオデータで置換する。] 図５
[0051] ステップ６０７：ＭＣＵ＿Ｂが、置換されたオーディオデータを再度カプセル化し、そのデータを、オーディオ論理チャネルを介して、ＭＣＵ＿Ｂと接続された各端末に送信する。]
[0052] ステップ６０８：端末が、受信したカプセル化オーディオデータを復号し、自動的にオーディオ混合を行い、次いでオーディオを再生する。]
[0053] 本発明の第３の実施形態では、すべての端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしているとき、送信側のＭＣＵは、送信側の端末のためのオーディオ符号器を作成し、受信側のＭＣＵは受信側の端末のためのオーディオ復号器を作成する。したがって、カスケード接続されたＭＣＵの数にかかわらず、送信側のＭＣＵの端末上のデータを符号化し、受信側のＭＣＵの端末上のデータを復号しさえすればよい。全オーディオ処理プロセスが、たった１回のオーディオ符号化／復号動作しか伴わない。送信側のＭＣＵの端末はオーディオ符号化データを送信する。送信側のＭＣＵがオーディオデータをオーディオパケットにカプセル化した後で、オーディオパケットは、複数のカスケード接続されたＭＣＵ間で伝送される。パケットが受信側のＭＣＵに送信されるとき、受信側のＭＣＵは、そのパケットを復号する必要はなく、マルチチャネル分離オーディオ・コーデック・プロトコルに従って、オーディオパケットから１つのチャネルのオーディオデータを直接抽出する。受信側のＭＣＵは、対応するオーディオデータを、受信側のＭＣＵのより大容量の端末によって送信されたオーディオデータで置換し、そのデータを受信側のＭＣＵの端末に送信し、受信側のＭＣＵの端末は置換されたオーディオパケットを復号する。]
[0054] 必ずしもすべての端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしているとは限らない場合、送信側のＭＣＵは、送信側の端末のためのオーディオ符号器を作成する必要はないが、受信側のＭＣＵは、受信側の端末のためのオーディオ符号器および復号器を作成する。さらに受信側のＭＣＵは、カスケード式に送信される受信オーディオパケットを復号し、パケットを置換し、それらのパケットを再度符号化して端末間の互換性を達成する必要がある。したがって、カスケード接続されたＭＣＵの数にかかわらず、オーディオパケットは、受信側のＭＣＵを除くＭＣＵ間で伝送される間に、いかなる符号化、復号操作も受けなくてよい。したがって、カスケード式伝送の全オーディオ処理プロセスが、たった２回の符号化／復号動作しか伴わない。すなわち、送信側のＭＣＵの端末はオーディオ符号化データを送信し、送信側のＭＣＵはそのオーディオ符号化データをオーディオパケットにカプセル化し、次いでオーディオパケットは複数のＭＣＵ間でカスケード式に送信される。パケットが受信側のＭＣＵに送信されるときには、マルチチャネル分離オーディオ・コーデック・プロトコルがサポートされていないため、受信側のＭＣＵは、オーディオパケットを復号し、オーディオパケット内のより小容量のオーディオデータを、受信側のＭＣＵの端末からのより大容量のオーディオデータで置換する必要がある。受信側のＭＣＵは、置換されたオーディオデータを再度復号し、そのデータを受信側のＭＣＵの端末に送信する。受信側のＭＣＵの端末は、オーディオパケットを受信し、それを復号する。]
[0055] 図７に、本発明の第４の実施形態におけるオーディオ処理の方法のアーキテクチャを示す。図７の制御サーバはＭＣＵである。４台の端末が、多地点オーディオ処理を実施するためにＭＣＵと接続されている。各端末とＭＣＵの間には（図７に実線矢印で示される）３つのオーディオ送信チャネルが存在し、各端末とＭＣＵの間には（図７に点線矢印で示される）１つのオーディオ受信チャネルが存在する。すなわち、ＭＣＵと端末の間には３つのオーディオ論理チャネルが存在する。この実施形態は、Ｈ．３２３といったオーディオ通信をサポートする国際標準プロトコルに基づくものである。このプロトコルは、複数の論理チャネルの開設をサポートし、同じ種類のメディアを運ぶ複数の論理チャネルをサポートする。図７に示すアーキテクチャを踏まえて、図８に本発明の第４の実施形態におけるオーディオ処理の方法を示す。この実施形態は、ＭＣＵと、複数のオーディオ論理チャネルを有する端末との間のオーディオデータ処理を扱うものである。] 図７ 図８
[0056] ステップ８０１：端末が、発呼した後で、ＭＣＵにアクセスし、ＭＣＵに符号化オーディオデータを送信する。]
[0057] 発呼するときに、端末は一般に、ＭＣＵと能力ネゴシエーションを行って、端末とＭＣＵの間の複数のオーディオ論理チャネルのサポートを判定する。能力ネゴシエーション標準プロトコルでは非標準能力プロトコルフィールドを搬送するため、複数のオーディオ論理チャネルをサポートする能力は、この非標準能力プロトコルフィールドによって記述される。能力ネゴシエーション標準プロトコルの拡張能力フィールドには、４バイトのコンテンツ「０ｘ０ａ０ａ」が存在するものと仮定する。能力ネゴシエーションに際して、ＭＣＵは、端末の非標準フィールドに、複数のオーディオ論理チャネルをサポートする能力を示す「０ｘ０ａ０ａ」が存在することを見出す。呼出しに成功した後、オーディオ処理は、複数のオーディオチャネルに基づくものとすることができる。]
[0058] ステップ８０２：ＭＣＵが、複数のオーディオ論理チャネルに特有の復号器を作成する。]
[0059] ステップ８０３：ＭＣＵが、復号オーディオデータの容量に従ってオーディオ混合を必要とする端末を選択する。]
[0060] ステップ８０４：オーディオ混合を必要とする端末のオーディオデータが、３つの対応するオーディオ論理チャネルを介して各端末に直接送信される。]
[0061] 例えば、ＭＣＵが、端末１、端末２、端末３、および端末４によって送信された符号化オーディオデータを受信した後で、オーディオポリシに従い、ＭＣＵによって選択されたオーディオデータの３つのチャネルがそれぞれ、端末１、端末２、および端末３のオーディオデータである場合、ＭＣＵは選択されたオーディオデータを、すべてのオーディオ論理チャネルで各端末に直接送信する。すなわち、端末１は、端末２のオーディオチャネルから端末２のオーディオデータを受信し、端末３のオーディオチャネルから端末３のオーディオデータを受信する。端末２は、端末１のオーディオチャネルから端末１のオーディオデータを受信し、端末３のオーディオチャネルから端末３のオーディオデータを受信する。端末３は、端末１のオーディオチャネルから端末１のオーディオデータを受信し、端末２のオーディオチャネルから端末２のオーディオデータを受信する。端末４は、端末１のオーディオチャネルから端末１のオーディオデータを受信し、端末２のオーディオチャネルから端末２のオーディオデータを受信し、端末３のオーディオチャネルから端末３のオーディオチャネルを受信する。]
[0062] ステップ８０５：端末が、受信したオーディオデータを復号し、自動的にオーディオ混合を行い、次いでオーディオを再生する。]
[0063] この実施形態の端末は、複数のオーディオ受信チャネルの開設をサポートし、オーディオデータの複数のチャネルの同時復号をサポートし、オーディオデータの復号された複数のチャネルの混合およびそれらのラウドスピーカへの出力をサポートする。端末１によって受け取られるオーディオデータを例に取ると、端末１は、端末２のオーディオチャネルと端末３このオーディオチャネルから受け取られたオーディオデータの２つのチャネルを復号し、オーディオ混合を行い、それらをラウドスピーカに出力する。]
[0064] 本発明の第４の実施形態では、必ずしもすべての端末がＭＣＵと相互動作するための複数のオーディオ論理チャネルをサポートしていない場合、ＭＣＵは、複数の論理チャネルをサポートしていない端末のためのオーディオ混合および符号化のリソースを作成する必要があり、自動オーディオプロトコル適合をサポートする必要がある。すなわちＭＣＵは、複数のオーディオ論理チャネルをサポートしている端末によって送信されたオーディオデータのための復号およびオーディオ混合符号化を行い、それらを、複数のオーディオ論理チャネルをサポートしていない端末に送って、複数のオーディオ論理チャネルをサポートしてない端末との互換性を保持する。]
[0065] 図９に、本発明の第５の実施形態におけるオーディオ処理の方法のアーキテクチャを示す。図９において、制御サーバはＭＣＵである。端末Ａ１、端末Ａ２、端末Ａ３、および端末Ａ４はそれぞれ、ＭＣＵ＿Ａと接続されている。端末Ｂ１、端末Ｂ２、端末Ｂ３、および端末Ｂ４はそれぞれ、ＭＣＵ＿Ｂと接続されている。前述の各端末は、ＭＣＵとの接続によって多地点オーディオ処理によって多地点オーディオ処理を実施する。各端末とＭＣＵの間には、（図９に単方向実線矢印で示される）３つのオーディオ送信チャネルと、（図９に点線矢印で示される）１つのオーディオ受信チャネルがある。図９には、各端末とＭＣＵの間に４つの論理チャネルが存在し、ＭＣＵ間には、（図９に双方向実線矢印で示される）１つの呼のチャネルが実施されることが示されている。図９に示すアーキテクチャを踏まえて、図１０に本発明の第５の実施形態におけるオーディオ処理の方法を示す。この実施形態は、２つのカスケード接続されたＭＣＵのそれぞれと、複数のオーディオ論理チャネルを備える端末との間のオーディオデータ処理を扱うものである。] 図１０ 図９
[0066] ステップ１００１：端末が、発呼した後で、ＭＣＵ＿Ａにアクセスし、ＭＣＵ＿Ａに符号化オーディオデータを送信する。]
[0067] 発呼するときに、端末は一般に、ＭＣＵと能力ネゴシエーションを行って、端末とカスケード接続されたＭＣＵの間の呼の複数のカスケード接続チャネルのサポートを判定する。能力ネゴシエーション標準プロトコルでは非標準能力プロトコルフィールドを搬送するため、呼の複数のカスケード接続チャネルをサポートする能力は、この非標準能力プロトコルフィールドによって記述される。これは、ＭＣＵ間のカスケード接続呼の場合にも同様である。能力ネゴシエーション標準プロトコルの拡張能力フィールドでは４バイトのコンテンツ「０ｘ０ａ０ｂ」が定義されるものと仮定する。能力ネゴシエーションに際して、ＭＣＵは、端末の非標準能力フィールドに、呼の複数のカスケード接続チャネルをサポートする能力を示す「０ｘ０ａ０ｂ」が存在することを見出す。呼出しに成功した後、オーディオ処理は、呼の複数のカスケード接続チャネルに基づくものとすることができる。]
[0068] ステップ１００２：ＭＣＵ＿Ａが、複数の論理チャネルに特有の復号器を作成する。]
[0069] ステップ１００３：ＭＣＵ＿Ａが、復号オーディオデータの容量に従ってオーディオ混合を必要とする端末を選択する。]
[0070] ステップ１００４：オーディオ混合を必要とする端末のオーディオ論理チャネルデータの複数のチャネルが、ＭＣＵ＿Ｂに直接転送される。]
[0071] ステップ１００５：ＭＣＵ＿Ｂが、復号器を作成し、次いで、容量に従ってＭＣＵ＿Ａのオーディオデータの代わりのオーディオデータを選択する。]
[0072] ステップ１００６：ＭＣＵ＿Ｂが、オーディオデータの置換されたチャネルを、３つのオーディオ論理チャネルを介して各端末に直接送信する。]
[0073] ステップ１００７：端末が、受信したオーディオデータを復号し、自動的にオーディオ混合を行い、次いでオーディオを再生する。]
[0074] 本発明の第５の実施形態では、すべての端末が複数のオーディオ論理チャネルをサポートしているとき、送信側のＭＣＵは、送信側の端末のためのオーディオ符号器を作成し、受信側のＭＣＵは、受信側の端末のためのオーディオ復号器を作成する。したがって、カスケード接続されたＭＣＵの数にかかわらず、送信側のＭＣＵの端末上でデータを符号化し、オーディオ混合の前に受信側のＭＣＵの端末上で複数のオーディオチャネルから送信されたオーディオデータを復号しさえすればよい。全オーディオ処理プロセスが、たった１回のオーディオ符号化／復号動作しか伴わない。すなわち、送信側のＭＣＵの端末は、オーディオ符号化データを送信する。送信側のＭＣＵは、複数のオーディオ論理チャネルを介してカスケード式に、複数のＭＣＵ間でオーディオデータを伝送する。オーディオデータが受信側のＭＣＵに送信されるとき、受信側のＭＣＵは、データを復号しなくてもよく、複数のオーディオ論理チャネルの能力に従って、複数の論理チャネルのオーディオデータを、受信側のＭＣＵのより大容量の端末によって送信されたオーディオ論理チャネルのオーディオデータで置換し、次いでそのデータを受信側のＭＣＵの端末に送信する。受信側のＭＣＵの端末は、置換後に複数のオーディオ論理チャネルを介して送信されたオーディオデータの複数のチャネルを復号する。]
[0075] 必ずしもすべての端末が複数のオーディオ論理チャネルをサポートしているとは限らない場合、送信側のＭＣＵは、送信側の端末のためのオーディオ符号器を作成しなくてもよいが、受信側のＭＣＵは、受信側の端末のためのオーディオ符号器および復号器を作成する。さらに、受信側のＭＣＵは、カスケード式に送信される受信オーディオパケットを復号し、それらのパケットを置換し、それらのパケットを再度符号化して端末間の互換性を実現する必要がある。]
[0076] したがって、カスケード接続されたＭＣＵの数にかかわらず、オーディオパケットは、受信側のＭＣＵを除くＭＣＵ間で伝送される間にいかなる符号化操作も復号操作も受けなくてよい。したがって、カスケード接続送信の全オーディオ処理プロセスが、たった２回の符号化／復号動作しか伴わない。すなわち、送信側のＭＣＵは、複数のオーディオ論理チャネルを介して複数のＭＣＵ間でオーディオデータを伝送する。データが受信側のＭＣＵに送信されるとき、受信側のＭＣＵは、複数のオーディオ論理チャネルをサポートしていないため、複数のオーディオ論理チャネルのオーディオデータを復号し、複数のオーディオチャネルのオーディオデータ内のより小容量のオーディオデータを、受信側のＭＣＵの端末からのより大容量のオーディオデータで置換する必要がある。受信側のＭＣＵは、オーディオデータの置換された複数のチャネルを再度符号化し、そのデータを受信側のＭＣＵの端末に送信する。受信側のＭＣＵの端末はオーディオパケットを受信し、それを復号する。]
[0077] 図１１に、本発明の第６の実施形態におけるオーディオ処理の方法のアーキテクチャを示す。図１１において、制御サーバはＭＣＵであり、端末１および端末２はＭＣＵ＿Ａと接続されており、端末３および端末４はＭＣＵ＿Ｂと接続されており、各端末は、ＭＣＵとの接続によって多地点オーディオ処理を実施する。それと同時に、ＭＣＵ＿ＡとＭＣＵ＿Ｂの間にはカスケード接続呼の複数のチャネルが実施される。すなわち、オーディオ混合を必要とする端末の数に従い、カスケード接続されたＭＣＵ＿ＡとＭＣＵ＿Ｂの間で、複数の呼のチャネルが動的にセットアップされる。各呼のチャネルはただ１つのオーディオチャネルを有する。オーディオチャネル間のプロトコルは異なっていてもよい。図１１では、ＭＣＵ＿ＡとＭＣＵ＿Ｂの間に（図１１に双方向実線矢印で示される）カスケード接続呼の３つのチャネルがセットアップされており、各端末とＭＣＵの間には１つの呼のチャネルがセットアップされている。図１１に示すアーキテクチャを踏まえて、図１２に、本発明の第６の実施形態におけるオーディオ処理の方法を示す。この実施形態は、複数の呼のチャネルの連結によってＭＣＵ間のオーディオデータ処理を扱うものである。] 図１１ 図１２
[0078] ステップ１２０１：端末が、発呼した後で、ＭＣＵ＿Ａにアクセスし、ＭＣＵ＿Ａに符号化オーディオデータを送信する。]
[0079] ステップ１２０２：ＭＣＵ＿Ａが、サーバにアクセスする端末のための復号器を作成する。]
[0080] ステップ１２０３：ＭＣＵ＿Ａが、復号オーディオデータの容量に従ってオーディオ混合を必要とする端末を選択する。]
[0081] ステップ１２０４：ＭＣＵ＿Ａが、オーディオ混合を必要とする端末のオーディオデータを、ＭＣＵ＿Ａのオーディオ・プロトコル・ポートから、ＭＣＵ＿Ｂ上のオーディオプロトコルをサポートするポートに転送する。]
[0082] ステップ１２０５：ＭＣＵ＿Ｂが、復号器を作成し、ＭＣＵ＿Ａの各ポートから送信されたオーディオデータを復号する。]
[0083] ステップ１２０６：ＭＣＵ＿Ｂが、容量に従い、ＭＣＵ＿Ａから受け取られたオーディオデータの複数のチャネルと、ＭＣＵ＿Ｂの端末から受け取られたオーディオデータの複数のチャネルの中からオーディオ混合を必要とするオーディオデータを選択する。]
[0084] ステップ１２０７：ＭＣＵ＿Ｂが、オーディオデータの選択された複数のチャネルのためのオーディオ混合を行い、そのデータを各端末に送信する。]
[0085] ステップ１２０８：端末が、受信したオーディオデータを復号し、自動的にオーディオ混合を行い、次いでオーディオを再生する。]
[0086] 複数のＭＣＵがカスケード接続されているとき、オーディオ呼は、一般には、カスケード接続された１対のＭＣＵポートを介して実施される。しかし、本発明の第６の実施形態では、２つのカスケード接続されたＭＣＵの間で、異なるオーディオプロトコルに基づく複数の呼のチャネルをサポートするために、複数対のポートが使用される。このようにして、オーディオデータの複数のチャネルのためのマルチチャネルオーディオ混合が行われる。]
[0087] 端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートし、または複数のオーディオ論理チャネルをサポートしているとき、異なるオーディオプロトコルに基づくものであり、カスケード接続されたＭＣＵの端末によって送信されるオーディオデータは、そのような端末に直接送信されてもよい。したがって、カスケード接続されたＭＣＵの数にかかわらず、たった１回のオーディオ符号化動作とたった１回のオーディオ復号動作しか必要とされない。例えば、図１１において、端末１と端末２は異なるオーディオプロトコルをサポートしており、端末３は複数のオーディオ論理チャネルをサポートしている。カスケード接続されたＭＣＵ＿ＡとＭＣＵ＿Ｂの間に、３台の端末に対応するカスケード接続呼の３つのチャネルがセットアップされている。したがって、端末１と端末２は独自のオーディオデータを符号化し、その符号化データをＭＣＵ＿Ａに送信する。ＭＣＵ＿Ａは、カスケード接続呼１を介してＭＣＵ＿Ｂに端末１のオーディオデータを送信し、カスケード接続呼２を介してＭＣＵ＿Ｂに端末２のオーディオデータを送信する。ＭＣＵ＿Ｂは、オーディオデータの２つのチャネルをパケットにカプセル化し、それらのパケットを端末３に送信する。端末３は、オーディオパケットを復号する。] 図１１
[0088] 各端末が異なる種類のオーディオプロトコルをサポートしているとき、送信側のＭＣＵは、送信側の端末のためのオーディオ符号器を作成し、受信側のＭＣＵは、カスケード式に送信されたオーディオデータの複数の受信チャネルを復号し、オーディオ混合符号化を行い、そのデータを復号のために受信側の端末に送信する。受信側のＭＣＵは、受信側の端末のためのオーディオ復号器を作成する。したがって、カスケード接続されたＭＣＵの数にかかわらず、オーディオパケットは、送信側のＭＣＵと受信側のＭＣＵを除くＭＣＵ間で伝送される間にいかなる符号化操作も復号操作も受けなくてよい。全カスケード接続送信のオーディオ処理が、たった２回の符号化／復号の動作しか必要としない。例えば、図１１において、端末１、端末２、および端末３は、異なるオーディオプロトコルをサポートしている。カスケード接続されたＭＣＵ＿ＡとＭＣＵ＿Ｂの間には、３台の端末に対応するカスケード接続呼の３つのチャネルがセットアップされている。したがって、端末１と端末２は独自のオーディオデータを符号化し、その符号化データをＭＣＵ＿Ａに送信する。ＭＣＵ＿Ａは、カスケード接続呼１を介してＭＣＵ＿Ｂに端末１のオーディオデータを送信し、カスケード接続呼２を介してＭＣＵ＿Ｂに端末２のオーディオデータを送信する。ＭＣＵ＿Ｂは、受信したオーディオデータの２つのチャネルを復号し、オーディオ混合を行い、そのデータを、端末３のオーディオプロトコルに対応するオーディオデータに符号化し、その符号化オーディオデータを端末３に送信する。端末３は、オーディオデータを受信した後で、サポートされるオーディオプロトコルに従ってそのオーディオデータを復号する。] 図１１
[0089] 本発明の方法の実施形態を踏まえると、サービス動作プラットフォームがＭＣＵをスケジュールするときに、端末との能力ネゴシエーションによって獲得される能力情報に従って、適正なＭＣＵ連結方式を自動的に選択することができる。例えば、カスケード接続会議では、すべての端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている場合、サービス動作プラットフォームは、マルチチャネル分離オーディオ・コーデック・プロトコルのカスケード接続会議を自動的にスケジュールし、すべての端末が複数のオーディオ論理チャネルをサポートしている場合、サービス動作プラットフォームは、複数のオーディオ論理チャネルのカスケード接続会議を自動的にスケジュールし、端末の中に、マルチチャネル分離オーディオ・コーデック・プロトコルをサポートしているものと、通常の端末とがある場合、サービス動作プラットフォームは、マルチチャネル分離オーディオ・コーデック・プロトコルの端末と他のオーディオプロトコルの端末が関与するマルチチャネル呼カスケード接続会議を自動的にチャネルし、端末の中に、複数のオーディオ論理チャネルをサポートしているものと、通常の端末とがある場合、サービス動作プラットフォームは、自動的にすべてのオーディオプロトコルが関与するカスケード接続サイトをスケジュールする。単一ＭＣＵの会議では、すべての端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている場合、サービス動作プラットフォームは、マルチチャネル分離オーディオ・コーデック・プロトコルの単一ＭＣＵ会議を自動的にスケジュールし、すべての端末が複数のオーディオ論理チャネルをサポートしている場合、サービス動作プラットフォームは、複数のオーディオ論理チャネルの単一ＭＣＵ会議を自動的にスケジュールする。]
[0090] 本発明の一実施形態では、本明細書で開示されるオーディオ処理の方法に対応するオーディオ処理システムが提供される。]
[0091] 図１３は、本発明の一実施形態におけるオーディオ処理システムのブロック図である。] 図１３
[0092] このシステムは、少なくとも１台の制御サーバ１３１０と、複数の端末１３２０とを含む。]
[0093] 制御サーバ１３１０は、能力ネゴシエーションによって端末のオーディオ能力を獲得し、オーディオ能力に従って各端末に符号化オーディオデータを転送するように適合されている。]
[0094] 端末１３２０は、制御サーバにアクセスし、受信したオーディオデータを復号し、オーディオデータを自動的に混合し、そのデータを再生するように適合されている。]
[0095] 本発明の一実施形態では、本明細書で開示されるオーディオ処理の方法およびオーディオ処理システムに対応する制御サーバが提供される。この制御サーバは、
能力ネゴシエーションによって端末のオーディオ能力を獲得するように適合された獲得ユニット１４１０と、]
[0096] オーディオ能力に従って各端末に符号化オーディオデータを転送するように適合された転送ユニット１４２０と、
を含む。]
[0097] さらに、オーディオデータの複数のチャネルが選択され、次にオーディオ論理チャネルで転送されるオーディオパケットにカプセル化される（すなわち、獲得ユニット１４１０によって獲得されたオーディオ能力がマルチチャネル分離オーディオ・コーデック・プロトコルのサポートを示す）場合、転送ユニット１４２０は（図１４には示されていないが）、
オーディオデータの容量に従ってオーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
複数の端末の個別チャネル内のオーディオデータを抽出するように適合された取得ユニットと、
抽出されたオーディオデータをパケットにカプセル化し、次いで、そのパケットを、オーディオ論理チャネルを介して各端末に送信するにように適合された送信ユニットと、
を含む。] 図１４
[0098] オーディオデータの複数のチャネルが選択され、次にオーディオ論理チャネルで転送されるオーディオパケットにカプセル化される（すなわち、獲得ユニット１４１０によって獲得されたオーディオ能力がマルチチャネル分離オーディオ・コーデック・プロトコルのサポートを示す）場合であり、制御サーバが複数のカスケード接続された制御サーバの中の送信側制御サーバである場合、転送ユニット１４２０は（図１４には示されていないが）、
オーディオデータの容量に従ってオーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
複数の端末の個別チャネル内のオーディオデータを抽出するように適合された取得ユニットと、
抽出されたオーディオデータをパケットにカプセル化し、次いでそのパケットを、カスケード式にオーディオ論理チャネルを介して受信側制御サーバに送信するように適合された送信ユニットと、
を含む。] 図１４
[0099] オーディオデータの複数のチャネルが選択され、次にオーディオ論理チャネルで転送されるオーディオパケットにカプセル化される場合であり、制御サーバが複数のカスケード接続された制御サーバの中の受信側制御サーバである場合、転送ユニット１４２０は（図１４には示されていないが）、
容量に従い、送信側制御サーバによって送信されたオーディオデータの代わりの受信側のオーディオデータを選択するように適合された選択ユニットと、
置換されたオーディオデータをパケットにカプセル化し、次いでそのパケットを、オーディオ論理チャネルを介して各端末に送信するように適合された送信ユニットと、
を含む。] 図１４
[0100] オーディオデータの複数のチャネルが複数のオーディオ論理チャネルで転送される（すなわち、獲得ユニット１４１０によって獲得されたオーディオ能力が複数のオーディオ論理チャネルのサポートを示す）場合、転送ユニット１４２０は（図１４には示されていないが）、
オーディオデータの容量に従ってオーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
複数の端末のオーディオデータを、複数のオーディオ論理チャネルを介して各端末に直接送信するように適合された送信ユニットと
を含む。] 図１４
[0101] オーディオデータの複数のチャネルが複数のオーディオ論理チャネルで転送される（すなわち、獲得ユニット１４１０によって獲得されたオーディオ能力が複数のオーディオ論理チャネルのサポートを示す）場合であり、制御サーバが、複数のカスケード接続された制御サーバの中の送信側制御サーバである場合、転送ユニット１４２０は（図１４には示されていないが）、
オーディオデータの容量に従ってオーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
複数の端末のオーディオデータを、カスケード式に複数のオーディオ論理チャネルを介して受信側制御サーバに送信するように適合された送信ユニットと、
を含む。] 図１４
[0102] オーディオデータの複数のチャネルが複数のオーディオ論理チャネルで転送され、制御サーバが、複数のカスケード接続された制御サーバの中の受信側制御サーバである場合、転送ユニット１４２０は（図１４には示されていないが）、
容量に従い、送信側制御サーバによって送信されたオーディオデータの代わりの受信側のオーディオデータを選択するように適合された選択ユニットと、
置換されたオーディオデータを、複数のオーディオ論理チャネルを介して各端末に直接送信するように適合された送信ユニットと、
を含む。] 図１４
[0103] 制御サーバが、カスケード接続された複数の呼のチャネルのための複数の制御サーバの中の送信側制御サーバである場合、転送ユニット１４２０は（図１４には示されていないが）、
オーディオデータの容量に従ってオーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
複数の端末のオーディオデータを、カスケード式に、各端末に対応するオーディオ・プロトコル・ポートから受信側制御サーバの対応するポートに送信するように適合された送信ユニットと、
を含む。] 図１４
[0104] 制御サーバが、カスケード接続された複数の呼のチャネルのための複数の制御サーバの中の受信側制御サーバである場合、転送ユニット１４２０は（図１４には示されていないが）、
容量に従い、送信側制御サーバから受け取られたオーディオデータと当該受信側のオーディオデータの中から、オーディオ混合のためのオーディオデータの複数のチャネルを選択するように適合された選択ユニットと、
オーディオデータの複数のチャネルのためのオーディオ混合を行い、そのデータを各端末に送信するように適合された送信ユニットと、
を含む。] 図１４
[0105] オーディオデータを受信する端末が、マルチチャネル分離オーディオ・コーデック・プロトコルも複数のオーディオ論理チャネルもサポートしていない場合、制御サーバはさらに、端末のためのオーディオ混合および符号化のリソースを作成するように適合された作成ユニットを含んでいてもよい。この場合、転送ユニット１４２０は（図１４には示されていないが）、
事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、
リソースによってオーディオデータを復号し、オーディオ混合符号化を行い、データを端末に送信するように適合された送信ユニットと、
を含む。] 図１４
[0106] 以上の各実施形態において、制御サーバが、容量に従ってオーディオ混合のための端末を選択することは注目に値する。実際には、オーディオ混合のための端末は、他の事前設定ポリシに従って、例えば、端末の呼識別子に従って（特殊な識別子の端末が選択されるべき端末である）、あるいは端末の呼の順序に従って（より早く発呼する端末が選択されるべき端末である）選択され得る。]
[0107] 本発明の各実施形態では、オーディオデータは、オーディオデータが制御サーバを通過するたびにオーディオ符号化／復号の操作を受けなくてもよく、制御サーバによって行われる必要のある符号化／復号操作回数が大幅に低減される。特に、ただ１台の制御サーバしか存在しない場合、端末間のオーディオ遅延は、ネットワーク伝送、送信側端末の符号化、および受信側端末の復号からしか生じず、制御サーバは、オーディオデータのパケットの抽出および再アセンブルだけを行う。したがって、遅延はごくわずかであり、端末間の対話の実時間が改善され、制御サーバによるオーディオ・コーデック・リソースの占有が軽減され、費用が低減される。制御サーバによる符号化／復号の操作回数が低減されることに基づいて、複数のオーディオチャネルが混合され、本発明による技術的解決法は、既存の標準プロトコルに基づく制御サーバに高適合し、テレビ会議や電話会議といった通信分野に広く適用できる。]
[0108] 当業者は、本発明の各実施形態における方法の各ステップの全部または一部が、関連するハードウェアに命令を与えるプログラムによって実施され得ることを理解するはずである。このプログラムは、コンピュータ可読記憶媒体に記憶されていてもよい。プログラムが実行されると、端末が制御サーバにアクセスした後で、制御サーバが能力ネゴシエーションによって端末のオーディオ能力を獲得し、制御サーバがオーディオ能力に従って各端末に符号化オーディオデータを転送するという各ステップが行われる。記憶媒体は、ＲＯＭ／ＲＡＭ、磁気ディスク、ＣＤ−ＲＯＭとすることができる。]

权利要求:

請求項1
制御サーバが、前記制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信すること、前記制御サーバが、各端末と能力ネゴシエーションを行って各端末のオーディオ能力を獲得すること、および前記制御サーバが、前記オーディオ能力に従って、各端末に、前記符号化オーディオデータから抽出されたオーディオデータを転送すること、を含むオーディオ処理の方法。
請求項2
前記制御サーバは、前記オーディオ能力に従って、すべての端末がマルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている場合、前記制御サーバが、前記オーディオデータの中からカプセル化のためのオーディオデータの複数のチャネルを選択し、前記カプセル化されたデータを、オーディオ論理チャネルを介して各端末に送信するモードと、すべての端末が複数のオーディオ論理チャネルをサポートしている場合、前記制御サーバが、前記オーディオデータの中からオーディオデータの複数のチャネルを選択し、前記選択されたオーディオデータを、前記複数のオーディオ論理チャネルを介して各端末に送信するモードと、のどちらかで各端末に前記抽出されたオーディオデータを転送する請求項１に記載の方法。
請求項3
ただ１台の制御サーバしか存在しない場合、前記制御サーバは、前記オーディオ能力に従って、前記制御サーバにアクセスする各端末に、前記符号化オーディオデータから抽出された前記オーディオデータを転送し、複数の制御サーバがカスケード接続されている場合、前記制御サーバは、前記オーディオ能力に従ってカスケード式に前記データを送信し、前記送信側制御サーバは、前記送信側制御サーバにアクセスする各端末によって送信された前記符号化オーディオデータを受信し、各端末によって送信された前記符号化オーディオデータからオーディオデータを抽出し、前記オーディオデータを前記受信側制御サーバに送信し、次いで前記受信側制御サーバは、前記抽出されたオーディオデータを、前記受信側制御サーバにアクセスする各端末に転送する、請求項２に記載の方法。
請求項4
ただ１台の制御サーバしか存在せず、前記端末が前記マルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている場合、前記制御サーバが、前記オーディオデータの中からカプセル化のためのオーディオデータの前記複数のチャネルを選択すること、および前記カプセル化されたデータを、前記オーディオ論理チャネルを介して各端末に送信することは、前記制御サーバが、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択すること、前記制御サーバが、前記複数の端末の個別チャネル内のオーディオデータを取得すること、および前記制御サーバが、前記抽出されたオーディオデータをパケットにカプセル化し、次いで前記パケットを、前記オーディオ論理チャネルを介して各端末に送信すること、を含む請求項３に記載の方法。
請求項5
複数の制御サーバがカスケード接続されており、前記端末が前記マルチチャネル分離オーディオ・コーデック・プロトコルをサポートしている場合、前記制御サーバが、前記オーディオデータの中からカプセル化のためのオーディオデータの前記複数のチャネルを選択すること、および前記カプセル化されたデータを、前記オーディオ論理チャネルを介して各端末に送信することは、前記送信側制御サーバが、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択すること、前記複数の端末の個別チャネル内のオーディオデータを取得すること、前記抽出されたオーディオデータをパケットにカプセル化し、前記パケットを前記カスケード式に前記受信側制御サーバに送信すること、前記受信側制御サーバが、前記事前設定ポリシに従い、前記送信側制御サーバによって送信された前記オーディオデータの代わりの受信側のオーディオデータを選択すること、および前記置換されたオーディオデータをパケットにカプセル化し、前記パケットを、前記オーディオ論理チャネルを介して各端末に送信すること、を含む請求項３に記載の方法。
請求項6
前記オーディオデータの前記カプセル化は、異なるチャネル内のオーディオデータを抽出し、前記抽出されたオーディオデータをオーディオパケットに一体化すること、または前記異なるチャネル内の前記オーディオデータのための別々のカプセル化を直接行うこと、を含む請求項４または５に記載の方法。
請求項7
ただ１台の制御サーバしか存在せず、前記端末が複数のオーディオ論理チャネルをサポートしている場合、前記制御サーバが、前記オーディオデータの中からオーディオデータの前記複数のチャネルを選択すること、および前記オーディオデータを、複数のオーディオ論理チャネルを介して各端末に送信することは、前記制御サーバが、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択すること、および前記複数の端末の前記オーディオデータを、前記複数のオーディオ論理チャネルを介して各端末に直接送信すること、を含む請求項３に記載の方法。
請求項8
複数の制御サーバがカスケード接続されており、前記端末が複数のオーディオ論理チャネルをサポートしている場合、前記制御サーバが、前記オーディオデータの中からオーディオデータの前記複数のチャネルを選択すること、および前記オーディオデータを、複数のオーディオ論理チャネルを介して各端末に送信することは、前記制御サーバが、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択すること、および前記複数のチャネルの前記オーディオデータを、前記カスケード式に前記受信側制御サーバに送信すること、前記受信側制御サーバが、前記事前設定ポリシに従い、前記送信側制御サーバによって送信された前記オーディオデータの代わりの受信側オーディオデータを選択すること、および前記置換されたオーディオデータを、前記複数のオーディオ論理チャネルを介して各端末に直接送信すること、を含む請求項３に記載の方法。
請求項9
複数のカスケード接続された制御サーバ間に複数の呼のチャネルが多数存在し、前記制御サーバが、前記オーディオ能力に従って、各端末に前記符号化オーディオデータから抽出された前記オーディオデータを転送することは、前記送信側制御サーバが、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択すること、前記複数の端末の前記オーディオデータを、前記カスケード式に前記端末に対応するオーディオ・プロトコル・ポートから、前記受信側制御サーバの対応するポートに送信すること、前記受信側制御サーバが、前記事前設定ポリシに従い、前記受信したオーディオデータと当該受信側のオーディオデータの中から、オーディオ混合のためのオーディオデータの複数のチャネルを選択すること、および前記オーディオデータの前記複数のチャネルのためのオーディオ混合を行い、前記データを各端末に送信すること、を含む請求項３に記載の方法。
請求項10
前記事前設定ポリシは、前記オーディオデータの容量、前記端末の呼識別子、または前記端末の呼の順序とすることができる請求項４、５、７、８、または９に記載の方法。
請求項11
前記端末が前記マルチチャネル分離オーディオ・コーデック・プロトコルも複数のオーディオ論理チャネルもサポートしていない場合、前記制御サーバが、前記端末のためのオーディオ混合および符号化のリソースを作成することをさらに含み、前記制御サーバが、前記オーディオ能力に従って、前記符号化オーディオデータから抽出された前記オーディオデータを各端末に転送することは、前記制御サーバが、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択すること、および前記オーディオデータを前記リソースによって復号し、オーディオ混合符号化を行い、次いで前記オーディオデータを前記端末に送信すること、を含む請求項３に記載の方法。
請求項12
少なくとも１台の制御サーバと複数の端末とを備えるオーディオ処理システムであって、前記制御サーバは、前記制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信し、各端末と能力ネゴシエーションを行って各端末のオーディオ能力を獲得し、前記オーディオ能力に従って、各端末に前記符号化オーディオデータから抽出されたオーディオデータを転送するように適合されており、前記端末は、前記制御サーバにアクセスし、前記受信したオーディオデータを復号し、前記オーディオデータを自動的に混合し、前記オーディオデータを再生するように適合されている、システム。
請求項13
制御サーバにアクセスする各端末によって送信された符号化オーディオデータを受信し、各端末と能力ネゴシエーションを行って各端末のオーディオ能力を獲得するように適合された獲得ユニットと、前記オーディオ能力に従って、各端末に、前記符号化オーディオデータから抽出されたオーディオデータを転送するように適合された転送ユニットと、を備える制御サーバ。
請求項14
前記獲得ユニットによって獲得された前記オーディオ能力が、マルチチャネル分離オーディオ・コーデック・プロトコルのサポートを示す場合、前記転送ユニットは、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、前記複数の端末の個別チャネル内のオーディオデータを抽出するように適合された取得ユニットと、前記抽出されたオーディオデータをパケットにカプセル化し、次いで前記パケットを、オーディオ論理チャネルを介して各端末またはカスケード接続されたポートに送信するように適合された送信ユニットと、を備える請求項１３に記載の制御サーバ。
請求項15
前記獲得ユニットによって獲得された前記オーディオ能力が、マルチチャネル分離オーディオ・コーデック・プロトコルのサポートを示し、前記制御サーバが複数のカスケード接続された制御サーバの中の送信側制御サーバである場合、前記転送ユニットは、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、前記複数の端末の個別チャネル内のオーディオデータを抽出するように適合された取得ユニットと、前記抽出されたオーディオデータをパケットにカプセル化し、次いで前記パケットを、カスケード式にオーディオ論理チャネルを介して受信側制御サーバに送信するように適合された送信ユニットと、を備える請求項１３に記載の制御サーバ。
請求項16
前記獲得ユニットによって獲得された前記オーディオ能力が、複数のオーディオ論理チャネルのサポートを示す場合、前記転送ユニットは、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、前記複数の端末の前記オーディオデータを、前記複数のオーディオ論理チャネルを介して各端末に直接送信するように適合された送信ユニットと、を備える請求項１３に記載の制御サーバ。
請求項17
前記獲得ユニットによって獲得された前記オーディオ能力が、複数のオーディオ論理チャネルのサポートを示し、前記制御サーバが複数のカスケード接続された制御サーバの中の送信側制御サーバである場合、前記転送ユニットは、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、前記複数の端末の前記オーディオデータを、カスケード式に前記複数のオーディオ論理チャネルを介して受信側制御サーバに送信するように適合された送信ユニットと、を備える請求項１３に記載の制御サーバ。
請求項18
前記制御サーバが、カスケード接続呼の複数のチャネルのための送信側制御サーバである場合、前記転送ユニットは、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、前記複数の端末の前記オーディオデータを、カスケード式に、前記端末に対応するオーディオ・プロトコル・ポートから、受信側制御サーバの対応するポートに送信するように適合された送信ユニットと、を備える請求項１３に記載の制御サーバ。
請求項19
前記端末のためのオーディオ混合および符号化のリソースを作成するように適合されている作成ユニットをさらに備え、前記転送ユニットは、事前設定ポリシに従って、オーディオ混合のための複数の端末のオーディオデータを選択するように適合された選択ユニットと、前記リソースによって前記オーディオデータを復号し、オーディオ混合符号化を行い、次いで前記オーディオデータを前記端末に送信するように適合された送信ユニットと、を備える請求項１３に記載の制御サーバ。