SPECIAL PRIZE
Bird Language
Category : GENERAL
By Helena Nikonole + Credits: Veronica Samotskaya, Natalia Soboleva, Konstantin Yakovlev, Nikita Prudnikov (ロシア)
ヘレナ・ニコノレ(Helena Nikonole)
メディアアーティスト、キュレーター、教育者であり、人工知能やIoTなどのアートとテクノロジーの交わる点を探求しています。ヘレナ・ニコノレによると、機械学習などのテクノロジーの潜在的可能性(および潜在的リスク)の芸術的探求は、現代の技術的に、またメディアにより決められた世界の文脈を理解するために必要です。アート&サイエンス、アートにおけるニューラルネットワーク、ニューメディアアートの分野で、ロドチェンコ・アートスクール(モスクワ)、アート・ラボラトリー(ベルリン)、ムテク・フェスティバル(モントリオールと東京)、哲学研究所(Institute of Philosophy、ロシア科学アカデミー)、イノポリス大学(イノポリス)、国立現代芸術センター( National Centre for Contemporary Arts、モスクワ)などのさまざまな機関で、講義とワークショップを行っています。
展覧会歴:
アルス・エレクトロニカ(Ars Electronica)2019での「Out of the Box」、CTMフェスティバルのフレームでの「持続的なリアリティー(Persisting Realities)」(ドイツ、ベルリンのクンストラムクロイツベルク)、「オープン・コード(Open Codes)」、ドイツ、カールスルーエのZKMアート・アンド・メディアセンター、「The Wrong –新しいデジタルアートビエンナーレ」、「新しいコードアート」、エレクトロミュージアム(ELECTROMUSEUM、VIモスクワ・ビエンナーレ・オブ・コンテンポラリー・アート)、IARガレージミュージアムモスクワ、「Earth Lab」(ポリテクニック・ミュージアム、The Polytechnic Museumとアルス・エレクトロニカ・センター・コラボレーションプロジェクト)、「101」メディアポエトリー(Mediapoetry)フェスティバル(サンクトペテルブルク)等
Credits:
-Veronica Samotskaya
ornithologist, scientist-biologist, science popularizer, journalist
-Natalia Soboleva
AI expert
-Konstantin Yakovlev
PhD in Physics and Mathematics, AI expert
-Nikita Prudnikov
musician, developer, AI expert
私たちは鳥の言語構造を理解するため、汎用ツールを作り出しました。人間の言葉から鳥の言葉へ翻訳することができその逆も可能です。言い換えれば、鳥の言葉の翻訳者とテキスト音声があります。
モチベーションとなったのは、人類中心の世界のパラダイムでしたが、そこは動物や鳥のような人間以外のものを理解できるところでもあります。インスピレーションは、ヤコブ・ヨハン・フォン・ウックスクエルのUmweltという概念から得ました。それは存在する体験的な世界で知覚的環境です。
私は、非人間的なエージェントとしての人工知能が、鳥やまた非人間的なエージェントを理解するのを助け得るというアイデアに刺激を受けたのです。この場合は、AIが人間と鳥との仲介者やインターフェイスであるだけでなく、より記号的にアクティブな器官や完全なパートナーであると言えます。 言語を通して鳥の主観性を理解するのに役立ちます。
私たちは、ヨーロッパからアジアにかけて最も広まっている種類の1つでもある、シジュウカラを扱い始めました。
私たちが最初に利用した機械学習アプローチは、決定木アルゴリズムを強化したXGBoostです。鳥の標識を2つのグループに分類し、声と歌は83%の精度でしたが、言語の構造を理解する普遍的なツールではありませんでした。
現在は自動エンコーダーに基づく2番目の機械学習アプローチを開発中です。最初に、鳥の音素形状を抽出するため、鳥の言語音声から波形を取得し、自動エンコーダで処理をします。
これらの形状を取得したら、次に2番目の自動エンコーダーを取得、その後にクラスターを表示できるよう音素の形状をフィードします。
これらのクラスターが言語構造を明らかにし、鳥の言語を一連の音素に分解し、これで種間コミュニケーションのAIトランスレーターを構築します。