Discuss Scratch

Japan-Scratcher
Scratcher
35 posts

合成音声で遊ぼう

https://scratch.mit.edu/projects/800516871/
ローマ字で入れても、機能することがわかりました。ちなみに https://scratch.mit.edu/projects/800516871 では、へんな声を出させる為に韓国語にしています。
jojo_jp
Scratcher
10 posts

合成音声で遊ぼう

合成音声自分で作れへんのかなぁ
tomato-0809
Scratcher
100+ posts

合成音声で遊ぼう

合成音声を作るのは非現実的なほど難しいと思います。
おそらく、作るとなったら
  1. 音の高さごとに音声データを用意
  2. 文章を学習
  3. 文章に合わせて音の高さ (イントネーション) を計算させる
  4. 計算したとおりに音声データを再生
といったものになるでしょう。実際はもっと複雑かもしれませんが、基本はこんな感じです。

合成音声とはかけ離れていますかもしれませんが、
これも、見方によっては、合成音声と言えるかもしれません。
これ自体、「はち ひゃく しち じゅう ひき」のような結果になるので、まだまだ改良できるでしょうが、一応紹介しておきます。

newmomizi_txt
Scratcher
1000+ posts

合成音声で遊ぼう

#105
「Scratchのプログラムで自作する」という意味なら、非常に難しいですね。
もし「自分の声の合成音声を作りたい」というだけなのであれば、CoeFontなどを使用することで作成が可能です。
KimiruHamiru
New Scratcher
500+ posts

合成音声で遊ぼう

「Scratchでできるかどうか」ということで、あくまで参考まで、ですが、
シンセサイザーという意味での音声合成では、こんなプロジェクト
https://scratch.mit.edu/projects/556973360/
があります。
プロジェクト内に音楽的な意味での音声ファイルはもっておらず、
数値データに一度落としたものをサイン波の合成で再生しているようです。
jojo_jp
Scratcher
10 posts

合成音声で遊ぼう

一応参考まで、という感じですが、
開発中のGainen v1というものがあります。
https://scratch.mit.edu/projects/897836708/
jojo_jp
Scratcher
10 posts

合成音声で遊ぼう

jojo_jp wrote:

合成音声自分で作れへんのかなぁ
というのに追加質問です。
これはUTAU音源を使えば頑張れば喋らせられるものなんですかね?
表情くん、Gainenはそれっぽい感じですが。
Scratchで再現できますかね?
newmomizi_txt
Scratcher
1000+ posts

合成音声で遊ぼう

#107
最近の音声合成ソフトはディープラーニングを使用して音声を生成しているみたいですが、これをScratchでやるのは色々と無理がありますね。

まず第一段階として、「あ」「い」「う」「え」…の五十音の声を全て収録し、うまい具合につなげてみましょう。
イントネーションは滅茶苦茶ですが、最低限音声合成システムとしては機能します。

次に、いくつか単語を登録してみましょう。
「今日」「私」など、よく使われるような単語を収録して用意しておけば、若干ですがイントネーションは改善されます。

Last edited by newmomizi_txt (Oct. 3, 2023 03:40:20)

KimiruHamiru
New Scratcher
500+ posts

合成音声で遊ぼう

jojo_jp wrote:

jojo_jp wrote:

合成音声自分で作れへんのかなぁ
というのに追加質問です。
これはUTAU音源を使えば頑張れば喋らせられるものなんですかね?
表情くん、Gainenはそれっぽい感じですが。
Scratchで再現できますかね?

「音声合成が」できる/できないの話
としては、私からすると、
jojo_jpさんのプロジェクト( https://scratch.mit.edu/projects/901500028/ とか)を
すでに実装された実例」として

合成音声自分で作れへんのか=>作れます
UTAU音源を使えば頑張れば喋らせられるものなんですかね?=>しゃべらせられます
Scratchで再現できますかね=>再現できます

と答えちゃうところです。
(他人が見て遊ぶ(理解して操作する)ということを考えると、現状ではUIに不満はあります)



最終的に「万能音声合成エンジン」を想定するにしても
現状で、

UTAU-SynthにせよVocaoid Editorにせよ、
VOICEROIDにせよCeVIO AIにせよAquesTalkにせよ
どんなソフトも何でもできるわけでもないと思う

ので
「自作ソフトを市販品の具体例と比較して、何が足りない、何が不満、と自分は思うのか」とか
「今ある市販品に、何が足りない、何が不満、と自分は思うのか」とか
辺りから、ひとつひとつ言葉にして共有していくと、具体的な実現性やら改造やらの話になっていくのかなと思います。
KimiruHamiru
New Scratcher
500+ posts

合成音声で遊ぼう

参考になるかわかりませんが、「UI」と「生成音」については、
「触ってれば動かし方はわかるかも」+「案外それっぽい」
という音声合成プロジェクトとしてはこんなのがあります。

Remix:アルテさんRT a
https://scratch.mit.edu/projects/420695340/
テキスト入力後に画面上のキーボードで歌わせられる。しゃべることは想定していない。

Remix:読み上げソフト
https://scratch.mit.edu/projects/398303440/
アクセント辞書はないのでランダム。それでも案外それっぽい。
歌うことは想定していないが、コードを書けば歌わせられないこともない。

制限事項はあるかと思いますがこれらで使っているのは基本的に「UTAU音源相当の音源」と考えてよいと思います。


楽譜(ピアノロール)関係のUIは、音声合成と関係なく作られた(かなりすごい)プロジェクトが多くあると思うので、「このレベルのものがScratchで作れる」という確信を得る目的で、音声合成関係なく探してみるのもよいかなと思います。
jojo_jp
Scratcher
10 posts

合成音声で遊ぼう

KimiruHamiru wrote:

参考になるかわかりませんが、「UI」と「生成音」については、
「触ってれば動かし方はわかるかも」+「案外それっぽい」
という音声合成プロジェクトとしてはこんなのがあります。

Remix:アルテさんRT a
https://scratch.mit.edu/projects/420695340/
テキスト入力後に画面上のキーボードで歌わせられる。しゃべることは想定していない。

Remix:読み上げソフト
https://scratch.mit.edu/projects/398303440/
アクセント辞書はないのでランダム。それでも案外それっぽい。
歌うことは想定していないが、コードを書けば歌わせられないこともない。

制限事項はあるかと思いますがこれらで使っているのは基本的に「UTAU音源相当の音源」と考えてよいと思います。


楽譜(ピアノロール)関係のUIは、音声合成と関係なく作られた(かなりすごい)プロジェクトが多くあると思うので、「このレベルのものがScratchで作れる」という確信を得る目的で、音声合成関係なく探してみるのもよいかなと思います。
参考になりました!ありがとうございます!
AverageRainyCastform
Scratcher
100+ posts

合成音声で遊ぼう

もうすぐAI音声搭載されると思か?!? (ノ◕ヮ◕)ノ*.
baseyuas
Scratcher
1 post

合成音声で遊ぼう

音声合成で遊んでて発覚したんですが文字のあとに↑とか↓とかを入れると音程が変わるというのを見つけたんですが、これってこの↑とか↓とか以外に音程を変えられる等のある種隠し要素みたいなやつとかってないのでしょうか?あったら教えていただきたいです!(読みにくくてすみません)

Last edited by baseyuas (Nov. 1, 2023 07:15:48)

OryzaeA
Scratcher
100+ posts

合成音声で遊ぼう

baseyuas wrote:

音声合成で遊んでて発覚したんですが文字のあとに↑とか↓とかを入れると音程が変わるというのを見つけたんですが、これってこの↑とか↓とか以外に音程を変えられる等のある種隠し要素みたいなやつとかってないのでしょうか?あったら教えていただきたいです!(読みにくくてすみません)

文末に?とか。。
honnkon
Scratcher
62 posts

合成音声で遊ぼう

https://synthesis-service.scratch.mit.edu/synth?locale=(言語)&gender=(声)&text=(いう言葉)
のgenderについて調べてみました

アルト➤female
テノール➤male

と、ここまではいいのですが、

ねずみ➤female
巨人➤male

となっていて、子猫に至っては
(?より後)locale=en-US&gender=female&text=meow( meow meow …)
になっていました。
これは、特殊な方法でないと、ねずみと巨人と子猫(いらない)の声は取得できないという事に近いです。
もう話の中で出ていたらすみません
kouryou118103
Scratcher
1000+ posts

合成音声で遊ぼう

https://ja.scratch-wiki.info/w/index.php?curid=3473
によると、「アルトとテノールはAPIからの値を無処理で、その他は加工して再生する」ようです
abee
Scratcher
1000+ posts

合成音声で遊ぼう

その記事には出典も根拠も示されていません。
こちらも参考にしてみてください。
KimiruHamiru
New Scratcher
500+ posts

合成音声で遊ぼう

技術屋の調べものは
「動いているもの、見えるもの」を相手にして
「叩いて反応を見て仕組みを考える(ハックする)」方法
とは別のアプローチもあって、たとえば

「Scratchの音声合成拡張機能」を追加しようとすると表示される画面には
「協力 Amazon Web Services」とあります。

「Amazon Web Services 音声合成」でGoogle検索等を行うと、
「Amazon Polly」というサービスの情報にたどり着けます。
「Amazon Web Services」で提供されている「音声合成」機能が、ほかにもある可能性もなくはないですが、

「Amazon Polly」のドキュメント
https://docs.aws.amazon.com/polly/latest/dg/what-is.html
を調べることは、「Scratchの音声合成拡張機能」について調べるヒントになることは多いかなと思います。

多分、「対応言語」や「音声の種類」などの情報は、拾える(このパターンはPollyで提供されていない、という確認はできる)、かなと思います。というか、以前調べた時点( https://scratch.mit.edu/projects/314557767/ を書いたころ)には拾えました。ただ、Web Serviceの性質上、更新が早いと思われるので、趣味で調べる(もっと言えば、数年前、数か月前、数週間前に調べたことが今も正しいと確信が持てるように、調べ続ける)のはかなり厳しいと思われます。
aiueomk2
Scratcher
19 posts

合成音声で遊ぼう

yu-tatta wrote:

今思いましたが、
声を [子猫 v] にする ::pen
って完全にネタブロックですよね?w
合成音声は、「音量」の値に左右されずに音を出すことができます。
それを生かし、「音量が0でも猫の鳴き声を出すことができる」という唯一無二の特性を持ちます。
とはいえ、その特性が生かされる機会は少ないので、やはりネタブロックとしての側面が強いと思います。
U-Y-Scratch
Scratcher
500+ posts

合成音声で遊ぼう

スペイン語で日本語を読ませると、英語よりなんか近い。

Powered by DjangoBB