音風景ブログ

目隠しテストによるエンコーダの音質評価などを行うブログです。

160kbpsでのMP3,AAC他の音質比較

結果

iTunes ≒ aoTuV ≒ Opus > LAME VBR > 午後のこ〜だ > BladeEnc > ffmpeg内蔵エンコーダ(実験段階)

評価

エンコーダ LAME 午後 BladeEnc aoTuV Opus iTunes ffmpeg
リリース年 2010 2004 2001 2011 2011 2010 2011
バージョン 3.98.4 3.13 0.94.2 b6.03 0.11.2 qt7.6.9 r30805
フォーマット MP3 MP3 MP3 OGG Opus AAC AAC
ビットレート VBRv4 160k 160k q4.7 160k 160k 160k
true my heart POPS 4.2 3.6 3.1 5.0 5.0 3.9 2.1
愛があれば大丈夫 POPS 3.8 4.1 3.3 4.0 3.7 4.4 2.9
27-カスタネット ソロ 3.6 3.3 2.3 5.0 4.1 4.5 2.9
拍手 applaud ライブ 4.0 3.4 3.2 3.5 3.6 3.8 2.7
fatboy テクノ 3.8 2.6 2.1 4.3 3.7 4.7 2.9
Tarentella 管楽器 2.6 3.0 3.4 4.3 3.8 5.0 3.3
水瀬さんち 男女声 3.6 3.4 3.2 3.7 5.0 5.0 2.9
Miles Davis ジャズ 3.3 3.6 3.4 5.0 3.9 5.0 2.8
58-ギター 弦楽器 4.2 4.1 2.9 4.4 4.4 4.5 3.6
55-Haydn 管楽器 5.0 5.0 5.0 5.0 5.0 5.0 2.6
41_30sec 打楽器 3.7 2.8 2.1 4.1 3.8 5.0 1.9
finalfantasy 撥弦楽 3.5 3.9 3.1 5.0 5.0 5.0 2.5
ATrain ジャズ 4.3 3.8 3.6 4.5 5.0 5.0 3.9
BigYellow POPS 3.9 3.7 3.6 4.1 5.0 5.0 3.0
FloorEssence テクノ 4.3 3.3 2.7 5.0 5.0 3.7 2.8
macabre オケ 5.0 4.1 5.0 5.0 5.0 5.0 3.8
mybloodrusts 弦楽器 3.6 2.9 3.0 3.9 5.0 4.3 2.7
Quizas ラテン 5.0 4.2 3.2 5.0 5.0 5.0 2.6
VelvetRealm テクノ 3.4 3.5 2.7 4.2 3.2 3.8 2.5
雨降花 POPS 4.0 3.8 2.8 4.3 4.0 5.0 2.5
↑音源 平均点 3.94 3.60 3.19 4.47 4.41 4.63 2.85
実レート平均 162k 155k 154k 162k 155k 159k 156k
全サイズ 6989KB 6979KB 6966KB 6915KB 6957KB 6983KB 7048KB
エンコーダ LAME 午後 BladeEnc aoTuV Opus iTunes ffmpeg

テストに利用した音源を試聴したい方、ダウンロードしたい方、ログを見たい方はこちらへ。
http://zak.s206.xrea.com/bitratetest/main.htm

方法

銘柄に対する先入観が影響しないように、ABC/HR for Java 0.53aを利用して、ランダムに並び替えてから、銘柄も圧縮/非圧縮の区別も伏せて採点した。1=音質劣化が非常に気になる 2=気になる 3=少し気になる 4=原音からの音質変化が分かるが、気にならない 5=音質変化がわからない、区別できない。4.9点以下の評点をつける場合は、ABXテストを20回行い、15回以上(これ以上の成績をまぐれで出す確率は約2%)正解して、違いを聞き取れることを確認してからそうした(2.9以下の場合は省略)。

使用したオプション

携帯動画変換君で、以下のコマンドで一気に処理。

[Item29]
Title=AllSoundTest4 160k
TitleE=AllSoundTest4 160k
Command0=""<%AppPath%>\cores\lame" -h -V 4 "<%InputFile%>" "<%OutputFile%>v4.mp3""
Command1=""<%AppPath%>\cores\gogo" -b 160 "<%InputFile%>" "<%OutputFile%>go160k.mp3""
Command2=""<%AppPath%>\cores\bladeenc" -br 160 "<%InputFile%>" "<%OutputFile%>be160k.mp3""
Command3=""<%AppPath%>\cores\venc603" -q4.7 "<%InputFile%>" "<%OutputFile%>q47.ogg""
Command4=""<%AppPath%>\cores\celtenc" "<%InputFile%>" --bitrate 160 --comp 10 "<%OutputFile%>op160k.oga""
Command5=""<%AppPath%>\cores\qtaacenc" "<%InputFile%>" --abr 160 "<%OutputFile%>qt160k.m4a""
Command6=""<%AppPath%>\cores\ffmpeg30805" -y -i "<%InputFile%>" -strict experimental -acodec aac -ab 160k "<%OutputFile%>ff160k.mp4""

(2012.1.24追記)詳細な優劣の分析を追加と画像を新しく。

詳細な優劣の分析

FRIEDMAN version 1.24 (Jan 17, 2002) http://ff123.net/
Blocked ANOVA analysis

Number of listeners: 20
Critical significance:  0.05
Significance of data: 0.00E+000 (highly significant)
---------------------------------------------------------------
ANOVA Table for Randomized Block Designs Using Ratings

Source of         Degrees     Sum of    Mean
variation         of Freedom  squares   Square    F      p

Total              139         102.14
Testers (blocks)    19          19.91
Codecs eval'd        6          56.36    9.39   41.39  0.00E+000
Error              114          25.87    0.23
---------------------------------------------------------------
Fisher's protected LSD for ANOVA:   0.298

Means:

itunes   aotuv    opus     lame     gogo     blade    ffmpeg
  4.63     4.46     4.41     3.94     3.61     3.18     2.84

---------------------------- p-value Matrix ---------------------------

         aotuv    opus     lame     gogo     blade    ffmpeg
itunes   0.276    0.147    0.000*   0.000*   0.000*   0.000*
aotuv             0.716    0.001*   0.000*   0.000*   0.000*
opus                       0.002*   0.000*   0.000*   0.000*
lame                                0.028*   0.000*   0.000*
gogo                                         0.006*   0.000*
blade                                                 0.026*
-----------------------------------------------------------------------

itunes is better than lame, gogo, blade, ffmpeg
aotuv is better than lame, gogo, blade, ffmpeg
opus is better than lame, gogo, blade, ffmpeg
lame is better than gogo, blade, ffmpeg
gogo is better than blade, ffmpeg
blade is better than ffmpeg

整形済みデータ

lame	gogo	blade	aotuv	opus	itunes	ffmpeg
%feature 7 MP3 MP3 MP3 OGG OPUS AAC AAC
4.2	3.6	3.1	5.0	5.0	3.9	2.1
3.8	4.1	3.3	4.0	3.7	4.4	2.9
3.6	3.3	2.3	5.0	4.1	4.5	2.9
4.0	3.4	3.2	3.5	3.6	3.8	2.7
3.8	2.6	2.1	4.3	3.7	4.7	2.9
2.6	3.0	3.4	4.3	3.8	5.0	3.3
3.6	3.4	3.2	3.7	5.0	5.0	2.9
3.3	3.6	3.4	5.0	3.9	5.0	2.8
4.2	4.1	2.9	4.4	4.4	4.5	3.6
5.0	5.0	5.0	5.0	5.0	5.0	2.6
3.7	2.8	2.1	4.1	3.8	5.0	1.9
3.5	3.9	3.1	5.0	5.0	5.0	2.5
4.3	3.8	3.6	4.5	5.0	5.0	3.9
3.9	3.7	3.6	4.1	5.0	5.0	3.0
4.3	3.3	2.7	5.0	5.0	3.7	2.8
5.0	4.1	5.0	5.0	5.0	5.0	3.8
3.6	2.9	3.0	3.9	5.0	4.3	2.7
5.0	4.2	3.2	5.0	5.0	5.0	2.6
3.4	3.5	2.7	4.2	3.2	3.8	2.5
4.0	3.8	2.8	4.3	4.0	5.0	2.5

注:公開試聴試験での多人数の平均評点と管理人の評点が似たような傾向になることは確認しているので言えるが、ある個人がある再生環境で、ある価値観のもとに聞いたときの評価が、ここに書いた管理人の評価に似るかどうかまでは何とも言えない。また、今回利用した音源とは傾向の異なる音を多くエンコードした場合、結果や順位が異なる可能性があります。