音風景ブログ

目隠しテストによるエンコーダの音質評価などを行うブログです。

AACとWMAの音質比較

概要

AACWMAとMP3の音質比較。AACエンコーダによる差が非常に激しいので、優秀なエンコーダの代表としてqaac、劣悪なエンコーダの代表としてvo-aacencの2種を使用。その他のエンコーダについては他の記事を参照。

iTunesでも使われているAppleのエンジン(Apple Software Support)を借りてエンコードするqaac 1.18Windows XP以降に付属するマイクロソフト謹製のエンジンでエンコードするWMAEncode_0.2.9、言わずと知れたオープンソースのMP3エンコーダ LAME 3.98.4、ビリ基準も兼ねて、最近オープンソースになったVisualOn社のvo-aacenc 0.1.1の計4種を聴いて採点した。

結果

QAAC 192kbps > WMA 192k > QAAC 128k ≒ LAME 192k ≒ WMA 128k > LAME 128k ≒ vo-aac 192k ≒ vo-aac 128k
ただしQAAC 128kbps > WMA 128k(p = 0.025)
Apple社のエンジンを利用したQAACの192kbpsが最も高い評価となり、LAME 128kbps, vo-aac 192kbps, vo-aac 128kbpsが最も低い評価となった。

評価

エンコーダ qaac voaac wmae lame qaac voaac wmae lame
リリース年 2012 2011 2011 2009 2012 2011 2011 2009
バージョン 1.18 0.1.1 0.2.9 398.4 1.18 0.1.1 0.2.9 398.4
フォーマット AAC AAC WMA MP3 AAC AAC WMA MP3
プロファイル LC LC Std. - LC LC Std. -
レート制御 CVBR ABR ABR CBR CVBR ABR ABR CBR
ビットレート 128k 128k 128k 128k 192k 192k 192k 192k
41_30sec 打楽器 3.9 2.6 3.3 2.1 5.0 2.8 3.7 3.3
finalfantasy 撥弦楽 4.4 3.4 4.0 2.9 4.6 3.9 5.0 3.7
ATrain ジャズ 4.6 2.7 4.6 2.3 5.0 2.9 5.0 4.5
BigYellow POPS 3.8 2.8 3.1 2.3 4.7 3.2 4.2 4.0
FloorEssence テクノ 3.4 2.5 3.4 2.5 5.0 2.4 4.1 3.4
macabre オケ 4.6 2.8 5.0 3.4 5.0 2.8 4.7 4.7
mybloodrusts 弦楽器 5.0 2.4 3.9 2.8 5.0 2.4 5.0 3.9
Quizas ラテン 4.1 2.3 3.6 3.1 5.0 2.3 4.3 4.5
VelvetRealm テクノ 3.8 2.5 2.7 3.0 4.5 2.6 3.5 3.2
雨降花 POPS 4.0 2.3 4.4 2.8 5.0 2.3 4.7 5.0
Trust Gosp 3.7 2.8 3.6 3.3 4.3 3.2 4.6 4.1
Waiting ロック 3.8 2.6 3.7 2.8 4.2 2.7 4.6 4.0
Experiencia ラテン 3.8 3.8 3.7 3.5 5.0 2.8 5.0 4.0
HeartToHeart POPS 3.7 3.1 3.5 2.8 4.6 3.5 4.5 3.9
Tom's Diner 女声 4.6 2.7 3.6 3.3 5.0 3.0 4.5 4.1
↑音源 平均点 4.05 2.74 3.73 2.85 4.78 2.83 4.47 4.00
実レート 136k 130k 135k 128k 208k 194k 203k 193k
全サイズ(KB) 5803 5555 5782 5495 8894 8294 8674 8242
エンコーダ qaac voaac wmae lame qaac voaac wmae lame

テストに利用した音源を試聴したい方、ダウンロードしたい方、ログを見たい方はこちらへ。
http://zak.s206.xrea.com/bitratetest/main.htm

方法

銘柄に対する先入観が影響しないように、ABC/HR for Java 0.53aとMHP-A1を利用して、8個の音声ファイルをシャッフルして、銘柄を伏せた状態で聴いて採点した。1.0=音質劣化が非常に気になる 2.0=気になる 3.0=少し気になる 4.0=原音からの音質変化が分かるが、気にならない 5.0=音質変化がわからない、区別できない。4.9点以下の評点をつける場合は、ABXテストを20回行い、15回以上(これ以上の成績をまぐれで出す確率は約2%)正解して、違いを聞き取れることを確認してからそうした(2.9以下の場合は省略)。
同じテストを、SE-DIR800CIIでもう一度行い、平均を求めた。このテストでの採点は、15(音源)×4(エンコーダ)×2(ビットレート)×2(回)=240(回)。

使用したオプション

qaac_1.18 --cvbr 128 -o %outfile% %infile%
ffmpeg36030 -y -i %infile% -acodec libvo_aacenc -ab 128k %outfile%
WMAEncode_0.2.9\WMAEncode64 %infile% %outfile% --bitrate 128
lame3.98.4 -q 0 -b 128 %infile% %outfile%
qaac_1.18 --cvbr 192 -o %outfile% %infile%
ffmpeg36030 -y -i %infile% -acodec libvo_aacenc -ab 192k %outfile%
WMAEncode_0.2.9\WMAEncode64 %infile% %outfile% --bitrate 192
lame3.98.4 -q 0 -b 192 %infile% %outfile%

詳細な優劣の分析

FRIEDMAN version 1.24 (Jan 17, 2002) http://ff123.net/
Blocked ANOVA analysis

Number of listeners: 15
Critical significance:  0.05
Significance of data: 0.00E+000 (highly significant)
---------------------------------------------------------------
ANOVA Table for Randomized Block Designs Using Ratings

Source of         Degrees     Sum of    Mean
variation         of Freedom  squares   Square    F      p

Total              119          88.91
Testers (blocks)    14           8.12
Codecs eval'd        7          65.64    9.38   60.70  0.00E+000
Error               98          15.14    0.15
---------------------------------------------------------------
Fisher's protected LSD for ANOVA:   0.285

Means:

qaac192  wmaen192 qaac128  lame192  wmaen128 lame128  voaac192 voaac128
  4.78     4.47     4.05     4.00     3.73     2.85     2.83     2.74

---------------------------- p-value Matrix ---------------------------

         wmaen192 qaac128  lame192  wmaen128 lame128  voaac192 voaac128
qaac192  0.035*   0.000*   0.000*   0.000*   0.000*   0.000*   0.000*
wmaen192          0.004*   0.001*   0.000*   0.000*   0.000*   0.000*
qaac128                    0.694    0.025*   0.000*   0.000*   0.000*
lame192                             0.063    0.000*   0.000*   0.000*
wmaen128                                     0.000*   0.000*   0.000*
lame128                                               0.889    0.445
voaac192                                                       0.532
-----------------------------------------------------------------------

qaac192 is better than wmaen192, qaac128, lame192, wmaen128, lame128, voaac192, voaac128
wmaen192 is better than qaac128, lame192, wmaen128, lame128, voaac192, voaac128
qaac128 is better than wmaen128, lame128, voaac192, voaac128
lame192 is better than lame128, voaac192, voaac128
wmaen128 is better than lame128, voaac192, voaac128

整形済みデータ

% AAC/WMA/MP3 128/192kbps ABC/HR score
qaac128 voaac128 wmaen128 lame128 qaac192 voaac192 wmaen192 lame192
%qaac vo-aacenc wmaencode lame qaac vo-aacenc wmaencode lame
%features 6 AAC AAC WMA MP3 AAC AAC WMA MP3
%features 7 128kbps 128kbps 128kbps 128kbps 192kbps 192kbps 192kbps 192kbps
3.850	2.600	3.300	2.100	5.000	2.750	3.650	3.300	
4.350	3.400	4.000	2.900	4.600	3.850	5.000	3.700	
4.550	2.700	4.600	2.350	5.000	2.900	5.000	4.500	
3.800	2.800	3.100	2.300	4.650	3.150	4.200	3.950	
3.400	2.450	3.350	2.450	5.000	2.400	4.050	3.350	
4.550	2.750	5.000	3.350	5.000	2.800	4.650	4.650	
5.000	2.350	3.900	2.750	5.000	2.350	5.000	3.900	
4.100	2.300	3.600	3.100	5.000	2.300	4.250	4.450	
3.800	2.450	2.650	2.950	4.450	2.550	3.500	3.200	
3.950	2.300	4.350	2.850	5.000	2.300	4.700	5.000	
3.650	2.850	3.600	3.300	4.250	3.200	4.600	4.100	
3.750	2.600	3.700	2.800	4.150	2.650	4.600	3.950	
3.800	3.800	3.700	3.450	5.000	2.850	5.000	3.950	
3.700	3.050	3.500	2.800	4.600	3.450	4.450	3.850	
4.550	2.700	3.550	3.300	5.000	2.950	4.450	4.100	

注:公開試聴試験での多人数の平均評点と管理人の評点が似たような傾向になることは確認しているので言えるが、ある個人がある再生環境で、ある価値観のもとに聞いたときの評価が、ここに書いた管理人の評価に似るかどうかまでは何とも言えない。また、今回利用した音源とは傾向の異なる音を多くエンコードした場合、結果や順位が異なる可能性があります。