音風景ブログ

目隠しテストによるエンコーダの音質評価などを行うブログです。

MP3, Opus, AAC 96kbps の音質比較

概要

音声コーデック3種類の音質比較。ビットレートは 96kbps にて比較。使用したエンコーダは、人気 MP3 エンコーダの LAME, 低遅延と高音質を両立する Opus コーデックの Opus 1.1, AACエンコーダ 3種類。その中でも AAC は、エンコーダによって圧縮性能が大きく異なるが、今回は Apple のエンコーダよりは悪いが、フリーなエンコーダよりは良いとされる、NeroAACEncと、実験段階のフリーなエンコーダである FFmpeg内蔵AACエンコーダに中間 v7 パッチ、中間 v9b パッチを適用したもの(一般配布はされていない)の3種類をテストした。
(2016/02/16追記:2016年現在、FFmpeg内蔵AACエンコーダはv9b相当の音質となっています。)

結果

Opus > NeroAACEnc > LAME > FFmpeg内蔵AACエンコーダ+中間v9bパッチ > FFmpeg内蔵AACエンコーダ+中間v7パッチ
Opus が最も原音に忠実という結果になった。Nero が2位、LAME が3位、FFmpeg内蔵AACエンコーダが最下位となった。FFmpeg内蔵AACエンコーダの中では、M/Sエンコードに対応した新しい v9bパッチの方が原音に近い音質となった。

評価

形式 MP3 Opus AAC AAC AAC
エンコーダ LAME Opus Nero FFmpeg FFmpeg
バージョン 3995 0.1.9 1540 v7 v9b
リリース年 2012 2014 2009 2013 2014
レート制御 ABR VBR VBR ABR ABR
指定レート 98k 91k q0.333 96k 96k
35_SQAM_glockenspiel_cut Inst. 4.3 4.5 4.4 3.9 3.4
Can't Wait Until Tonight (Dry Wurlitzer Mix) Pops 3.2 3.7 3.5 3.1 2.7
girl Techno 3.2 3.6 2.8 2.0 2.4
Robots_old Techno 3.2 4.3 4.1 3.4 3.5
SinceAlways Guitar 3.6 5.0 3.8 3.4 2.8
trumpet Wind 3.6 5.0 3.9 2.4 2.5
velvet Perc. 3.2 3.5 3.7 2.8 2.7
Waiting Pops 3.3 4.3 3.8 3.5 3.7
Asleep__4.11-4.31_ Strings 3.8 5.0 5.0 3.6 3.9
Greatest_Love_of_All_2min57 Pops 3.7 4.1 3.6 3.1 3.7
Hey Tonight Rock 3.1 3.8 3.5 2.6 3.3
Severance__1.31-1.51_ Pops 3.8 4.2 3.9 3.4 3.7
Shinsho_pool_3min45_4min4 Pops 3.0 4.3 3.6 3.4 3.2
SlavesOfFear Metal 4.4 5.0 5.0 4.6 4.0
The Chastising of Renegade Rock 3.2 5.0 4.0 3.0 3.7
TrosYGareg Pops 3.7 4.4 4.0 3.4 4.1
4-Sound-English-male.441 Voice 4.3 5.0 4.4 2.9 3.9
9-Have-big-expensive-car.441 Pops 3.0 3.9 3.6 3.2 3.2
12-German-male-speech.441 Voice 3.7 4.0 3.2 2.4 3.0
15-Good-evening.441 Voice 3.9 4.0 3.8 3.0 3.5
21-classic.441 Classic 3.6 5.0 4.0 3.3 3.7
24-Greensleeves-Korean-male-speech.441 Voice 3.8 4.6 4.1 2.8 3.1
25-This-is-the-end.441 Voice 3.8 4.4 4.1 3.4 3.6
27-last-song-drums-and-trampets.441 Perc. 3.3 5.0 4.3 3.1 3.9
bonhemian_rhapsody Rock 4.2 4.3 4.1 3.3 3.9
clapton_44k Guitar 3.9 4.2 4.1 3.3 3.7
Coral Pops 4.0 5.0 4.0 3.3 3.7
ExitMusic Vocal 3.9 4.1 3.5 2.2 3.1
liberate Metal 2.8 4.5 4.2 3.2 3.3
NewYorkCity Pops 3.6 4.3 4.2 3.2 3.5
sandman Rock 3.3 3.7 3.6 2.7 3.0
take_your_finger_frin_my_head Rock 4.0 3.8 3.9 3.4 3.7
Changes Rock 4.1 4.4 4.5 3.2 3.8
Girl_In_The_Fire__Sample_ Rock 4.1 4.4 4.0 3.6 3.7
Hotel California Rock 3.5 4.2 3.8 3.1 3.6
Jupiter, the Bringer of Jolity Classic 3.8 4.1 4.4 4.5 4.3
Last_Of_The_Mohicanz__Sample_ Techno 4.0 4.4 4.0 3.1 2.9
Only Time Newage 3.2 4.2 3.9 3.6 3.8
Through The Fire And Flames Metal 4.7 5.0 5.0 3.6 3.5
With Love (Outro) Techno 3.3 4.3 3.9 3.1 3.2
10 41_30sec Perc. 2.6 3.5 2.9 2.1 2.0
11 finalfantasy Strings 4.2 4.5 4.3 3.2 3.8
12 ATrain Jazz 3.2 4.3 3.6 3.5 3.3
13 BigYellow Pops 3.0 4.2 3.9 2.5 3.2
14 FloorEssence Techno 3.6 4.4 3.9 2.7 3.1
15 macabre Classic 2.9 3.2 3.5 2.9 3.3
16 mybloodrusts Guitar 4.0 4.4 4.2 3.5 2.7
17 Quizas Latin 3.5 4.2 3.6 3.0 3.6
18 VelvetRealm Techno 3.6 3.9 4.0 3.0 3.2
19 雨降花 Pops 3.6 4.3 4.2 2.6 3.8
20 Trust Gospel 2.7 4.0 3.3 2.5 2.9
21 Waiting Rock 3.2 4.2 3.6 3.0 3.4
22 Experiencia Latin 4.0 4.1 3.8 3.3 3.5
23 Heart To Heart Pops 3.7 4.6 4.3 2.9 3.3
24 Tom's Diner Vocal 3.5 4.0 3.2 2.6 2.9
25 ReunionBlues Jazz 3.1 3.9 3.8 2.9 3.3
26 French Voice 4.0 4.4 3.7 2.8 3.5
27 undelete Pops 3.8 4.1 4.2 2.7 3.3
28 Dimmu Borgir Metal 4.2 5.0 4.5 3.6 3.4
29 Run up Pops 4.1 4.5 3.3 3.0 3.5
30 German Voice 3.4 4.2 3.6 2.7 3.3
31 It could be sweet Pops 3.9 4.1 4.1 2.8 3.5
32 on the roof with Quasimodo Pops 4.1 4.5 3.8 2.8 3.4
33 easy game Pops 4.1 4.3 4.0 3.6 3.9
34 Tears Infection Pops 4.0 4.5 3.7 3.4 3.8
J.S.Bach, "Easter-Oratorio" Classic 3.8 5.0 4.4 3.6 3.9
Bass Vocal 3.8 4.0 3.8 3.4 3.5
Castanets Inst. 2.9 4.2 3.7 2.5 2.4
French Male Speech Voice 4.4 4.7 4.5 2.8 3.6
Glockenspiel Inst. 4.3 4.5 4.6 3.7 4.1
Harpsichord Inst. 3.8 3.7 4.0 3.3 3.6
Postscriptum, "You were here" Pops 3.8 4.5 4.0 3.4 3.7
Mike Oldfield, "Music From The Balcony" Rock 3.7 5.0 4.5 4.0 4.1
Quartet Vocal 3.7 3.9 3.2 3.3 3.6
平均スコア 3.65 4.31 3.93 3.13 3.42
実レート 99k 101k 96k 98k 98k
エンコーダ LAME Opus Nero FFmpeg FFmpeg
バージョン 3995 0.1.9 1540 v7 v9b
形式 MP3 Opus AAC AAC AAC

テストに利用した音源を試聴したい方、ダウンロードしたい方、ログを見たい方はこちらへ。
http://listening-test.coresv.net/results.htm
http://zak.s206.xrea.com/bitratetest/main.htm
bitratetest_wav30-34.zip 直
http://soundexpert.org/sound-samples

方法

銘柄に対する先入観が影響しないように、PSP ABC/HR v2.4とRP-HJE150を利用して、5個のエンコードされた圧縮音源をランダムに並び替えて、銘柄を伏せて採点した。採点基準は、「音質劣化が非常に気になる」が1点 「気になる」が2点 「わずかに気になる」が3点 「原音からの音質変化が分かるが、気にならない」が4点 「音質変化がわからない、区別できない」が5点。4.9点以下の評点をつける場合は、ABXYテストを15回行い、12回以上(これ以上の成績をまぐれで出す確率は約2%)正解して、違いを聞き取れることを確認してからそうした。このテストでの採点は、74(音源)×5(エンコーダ)×1(回)=370(回)。

使用したオプション

LAME 3.99.5

lame --abr 98 -S in.wav out.mp3

Opus 1.1、opus-tools-0.1.9 経由

opusenc --bitrate 91 in.wav out.opus

NeroAACEnc 1.5.4.0

NeroAacEnc -q 0.333 -if in.wav -of out.mp4

FFmpeg内蔵AACエンコーダ、r.70351+中間パッチv7適用済みビルド(一般配布なし)

ffmpeg70351_v7 -y -i in.wav -c:a aac -strict experimental -b:a 96k out.mp4

FFmpeg内蔵AACエンコーダ、r.70351+中間パッチv9b適用済みビルド(一般配布なし)

ffmpeg70351_v9b -y -i in.wav -c:a aac -strict experimental -b:a 96k out.mp4

詳細な優劣の分析

FRIEDMAN version 1.24 (Jan 17, 2002) http://ff123.net/
Blocked ANOVA analysis

Number of listeners: 74
Critical significance:  0.05
Significance of data: 1.11E-016 (highly significant)
---------------------------------------------------------------
ANOVA Table for Randomized Block Designs Using Ratings

Source of         Degrees     Sum of    Mean
variation         of Freedom  squares   Square    F      p

Total              369         134.26
Testers (blocks)    73          45.11
Codecs eval'd        4          61.69   15.42   164.04  1.11E-016
Error              292          27.45    0.09
---------------------------------------------------------------
Fisher's protected LSD for ANOVA:   0.099

Means:

opus     nero     lame     ffv9b    ffv7
  4.31     3.93     3.65     3.42     3.13

---------------------------- p-value Matrix ---------------------------

         nero     lame     ffv9b    ffv7
opus     0.000*   0.000*   0.000*   0.000*
nero              0.000*   0.000*   0.000*
lame                       0.000*   0.000*
ffv9b                               0.000*
-----------------------------------------------------------------------

opus is better than nero, lame, ffv9b, ffv7
nero is better than lame, ffv9b, ffv7
lame is better than ffv9b, ffv7
ffv9b is better than ffv7

整形済みデータ

% 96kbps ABC/HR Score
% This format is compatible with my graphmaker, as well as ff123's FRIEDMAN.
lame	opus	nero	ffv7	ffv9b
4.300	4.500	4.400	3.900	3.400	
3.200	3.700	3.500	3.100	2.700	
3.200	3.600	2.800	2.000	2.400	
3.200	4.300	4.100	3.400	3.500	
3.600	5.000	3.800	3.400	2.800	
3.600	5.000	3.900	2.400	2.500	
3.200	3.500	3.700	2.800	2.700	
3.300	4.300	3.800	3.500	3.700	
3.800	5.000	5.000	3.600	3.900	
3.700	4.100	3.600	3.100	3.700	
3.100	3.800	3.500	2.600	3.300	
3.800	4.200	3.900	3.400	3.700	
3.000	4.300	3.600	3.400	3.200	
4.400	5.000	5.000	4.600	4.000	
3.200	5.000	4.000	3.000	3.700	
3.700	4.400	4.000	3.400	4.100	
4.300	5.000	4.400	2.900	3.900	
3.000	3.900	3.600	3.200	3.200	
3.700	4.000	3.200	2.400	3.000	
3.900	4.000	3.800	3.000	3.500	
3.600	5.000	4.000	3.300	3.700	
3.800	4.600	4.100	2.800	3.100	
3.800	4.400	4.100	3.400	3.600	
3.300	5.000	4.300	3.100	3.900	
4.200	4.300	4.100	3.300	3.900	
3.900	4.200	4.100	3.300	3.700	
4.000	5.000	4.000	3.300	3.700	
3.900	4.100	3.500	2.200	3.100	
2.800	4.500	4.200	3.200	3.300	
3.600	4.300	4.200	3.200	3.500	
3.300	3.700	3.600	2.700	3.000	
4.000	3.800	3.900	3.400	3.700	
4.100	4.400	4.500	3.200	3.800	
4.100	4.400	4.000	3.600	3.700	
3.500	4.200	3.800	3.100	3.600	
3.800	4.100	4.400	4.500	4.300	
4.000	4.400	4.000	3.100	2.900	
3.200	4.200	3.900	3.600	3.800	
4.700	5.000	5.000	3.600	3.500	
3.300	4.300	3.900	3.100	3.200	
2.600	3.500	2.900	2.100	2.000	
4.200	4.500	4.300	3.200	3.800	
3.200	4.300	3.600	3.500	3.300	
3.000	4.200	3.900	2.500	3.200	
3.600	4.400	3.900	2.700	3.100	
2.900	3.200	3.500	2.900	3.300	
4.000	4.400	4.200	3.500	2.700	
3.500	4.200	3.600	3.000	3.600	
3.600	3.900	4.000	3.000	3.200	
3.600	4.300	4.200	2.600	3.800	
2.700	4.000	3.300	2.500	2.900	
3.200	4.200	3.600	3.000	3.400	
4.000	4.100	3.800	3.300	3.500	
3.700	4.600	4.300	2.900	3.300	
3.500	4.000	3.200	2.600	2.900	
3.100	3.900	3.800	2.900	3.300	
4.000	4.400	3.700	2.800	3.500	
3.800	4.100	4.200	2.700	3.300	
4.200	5.000	4.500	3.600	3.400	
4.100	4.500	3.300	3.000	3.500	
3.400	4.200	3.600	2.700	3.300	
3.900	4.100	4.100	2.800	3.500	
4.100	4.500	3.800	2.800	3.400	
4.100	4.300	4.000	3.600	3.900	
4.000	4.500	3.700	3.400	3.800	
3.800	5.000	4.400	3.600	3.900	
3.800	4.000	3.800	3.400	3.500	
2.900	4.200	3.700	2.500	2.400	
4.400	4.700	4.500	2.800	3.600	
4.300	4.500	4.600	3.700	4.100	
3.800	3.700	4.000	3.300	3.600	
3.800	4.500	4.000	3.400	3.700	
3.700	5.000	4.500	4.000	4.100	
3.700	3.900	3.200	3.300	3.600	

%samples	35_SQAM_glockenspiel_cut	Inst.
%samples	Can't Wait Until Tonight (Dry Wurlitzer Mix)	Pops
%samples	girl	Techno
%samples	Robots_old	Techno
%samples	SinceAlways	Guitar
%samples	trumpet	Wind
%samples	velvet	Perc.
%samples	Waiting	Pops

%samples	Asleep__4.11-4.31_	Strings
%samples	Greatest_Love_of_All_2min57	Pops
%samples	Hey Tonight	Rock
%samples	Severance__1.31-1.51_	Pops
%samples	Shinsho_pool_3min45_4min4	Pops
%samples	SlavesOfFear	Metal
%samples	The Chastising of Renegade	Rock
%samples	TrosYGareg	Pops

%samples	4-Sound-English-male.441	Voice
%samples	9-Have-big-expensive-car.441	Pops
%samples	12-German-male-speech.441	Voice
%samples	15-Good-evening.441	Voice
%samples	21-classic.441	Classic
%samples	24-Greensleeves-Korean-male-speech.441	Voice
%samples	25-This-is-the-end.441	Voice
%samples	27-last-song-drums-and-trampets.441	Perc.

%samples	bonhemian_rhapsody	Rock
%samples	clapton_44k	Guitar
%samples	Coral	Pops
%samples	ExitMusic	Vocal
%samples	liberate	Metal
%samples	NewYorkCity	Pops
%samples	sandman	Rock
%samples	take_your_finger_from_my_hair	Rock

%samples	Changes	Rock
%samples	Girl_In_The_Fire__Sample_	Rock
%samples	Hotel California	Rock
%samples	Jupiter, the Bringer of Jolity	Classic
%samples	Last_Of_The_Mohicanz__Sample_	Electro
%samples	Only Time	Newage
%samples	Through The Fire And Flames	Metal
%samples	With Love (Outro)	Techno


%samples	41_30sec	Perc.
%samples	finalfantasy	Strings
%samples	ATrain	Jazz
%samples	BigYellow	Pops
%samples	FloorEssence	Techno
%samples	macabre	Classic
%samples	mybloodrusts	Guitar
%samples	Quizas	Latin
%samples	VelvetRealm	Techno
%samples	Amefuribana	Pops
%samples	Trust	Gospel
%samples	Waiting	Rock
%samples	Experiencia	Latin
%samples	HearttoHeart	Pops
%samples	Tom'sDiner	Acappella
%samples	ReunionBlues	Jazz
%samples	French	Voice
%samples	undelete	Pops
%samples	DimmuBorgir	Metal
%samples	Run_up	Pops
%samples	German	Speech
%samples	ItCouldBeSweet	Pops
%samples	OnTheRoofWith	Pops
%samples	easy_game	Pops
%samples	TearsInfection	Pops

%samples	J.S.Bach, "Easter-Oratorio"	Classic
%samples	Bass	Vocal
%samples	Castanets	Inst.
%samples	FrenchMaleSpeech	Voice
%samples	Glockenspiel	Inst.
%samples	Harpsichord	Inst.
%samples	You were here	Pops
%samples	Music From The Balcony	Rock
%samples	Quartet	Vocal

注:公開試聴試験での多人数の平均評点と管理人の評点が似たような傾向になることは確認しているので言えるが、ある個人がある再生環境で、ある価値観のもとに聞いたときの評価が、ここに書いた管理人の評価に似るかどうかまでは何とも言えない。また、今回利用した音源とは傾向の異なる音を多くエンコードした場合、結果や順位が異なる可能性があります。