音風景ブログ

目隠しテストによるエンコーダの音質評価などを行うブログです。

MP3 224kbpsの音質比較

概要

224kbps付近でエンコードしたときのMP3エンコーダの音質比較。
ドイツ人のhalb27氏が2013年2月にリリースしたLAMEエンコーダの拡張版であるLAME 3.100i V2+、2013年6月現在最新版のLAME 3.99.5 V1、一世代前のLAME 3.98.4 CBR 224kbps、超高速エンコードで知られる2005年のオープンソースMP3エンコーダHelix mp3enc v5.1、そしてビリ基準として2001年のMP3エンコーダ、BladeEnc v0.94.2 CBR 224kbpsをテスト。

結果

ビリ基準であるBladeEncを除いて、どれもほぼ同程度の平均評点となった。上記の条件で様々なジャンルの音源をエンコードした場合、これらの4種のエンコーダの音質に大きな違いはない。

評価

エンコーダ LAME LAME LAME Helix Blade
バージョン 3100i 3.99.5 3.98.4 5.1 0.94.2
リリース年 2013 2012 2009 2005 2001
レート制御 VBR VBR CBR VBR CBR
ビットレート V2+ V1 224k V146 224k
41_30sec 打楽器 4.7 4.6 4.0 4.3 3.1
finalfantasy 撥弦楽 4.3 4.2 4.6 4.8 3.8
ATrain ジャズ 4.5 4.5 4.4 5.0 4.7
BigYellow POPS 4.8 5.0 4.6 5.0 4.3
FloorEssence テクノ 4.7 4.5 4.2 4.4 3.5
macabre オケ 4.7 4.3 5.0 4.6 4.5
mybloodrusts 弦楽器 4.4 5.0 3.8 4.7 3.9
Quizas ラテン 4.2 4.5 4.4 4.5 3.8
VelvetRealm テクノ 4.3 4.2 4.0 4.5 3.2
雨降花 POPS 4.4 4.3 5.0 4.6 3.4
Trust Gosp 4.0 4.3 4.5 4.6 3.5
Waiting ロック 4.5 4.2 4.4 4.6 3.6
Experiencia ラテン 4.2 4.5 5.0 4.7 4.0
HeartToHeart POPS 4.3 4.1 4.3 4.1 3.5
Tom's Diner 女声 4.2 4.2 4.4 4.6 3.9
ReunionBlues ジャズ 5.0 4.5 5.0 5.0 4.1
French 男女声 5.0 4.3 4.7 4.4 4.0
undelete POPS 4.5 4.4 4.2 4.0 3.2
Dimmu Borgir メタル 5.0 5.0 5.0 4.5 4.4
Run up POPS 5.0 5.0 4.7 5.0 4.4
German 男声 5.0 4.8 4.8 4.6 4.2
ItCouldBeSweet POPS 4.7 5.0 5.0 4.5 3.9
ontheroofwith POPS 4.8 5.0 5.0 4.6 4.2
easy game POPS 5.0 5.0 4.7 5.0 4.2
Tears Infection POPS 4.4 4.1 4.6 4.4 4.1
↑音源 平均点 4.58 4.54 4.57 4.60 3.90
実レート 235k 228k 225k 221k 224k
全サイズ(KB) 17232 16606 16448 16210 16412
エンコーダ LAME LAME LAME Helix Blade
バージョン 3100i 3.99.5 3.98.4 5.1 0.94.2

テストに利用した音源を試聴したい方、ダウンロードしたい方、ログを見たい方はこちらへ。
http://zak.s206.xrea.com/bitratetest/main.htm
[file:kamedo2:bitratetest_wav30-34.zip]

方法

銘柄に対する先入観が影響しないように、PSP ABC/HR v2.4とRP-HT560を利用して、5個のエンコードされたMP3をランダムに並び替えて、銘柄を伏せて採点した。1=音質劣化が非常に気になる 2=気になる 3=少し気になる 4=原音からの音質変化が分かるが、気にならない 5=音質変化がわからない、区別できない。4.9点以下の評点をつける場合は、ABXYテストを20回行い、15回以上(これ以上の成績をまぐれで出す確率は約2%)正解して、違いを聞き取れることを確認してからそうした。このテストでの採点は、25(音源)×5(エンコーダ)×1(回)=125(回)。

使用したオプション

LAME3100i -V2+
LAME3.99.5 -V1
LAME3.98.4 -S -q 0 -b 224
Helix -X2 -U2 -V146
BladeEnc -224

詳細な優劣の分析

FRIEDMAN version 1.24 (Jan 17, 2002) http://ff123.net/
Blocked ANOVA analysis

Number of listeners: 25
Critical significance:  0.05
Significance of data: 0.00E+000 (highly significant)
---------------------------------------------------------------
ANOVA Table for Randomized Block Designs Using Ratings

Source of         Degrees     Sum of    Mean
variation         of Freedom  squares   Square    F      p

Total              124          23.56
Testers (blocks)    24           7.75
Codecs eval'd        4           9.24    2.31   33.80  0.00E+000
Error               96           6.56    0.07
---------------------------------------------------------------
Fisher's protected LSD for ANOVA:   0.147

Means:

Helix-V1 3.100iV2 3.98CBR  3.99V1   BladeEnc
  4.60     4.58     4.57     4.54     3.90

---------------------------- p-value Matrix ---------------------------

         3.100iV2 3.98CBR  3.99V1   BladeEnc
Helix-V1 0.829    0.706    0.419    0.000*
3.100iV2          0.871    0.553    0.000*
3.98CBR                    0.666    0.000*
3.99V1                              0.000*
-----------------------------------------------------------------------

Helix-V146 is better than BladeEncCBR
3.100iV2+ is better than BladeEncCBR
3.98CBR is better than BladeEncCBR
3.99V1 is better than BladeEncCBR

整形済みデータ

% MP3 224kbps ABC/HR Score
% This format is compatible with my graphmaker, as well as ff123's FRIEDMAN.
3.100iV2+	3.99V1	3.98CBR	Helix-V146	BladeEncCBR
%feature 7 LAME LAME LAME Other Other	
4.700	4.600	4.000	4.300	3.100	
4.300	4.200	4.600	4.800	3.800	
4.500	4.500	4.400	5.000	4.700	
4.800	5.000	4.600	5.000	4.300	
4.700	4.500	4.200	4.400	3.500	
4.700	4.300	5.000	4.600	4.500	
4.400	5.000	3.800	4.700	3.900	
4.200	4.500	4.400	4.500	3.800	
4.300	4.200	4.000	4.500	3.200	
4.400	4.300	5.000	4.600	3.400	
4.000	4.300	4.500	4.600	3.500	
4.500	4.200	4.400	4.600	3.600	
4.200	4.500	5.000	4.700	4.000	
4.300	4.100	4.300	4.100	3.500	
4.200	4.200	4.400	4.600	3.900	
5.000	4.500	5.000	5.000	4.100	
5.000	4.300	4.700	4.400	4.000	
4.500	4.400	4.200	4.000	3.200	
5.000	5.000	5.000	4.500	4.400	
5.000	5.000	4.700	5.000	4.400	
5.000	4.800	4.800	4.600	4.200	
4.700	5.000	5.000	4.500	3.900	
4.800	5.000	5.000	4.600	4.200	
5.000	5.000	4.700	5.000	4.200	
4.400	4.100	4.600	4.400	4.100	
%samples	41_30sec	hihats
%samples	finalfantasy	cemb
%samples	ATrain	Jazz
%samples	BigYellow	Pops
%samples	FloorEssence	Techno
%samples	macabre	orch
%samples	mybloodrusts	guitar
%samples	Quizas	Latin
%samples	VelvetRealm	Techno
%samples	Amefuribana	Pops
%samples	Trust	Gospel
%samples	Waiting	Rock
%samples	Experiencia	Latin
%samples	Heart to Heart	Pops
%samples	Tom's Diner	Vocal
%samples	Reunion Blues	Jazz
%samples	French	Speech
%samples	undelete	Pops
%samples	Dimmu Borgir	Metal
%samples	Run up	Pops
%samples	German	Speech
%samples	ItCouldBeSweet	Pops
%samples	OnTheRoofWith	Pops
%samples	easy game	Pops
%samples	Tears Infection	Pops	

注:公開試聴試験での多人数の平均評点と管理人の評点が似たような傾向になることは確認しているので言えるが、ある個人がある再生環境で、ある価値観のもとに聞いたときの評価が、ここに書いた管理人の評価に似るかどうかまでは何とも言えない。また、今回利用した音源とは傾向の異なる音を多くエンコードした場合、結果や順位が異なる可能性があります。