Электронный научный журнал
Международный студенческий научный вестник
ISSN 2409-529X
ИФ РИНЦ = 0,336

МНОЖЕСТВЕННОЕ СРАВНЕНИЕ СРЕДНИХ В ЭКСПЕРИМЕНТЕ ПО ВЛИЯНИЮ ЭКСПЕРИМЕНТАЛЬНЫХ ДОЗИРОВОК ПРОБИОТИКА «OLIN» В РАЦИОН КОРМЛЕНИЯ ЦЫПЛЯТ-БРОЙЛЕРОВ

Зелов К.А. 1 Мурленков Н.В. 1 Шуметов В.Г. 1
1 Орловский ГАУ им. Н.В. Парахина
Представлены результаты множественного сравнения средних величин ведущих информативных показателей – массы мышц и массы филе – в эксперименте по влиянию дозировки пробиотика «Olin» на убойные и мясные качества тушек цыплят-бройлеров. Обосновано, что применение для этой цели традиционно используемого в практике сельскохозяйственных экспериментов критерия наименьшей существенной разности может привести к некорректным статистическим выводам. Результаты множественного сравнения средних по критериям Бонферрони и Шеффе сопоставлены с множественным сравнением средних по критерию LSD (Least Significant Difference). Показано, что критерий Шеффе является консервативным, обеспечивая более строгий подход к оценке статистический значимости наблюдаемых эффектов. На конкретных примерах обсуждаются прогностические возможности однофакторных моделей дисперсионного анализа, отражающих зависимость выходных переменных от уровней независимой переменной.
цыплята-бройлеры
мясные качества полуфабриката
спорогенный пробиотик
ведущие информативные показатели
критерий стьюдента
критерий бонферрони
критерий шеффе.
1. Бююль А., Цёфель П. SPSS: Искусство обработки информации. Анализ статистических данных и восстановление скрытых закономерностей. – СПб.: ООО «ДиаСофтЮП», 2002. – 608 с.
2. Доугерти К. Введение в эконометрику: Пер. с англ. – М.: ИНФРА-М, 1999. – 402 с.
3. Любищев А.А. Дисперсионный анализ в биологии. – М.: Изд-во Моск. ун-та, 1986. – 200 с.
4. Многомерный статистический анализ в экономике: Учеб. пособие для вузов / Л.А. Сошникова, В.Н. Тамашевич, Г. Уебе, М. Шефер. – М.: ЮНИТИ-ДАНА, 1999. – 598 с.
5. Мурленков Н.В., Морозова Е.С., Шуметов В.Г. Статистический анализ влияния пробиотика «Olin» на потребительские качества цыплят-бройлеров: постановка задачи // Международный студенческий научный вестник. – 2016.
6. Мурленков Н.В., Шуметов В.Г. Анализ взаимосвязей показателей убойных и мясных качеств тушек цыплят-бройлеров в эксперименте по влиянию дозировок пробиотика «Olin» в рационе кормления // Международный студенческий научный вестник. – 2016.
7. Орлов А.И. Высокие статистические технологии // Заводская лаборатория. – 2003. – Т.69. – №11. – С.55-60.
8. SPSS Base 8.0 для Windows. Руководство по применению. – Перевод–Copyright 1998 СПСС Русь. – 397 с.

Данная статья продолжает публикации [5, 6], представленные в настоящем издании, и содержит результаты второго этапа статистических исследований, направленных на выявление роли спорогенного пробиотика «Olin» как фактора, эффективно влияющего на мясные и убойные качества тушек цыплят-бройлеров. В первой из этих публикаций [5] сформулированы следующие аналитические задачи:

1) по результатам корреляционного и факторного анализа комплекса выходных показателей эксперимента установить латентные факторы и выявить ведущие (информативные) показатели;

2) рассчитать средние значения ведущих выходных показателей и оценить статистическую значимость влияния экспериментальных дозировок пробиотика «Olin», по сравнению с контролем, на информативные показатели;

3) определить спецификацию эконометрических моделей, описывающих зависимость ведущих выходных показателей убойных и мясных качеств тушек цыплят-бройлеров от дозировки пробиотика «Olin» в комбикормах, оценить их параметры и выполнить оптимизацию дозировки по критериям качества полуфабриката.

Результаты решения первой задачи приведены в публикации [6]. Методами корреляционного и факторного анализа доказано, что из исходного множества семи показателей мясных и убойных качеств тушек цыплят-бройлеров в дальнейшем анализе достаточно ограничиться двумя ведущими информативными показателями – массой мышц и массой филе. Именно эти показатели являются индикаторами влияния дозировок пробиотика «Olin» на качества тушек цыплят-бройлеров.

В соответствие с этим выводом, задачей данной публикации является оценка статистической значимости влияния экспериментальных дозировок пробиотика «Olin», по сравнению с контролем, на эти информативные показатели. Решение данной задачи предполагает реализацию следующих этапов статистических исследований:

(1) дисперсионный анализ, цель которого – выявить статистическую значимость различия средних значений индикаторов мясных качеств тушек цыплят-бройлеров по всей совокупности вариантов опытов;

(2) применение процедур множественного сравнения средних, а также традиционным методом, основанном на критерии Стьюдента;

(3) разбиение вариантов опытов на однородные (статистически неразличимые) группы;

(4) сравнение конкурирующих методик анализа результатов эксперимента.

Наше обращение к методам множественного сравнения средних не является случайным. Несмотря на очевидность некорректности использования в этих целях методов парного сравнения, основанных на критерии Стьюдента (t-критерия), а также на наличие современных информационных технологий, позволяющих проводить множественное сравнение средних практически в «автоматическом режиме», до настоящего времени эти методы еще мало применяются на практике. Опыт, однако, показывает, что замена множественного сравнения результатов эмпирических данных парными сравнениями может привести к неверным выводам: сравнивая в один прием лишь две средние, мы лишаем себя информации об остальных средних, то, что невозможно на двух случайных выборках, может стать вполне возможным на большем их числе (чем больше проводится испытаний, тем более редкие события могут произойти). Кроме того, незначимые различия, накапливаясь от пары к паре, могут стать вполне значимыми, хотя мы этого не замечаем.

Сказанное вовсе не означает, что традиционно используемое в практике оценки результатов сельскохозяйственных экспериментов понятие наименьшей существенной разности (НСР) [3] полностью теряет свою значимость. В данном случае мы не вполне разделяем точку зрения А.И. Орлова о том, что «высокие статистические технологии» лишают права на использование так называемых «низких» статистических технологий [7]. Во-первых, сравнение средних по критерию наименьшей существенной разности нельзя отнести к «низким» статистическим технологиям, это, по терминологии А.И. Орлова – классическая статистическая технология. Во-вторых, логика подсказывает по крайней мере две возможности корректного использования критерия Стьюдента: 1) следует сравнить две ближайшие средние, и если по критерию Стьюдента их разность статистически значима, то значимы будут и разности остальных средних; 2) можно завысить требования к критическому уровню значимости – вместо традиционно принимаемого р-уровня 0,05 принять критический уровень значимости равным 0,05/m, где m – число сравниваемых средних (принцип Бонферрони).

Перейдем теперь непосредственно к сравнению средних по вариантам экспериментов, направленных на выявление роли спорогенного пробиотика «Olin» на мясные и убойные качества тушек.

В соответствие с результатами первой части статистических исследований, достаточно сравнить средние двух ведущих информативных показателей качества тушек – массы мышц и массы филе. Остальные показатели либо коррелируют с этими двумя индикаторами качества полуфабриката (перечислим их: предубойная масса; масса порошенной тушки; масса съедобных частей), либо не критичны к добавке пробиотика в рацион кормления цыплят-бройлеров (масса несъедобных частей и масса костей). Вариантов опытов четыре: контроль – без добавки пробиотика (группа 1) и три дозировки пробиотика «Olin»: 0,015; 0,022 и 0,029 г/гол. (группы 2, 3, 4 соответственно). Таким образом, сравниваемых средних – четыре.

Начальный этап статистических исследований по сравнению средних заключается в визуальном анализе ящичковых диаграмм, иллюстрирующих различие медиан показателей и интервалов их варьирования по повторностям каждого опыта – рисунок 1 (помимо двух индикаторов качества полуфабриката, «чувствительных» к добавке пробиотика, рассматривались ещё два показателя – масса несъедобных частей и масса костей).

а

б

в

г

Рисунок 1 – Распределение ведущих информативных показателей мясных качеств тушек цыплят-бройлеров: а – масса мышц; б – масса филе; в – масса несъедобных частей; г – масса костей

Визуальный просмотр ящичковых диаграмм показывает, что если для первых двух показателей – массы мышц и массы филе – средние экспериментальных групп, скорее всего, значимо отличаются от средних контрольной группы, то для второй пары показателей – массы несъедобных частей и массы костей – такого отличия не наблюдается: хотя медианы и заметно различаются, распределения этих показателей по повторностям сильно перекрываются. Это предположение подтверждают результаты, полученные с помощью однофакторного дисперсионного анализа процедуры «Compare Means (Сравнение средних)»: значения критерия Фишера F=37,5 и 66,4 для первых двух показателей – массы мышц и массы филе – статистически значимы на уровне не хуже 0,0005 и статистически незначимы для третьего и четвертого показателя (р-уровень для них 0,429 и 0,395 соответственно) – таблица 1.

Таблица 1 – Дисперсионный анализ ведущих информативных показателей мясных качеств тушек цыплят-бройлеров

Показатель, г

Источник изменчивости

Сумма квадратов

Ст. св.

Средний квадрат

Критерий

Фишера

Знч.

Масса мышц

Между группами

28213,458

3

9404,486

37,472

0,000

В группах

5019,500

20

250,975

   

Сумма

33232,958

23

     

Масса филе

Между группами

8597,125

3

2865,708

66,374

0,000

В группах

863,500

20

43,175

   

Сумма

9460,625

23

     

Масса несъедобных частей

 

Между группами

93,458

3

31,153

0,964

0,429

В группах

646,500

20

32,325

   

Сумма

739,958

23

     

Масса костей

 

Между группами

93,000

3

31,000

1,043

0,395

В группах

594,333

20

29,717

   

Сумма

687,333

23

     

 

Выполним теперь сравнение средних двух ведущих информативных показателей качества тушек – массы мышц и массы филе – традиционным методом по критерию Стьюдента, для двух экспериментальных групп 3 и 4 (в пакете анализа данных SPSS Base для этого предусмотрена процедура «Compare Means (Сравнение средних)»). Полученные результаты приведены в таблицах 2 и 3.

Таблица 2 – Т-тест для независимых измерений показателя «Масса мышц» в опытах 3 и 4 

 

Критерий равенства дисперсий Ливиня

 

t-критерий равенства средних 

F

 

Знч.

 

t

 

Ст. св.

 

Знч. (2-сторон)

 

Средняя разность

 

Стд. ошибка разности

 

95% доверительный интервал разности

нижняя граница

верхняя граница

Предполагается равенство дисперсий

0,007

0,935

2,273

10

0,046

21,00

9,239

0,415

41,585

Равенство дисперсий не предполагается

   

2,273

9,948

0,046

21,00

9,239

0,400

41,600

 

Таблица 3 – Т-тест для независимых измерений показателя «Масса филе» в опытах 3 и 4

 

 

Критерий равенства дисперсий Ливиня

 

t-критерий равенства средних 

F

 

Знч.

 

t

 

Ст. св.

 

Знч. (2-сторон)

 

Средняя разность

 

Стд. ошибка разности

 

95% доверительный интервал разности

нижняя граница

верхняя граница

Предполагается равенство дисперсий

0,010

0,921

3,168

10

0,010

10,83

3,420

3,214

18,453

Равенство дисперсий не предполагается

   

3,168

9,837

0,010

10,83

3,420

3,197

18,470

 

Из таблиц 2 и 3 следует, что согласно t-тесту 95-ти процентные доверительные интервалы разностей обоих показателей не включает в себя нуль, следовательно, гипотеза о равенстве средних отвергается (заметим, что согласно критерию Ливиня, дисперсии значимо не различаются, вследствие чего 95-ти процентные доверительные интервалы разностей по строкам таблиц практически совпадают).

Критерию наименьшей существенной разности в пакете SPSS Base отвечает множественное сравнение средних по критерию LSD – Least Significant Difference в процедуре «General Linear Model (Общая линейная модель)» [1, 8]. Результаты множественного сравнения по традиционному подходу приведены в таблицах 4 и 5.

Таблица 4 – Парные сравнения средних показателя «Масса мышц» по критерию LSD

 

(I) Группа

(J) Группа

Средняя разность

(I-J)

Стд. ошибка

Знч. (2-сторон)

 

95% доверительный интервал

нижняя граница

верхняя граница

1

2

-34,83

9,146

0,001

-53,91

-15,75

 

3

-90,17

9,146

0,000

-109,25

-71,09

 

4

-69,17

9,146

0,000

-88,25

-50,09

2

1

34,83

9,146

0,001

15,75

53,91

 

3

-55,33

9,146

0,000

-74,41

-36,25

 

4

-34,33

9,146

0,001

-53,41

-15,25

3

1

90,17

9,146

0,000

71,09

109,25

 

2

55,33

9,146

0,000

36,25

74,41

 

4

21,00

9,146

0,033

1,92

40,08

4

1

69,17

9,146

0,000

50,09

88,25

 

2

34,33

9,146

0,001

15,25

53,41

 

3

-21,00

9,146

0,033

-40,08

-1,92

 

Таблица 5 – Парные сравнения средних показателя «Масса филе» по критерию LSD

 

(I) Группа

(J) Группа

Средняя разность

(I-J)

Стд. ошибка

Знч. (2-сторон)

 

95% доверительный интервал

нижняя граница

верхняя граница

1

2

-25,00

3,794

0,000

-32,91

-17,09

 

3

-50,50

3,794

0,000

-58,41

-42,59

 

4

-39,67

3,794

0,000

-47,58

-31,75

2

1

25,00

3,794

0,000

17,09

32,91

 

3

-25,50

3,794

0,000

-33,41

-17,59

 

4

-14,67

3,794

0,001

-22,58

-6,75

3

1

50,50

3,794

0,000

42,59

58,41

 

2

25,50

3,794

0,000

17,59

33,41

 

4

10,83

3,794

0,010

2,92

18,75

4

1

39,67

3,794

0,000

31,75

47,58

 

2

14,67

3,794

0,001

6,75

22,58

 

3

-10,83

3,794

0,010

-18,75

-2,92

 

Как следует из таблиц 4 и 5, все 95-ти процентные доверительные интервалы разностей обоих показателей не включает в себя нуль, следовательно, гипотеза о равенстве средних отвергается.

Иные результаты сравнения средних дает применение критерия Стьюдента с поправкой Бонферрони – таблица 6 (в целях сокращения объема публикации приведены данные для одного показателя – массы мышц).

Таблица 6 – Парные сравнения средних показателя «Масса мышц» по критерию Бонферрони

 

(I) Группа

(J) Группа

Средняя разность

(I-J)

Стд. ошибка

Знч. (2-сторон)

 

95% доверительный интервал

нижняя граница

верхняя граница

1

2

-34,83

9,146

0,007

-61,61

-8,06

 

3

-90,17

9,146

0,000

-116,94

-63,39

 

4

-69,17

9,146

0,000

-95,94

-42,39

2

1

34,83

9,146

0,007

8,06

61,61

 

3

-55,33

9,146

0,000

-82,11

-28,56

 

4

-34,33

9,146

0,008

-61,11

-7,56

3

1

90,17

9,146

0,000

63,39

116,94

 

2

55,33

9,146

0,000

28,56

82,11

 

4

21,00

9,146

0,196

-5,77

47,77

4

1

69,17

9,146

0,000

42,39

95,94

 

2

34,33

9,146

0,008

7,56

61,11

 

3

-21,00

9,146

0,196

-47,77

5,77

 

Сравнение таблиц 4 и 6 показывает, что уровни значимости в таблице 6 уже иные, отличаются и результаты сравнения средних: так, средняя масса мышц экспериментальной группы 3 больше среднего показателя группы 4 на 21 г, но по критерию LSD эта разность статистически незначима на уровне 0,033, тогда как по критерию Бонферрони значимость этой же разности составляет 0,196, что значительно превышает нормативный уровень 0,05.

Иначе говоря, при более строгом подходе к сравнению средних эффект прибавки массы мышц полуфабриката цыплят-бройлеров при добавке в рацион питания пробиотика в количестве 0,022 и 0,029 г/гол. статистически неразличим.

Часто используется ещё более консервативный метод множественного сравнения Шеффе, который защищает от больших значений уровня ошибок в эксперименте. Применим его для сравнения средних масс мышц и массы филе полуфабриката – таблицы 7 и 8.

Таблица 7 – Апостериорные парные сравнения средних масс мышц по критерию Шеффе 

(I) Группа

(J) Группа

Средняя разность

(I-J)

Стд. ошибка

Знч. (2-сторон)

 

95% доверительный интервал

нижняя граница

верхняя граница

1

2

-34,83

9,146

0,011

-62,72

-6,95

 

3

-90,17

9,146

0,000

-118,05

-62,28

 

4

-69,17

9,146

0,000

-97,05

-41,28

2

1

34,83

9,146

0,011

6,95

62,72

 

3

-55,33

9,146

0,000

-83,22

-27,45

 

4

-34,33

9,146

0,012

-62,22

-6,45

3

1

90,17

9,146

0,000

62,28

118,05

 

2

55,33

9,146

0,000

27,45

83,22

 

4

21,00

9,146

0,188

-6,89

48,89

4

1

69,17

9,146

0,000

41,28

97,05

 

2

34,33

9,146

0,012

6,45

62,22

 

3

-21,00

9,146

0,188

-48,89

6,89

 

Таблица 8 – Апостериорные парные сравнения средних масс филе по критерию Шеффе

 

(I) Группа

(J) Группа

Средняя разность

(I-J)

Стд. ошибка

Знч. (2-сторон)

 

95% доверительный интервал

нижняя граница

верхняя граница

1

2

-25,00

3,794

0,000

-36,57

-13,43

 

3

-50,50

3,794

0,000

-62,07

-38,93

 

4

-39,67

3,794

0,000

-51,23

-28,10

2

1

25,00

3,794

0,000

13,43

36,57

 

3

-25,50

3,794

0,000

-37,07

-13,93

 

4

-14,67

3,794

0,010

-26,23

-3,10

3

1

50,50

3,794

0,000

38,93

62,07

 

2

25,50

3,794

0,000

13,93

37,07

 

4

10,83

3,794

0,072

-0,73

22,40

4

1

39,67

3,794

0,000

28,10

51,23

 

2

14,67

3,794

0,010

3,10

26,23

 

3

-10,83

3,794

0,072

-22,40

0,73

 

Видно, что в качественном отношении результаты сравнения средних по критерию Шеффе идентичны сравнению по критерию Бонферрони, отличие наблюдается лишь в уровнях значимости и доверительных интервалах.

При сравнении средних по тесту Шеффе имеется также возможность выделить однородные подгруппы сравниваемых вариантов эксперимента. Ниже представлены таблицы однородных групп для двух показателей – массы мышц и массы филе.

Таблица 9 – Однородные подгруппы опытов по критерию Шеффе по показателю «масса мышц» (уровень значимости критерия различия между подгруппами р=0,05) 

Группа

Повторность

Масса мышц, г

   

1

2

3

1 – контроль

6

933,50

   

2

6

 

968,33

 

4

6

   

1002,67

3

6

   

1023,67

Уровень значимости критерия различия в подгруппе

1,000

1,000

0,188

 

Таблица 10 – Однородные подгруппы опытов по критерию Шеффе по показателю «масса филе» (уровень значимости критерия различия между подгруппами р=0,05) 

Группа

Повторность

Масса мышц, г

   

1

2

3

1 – контроль

6

332,33

   

2

6

 

357,33

 

4

6

   

372,00

3

6

   

382,83

Уровень значимости критерия различия в подгруппе

1,000

1,000

0,072

Поясним таблицы 9, 10. По обоим показателям, согласно тесту Шеффе, опыты образуют три однородные подгруппы. В подгруппу 1 входит контрольная группа 1, в подгруппу 2 – экспериментальная группа 2 с дозировкой пробиотика «Olin» 0,015 г/гол., в подгруппу 3 – экспериментальные группы 3 и 4 с дозировкой пробиотика «Olin» 0,022 и 0,029 г/гол. И по массе мышц, и по массе филе средние по экспериментальным группам 3 и 4 статистически неразличимы, т.е. увеличение дозировки пробиотика с 0,022 г/гол. до 0,029 г/гол. эффекта не дает.

Заметим, что результаты, приведенные в таблицах 4-10, можно также получить с помощью однофакторного дисперсионного анализа процедуры «Compare Means (Сравнение средних)» пакета SPSS Base. В данном исследовании мы воспользовались другой процедурой – «General Linear Model (Общая линейная модель)», полезным результатом которой, в дополнение к этим таблицам, является возможность получить МНК-оценки параметров модели.

Пример таблицы МНК-оценок параметров такой модели для одного из информативных показателей – массы мышц – приведен ниже.

Таблица 11 – Оценки параметров линейной модели для информативного показателя «Массы мышц» (за нулевой уровень принята группа 4)

Параметр

B

Стд. ошибка

t

Значимость

99% доверительный интервал

нижняя граница

нижняя граница

Постоянная

1002,667

6,468

155,030

0,000

989,176

1016,158

[ГРУППА=1]

-69,167

9,146

-7,562

0,000

-88,246

-50,087

[ГРУППА=2]

-34,333

9,146

-3,754

0,001

-53,413

-15,254

[ГРУППА=3]

21,000

9,146

2,296

0,033

1,921

40,079

[ГРУППА=4]

0

,

,

,

,

,

 

Поясним таблицу 11. В математической форме однофакторная линейная модель дисперсионного анализа записывается следующим образом: yi = m0 + ai + ei, где yi – наблюдаемое значение выходной переменной y на i-м уровне фактора; m0 – оценка свободного коэффициента модели; ai – оценки главных эффектов на i-м уровне; ei – случайная ошибка. МНК-оценки параметров модели (2) и приведены в таблице 11.

В этой таблице постоянная m0=1002,667 г, а за нулевой принят эффект группы 4, т.е. средняя масса мышц цыплят-бройлеров группы 4 принята равной m0=1002,667 г. Эффекты (добавки массы мышц) других групп отсчитываются уже от этого уровня; так, средняя масса мышц цыплят-бройлеров группы 1 (эталона) характеризуется добавкой a1=-69,167 г, с доверительным 95%-ым интервалом (-88,246 … -50,087) г, что соответствует средним значениям массы мышц (914,421 … 952,580) г. Соответственно, группа 3 характеризуется максимальным эффектом a3=21,000 г, с доверительным 95%-ым интервалом (1,921 … 40,079) г, что соответствует средним значениям показателя (1004,588 … 1042,746) г.

Эта однофакторная модель характеризуется достаточно высоким значением коэффициента детерминации: она объясняет 84,9% общей дисперсии. Судя по графикам остатков, представленным на рисунке 2, модель адекватна: метки, отвечающие эмпирическим данным, расположены достаточно близко к линии регрессии (рисунок 2 а), а остатки на рисунке 2 б образуют равномерную полосу вдоль предсказанных значений показателя, что свидетельствует об отсутствии эффекта гетероскедастичности [2].

Однофакторная модель для второго информативного показателя – массы филе – также имеет высокие характеристики качества: коэффициент детерминации R2=0,909, т.е. она объясняет 90,9% общей дисперсии (таблица МНК-оценок параметров этой модели не приводится ради сокращения объема публикации).

а

б

Рисунок 2 – Характеристики качества линейной модели дисперсионного анализа массы мышц полуфабриката цыплят-бройлеров: а – связь эмпирических значений показателя с расчетными; б – график остатков

 

Отметим, что представленные в данной публикации модели дисперсионного анализа отражают связь выходных переменных не с количественной независимой переменной (предиктором), а с уровнями номинальной переменной (в данном случае, с номером опытной группы), и не являются регрессионными моделями в классическом понимании этого термина. «Чисто» регрессионные модели, отражающие зависимость ведущих информативных показателей мясных качеств полуфабриката от содержания пробиотика «Olin» в рационе кормления цыплят-бройлеров, будут рассмотрены нами в заключительной публикации.


Библиографическая ссылка

Зелов К.А., Мурленков Н.В., Шуметов В.Г. МНОЖЕСТВЕННОЕ СРАВНЕНИЕ СРЕДНИХ В ЭКСПЕРИМЕНТЕ ПО ВЛИЯНИЮ ЭКСПЕРИМЕНТАЛЬНЫХ ДОЗИРОВОК ПРОБИОТИКА «OLIN» В РАЦИОН КОРМЛЕНИЯ ЦЫПЛЯТ-БРОЙЛЕРОВ // Международный студенческий научный вестник. – 2017. – № 1.;
URL: https://www.eduherald.ru/ru/article/view?id=16816 (дата обращения: 15.12.2017).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.252