Оценка научной деятельности

Сроки проекта: c 7 июня по 31 декабря

Последние годы ведутся самые горячие споры относительно оценки эффективности научной деятельности, которая (эта оценка) на самом деле должна стимулировать качество сферы исследований и приводить общество к осознанию критичной важности аккумулирования интеллекта как главного драйвера развития в современном мировом укладе. По-видимому идеальные показатели при такой оценке установить невозможно.

Следует ли на законодательном уровне каким-либо образом прописать правила и нормы организации профессиональной экспертной оценки научной деятельности?

Как принять участие:

– Ознакомьтесь с предложениями коллег

– Оцените и прокомментируйте их

– Опишите ваши предложения

До конца проекта осталось
20
дней
19
часов
33
минуты
35 предложений
Показывать

Академические журналы и перечень ВАК.

Уважаемый коллеги!


Хотелось бы уточнить статус журналов Российской академии наук (РАН). В принципе, журналы и работы РАН выше университетских работ по статусу, однако всем известно, что инновации идут из университетов. При этом подавляющее большинство журналов списка Высшей аттестационной комиссии (ВАК) — это вестники университетов и т. д., при том, что многие академические журналы вовсе отсутствуют в перечне ВАК.


Поэтому:


1. Убедительно прошу внести такие показатели, как количество семинаров иностранных издательств и баз данных в университетах и научных организациях Российской федерации.


2. Убедительно прошу внести такой показатель, как количество семинаров отечественных издательств, количество семинаров, представляющих академические журналы.


Нужно иметь ввиду, что несмотря на формальное отношение к цифровым «галочкам», отношение к вестникам университетов (несмотря на то, что иногда там публикуются открытия) известно, истории продажи различных версий академических журналов также распространяются через бесплатные книги на конференциях.


Поэтому, по моему мнению, тем более при учете мониторинга РАН, требуется определиться, либо какие журналы действительно выше, либо внести академические журналы в перечень ВАК, как минимум, ради справедливости.


В 2014 г. на лекции ЛШСМ был рассказан пример, когда ради эксперимента были выложены 50% заданий ЕГЭ и проанализирована статистика, подобные эксперименты также проводились в США, однако на тот момент в руках наших ученых были данные гораздо большего масштаба, насколько я помню, далее планировалась подготовка диссертации на степень Ph.D.


Уважаемые коллеги, убедительная просьба обратить внимание, что подобный пример, при отсутствии отечественной базы данных всех существующих публикаций [1] и без должного уважения к выдающимся личностям нашего Отечества (например, у меня несколько консультантов по диссертации работают в Академии наук, а я не могу их формально включить из-за требований ВАК на одного консультанта [2], и это не материальный вопрос, и так фактически помощь волонтерская!) [3], будет обобщен по новым данным в очередную диссертацию.


Уважаемые коллеги, убедительная просьба обратить внимание на проблемы в спорте, медицине, пищевой промышленности, бизнесе и в др. областях, они очень схожи с теми, с которыми сталкиваются российские ученые!



Литература:


1. О создании отечественной международной базы данных научных публикаций. - Оценка научной деятельности - preobra.ru [Электронный ресурс] URL: https://www.preobra.ru/improject-14186/ideas/15430 (дата обращения: 07.12.2019).


2. О изменении количества научных руководителей и консультантов в аспирантуре. - Глобальная наука - preobra.ru [Электронный ресурс] URL: https://www.preobra.ru/improject-14185/ideas/15344 (дата обращения: 07.12.2019).


3. О введении должности почетного профессора. - Формы и практики научной деятельности - preobra.ru [Электронный ресурс] URL: https://www.preobra.ru/improject-14182/ideas/15341 (дата обращения: 07.12.2019).

О создании отечественной международной базы данных научных публикаций.

Уважаемые коллеги!


Требуется создание отечественной международной базы данных научных публикаций.


Данные такой базы данных должны храниться в Российской федерации, оплачиваться должны отечественные сервера для хранения данных этой базы данных.


Были направлены информационные письма об этой идее в Яндекс, в Mail.ru, считаю, что в этом напрямую должны быть заинтересованы также библиотеки, например, университетские библиотеки (в том числе библиотека НИЯУ МИФИ), Российская государственная библиотека и др.


Что требуется в функционале данной базы данных, кроме возможности быстрого (подчеркиваю, быстрого доступа, быстрого поиска, т. к. у базы данных с публикациями РИНЦ на 2019 г. очень медленно работает поиск!) доступа к информации о данных публикациях, быстрого, качественного поиска и ссылок на саму публикацию / материал публикации? Требуется автоматизированная по ГОСТу ссылка для формированию отчета. Это очень удобно, но нужно понимать, что прежде всего публикация - это информация. И то, что к некоторым публикациям о свежей информации доступ через полгода — год, это не означает, что не будут использоваться новости о данной информации и не будет ссылок на данные новости.


Почему это проблема?


Уважаемые коллеги, проблема обеспечения российской цифровой правды на сегодняшний день актуальна для Российской федерации, к сожалению, во всех сферах жизни!


Вы ждете автоматизированного формального повода для создания того, что реально требуется для обыкновенной работы в современном обществе? Посмотрите на проект «Наука», на который также часто ссылаются. Появляются идеи, что действительно, нужно писать в отечественные журналы, только нужно, чтобы их иностранные базы данных для отчетности учитывали. Но нужна и своя обработка данных для того, чтобы хотя бы для начала понимать, что иногда больше 40 стран может читать публикации именно на русском языке, а затем уже искать причины таких явлений.


Очевидно, что в том числе и из-за отсутствия таких данных для обработки, из-за отсутствия видения таких результатов и данных у широкого круга российской аудитории отсутствует интерес к проектам, позволяющим обозначить реальный престиж российской науки [1].


Литература:

1. О введении должности почетного профессора. - Формы и практики научной деятельности - preobra.ru [Электронный ресурс] URL: https://www.preobra.ru/improject-14182/ideas/15341 (дата обращения: 07.12.2019).


Образование и искусственный интеллект.

Уважаемые коллеги!

В современном информационном обществе глобализация, рост значения искусственного интеллекта в аналитике огромных массивов данных ведут к увеличению рисков применения цифровых технологий. К сожалению, рассмотрение вопросов обеспечения информационной безопасности государства в отрыве от вопросов развития аппаратной части вычислительных систем, создания отечественных международных баз знаний (агрегаторов информации, информационных систем и т. д.) только усугубляет проблемы, связанные с поляризацией информационного пространства, возникающей из-за различия в вычислительных возможностях его участников, различного понимания правил предоставления информации в общее для всех участников пространство и ошибок выработки критериев, направляющих информационные потоки в конкретном направлении (например, они могут ставить в зависимость российских исследователей от иностранных журналов искусственным образом из-за отсутствия у отечественных журналов соответствующих «значков»).

В современном обществе образование начинает обучать не только людей, но и искусственный интеллект. Для обучения нейросетей используют базы знаний. В историческом контексте, ученые и библиотеки выделяют такие информационные агрегаторы, как eLIBRARY.ru (осн. 1998 г.), Scopus (осн. 2004 г.), Google Scholar (осн. 2004 г.) и Web of Science (осн. 2016 г.). В том числе в работе используют проект МИАН РАН Math-Net.Ru, развивается и предоставляет национальный тестовый доступ наукометрическая система Dimensions. Кроме агрегирования информации, такого рода системы позволяют отслеживать взаимодействия, взаимосвязи между научными направлениями. Также считается, что дата индексации статьи в базу данных позволяет устанавливать справедливость в различного рода спорных вопросах. В современном информационном обществе длительные сроки выхода публикации и добавления её в базу данных (к сожалению, иногда суммарный срок доходит до 2,5 лет!) заставляют использовать более быстрые способы донесения информации, используют архивы, из-за чего функции агрегаторов начинают выполнять поисковики, а информация в агрегаторах обесценивается.

Расширение информационного поля и снижение количества физических информационных объектов позволяет не только управлять и манипулировать информационным порядком, находить статистические пороги необходимости литературы (ёё физической реализации) по конкретному направлению на конкретном языке, но и позволяет создавать мощные нейросетевые «модели всего» [1] за счет автоматизированного анализа информации как общего, как и частного информационных пространств.

Интерес к статистическим оценкам взаимодействия с информацией для обучения нейросетей говорит в том числе и о важности выработки критериев оценки статей на родном языке, развития отечественных баз данных с РИНЦ в направлении более удобного использования данных баз знаний. Также это было бы полезно для развития отечественных поисковиков (Yandex, Mail.ru), перспективно выглядит интеграция с сервисом Яндекс.Патенты (похожее реализовано в Google Scholar), подобного рода задачи также были бы интересны студентам и аспирантам (Техноатом Mail.ru).

Культура цитирования играет важную роль в развитии нейросетевых систем знания, автоматизация ссылок по ГОСТу только лишний раз усиливает влияние данных требований. Отечественные международные базы данных также покажут насколько реально востребованы статьи на родном языке у представителей других стран, позволят создать свои и улучшить действующие нейросетевые мультифизические модели.


Литература:

  1. iMat: Data extraction from scientific papers through Machine Learning, EMMC Workshop 2019 Industrial Impact of Materials Modelling, 8-10 July 2019, Turin - Italy.


О публикации критериев стипендий Президента РФ и Правительства РФ.

Уважаемые коллеги!


Убедительная просьба после публикации ранжированных списков студентов и аспирантов на стипендии Президента РФ и Правительства РФ также публиковать актуальные критерии и актуальные баллы за каждый критерий (Например, так реализовано в ЕГЭ)!


Данное нововведение позволит лишний раз избавить от неточностей и т. д. в эпоху цифровизации, а также позволит лишний раз убедиться участникам в прозрачности данных конкурсов.


Пример: стипендии Президента РФ и Правительства РФ, обучающихся по образовательным программам высшего образования по специальностям или направлениям подготовки, соответствующим приоритетным направлениям модернизации и технологического развития российской экономики.


"Диссернет" - охота на ведьм

Ни в коем случае не использовать этот интересный ресурс "Диссернет" для лишения ученых степеней. Существование текстуального плагиата не является критическим в оценке собственно исследований и разработок. У ВАК есть процедура черного оппонента, которая позволяет проверить качество именно работы, а не словечек в рукописи. Защита же интеллектуальной собственности предусмотрена законодательством. Лишение ученых степеней уже начинает принимать механический характер. Это недопустимо. Призываю к осторожности и объективности. Оценка по модным наукометрическим показателям, также не отвечает объективности. Уже всем известно, как повысить эти индексы, погоня за которыми приводит к умножению скороспелых сырых, слабых публикаций, а следовательно и научных результатов. Этим возвращается знаменитый советский план по валу. Оценка научной деятельности должна осуществляться независимыми экспертами в данной области. К сожалению, бюрократия сегодня множится и отягощает работу диссертационных советов, которые начинают заниматься отысканием каких-то "правильных" слов в рукописях и авторефератах, вместо анализа собственно научной работы.

Реальная ценность диссертационного исследования

Обесценивание ученой степени в научной среде РФ происходит максимально быстрыми темпами. Бюрократизация процесса защиты и прикрепления к организации, не эффективная система стимулов для продвижения диссертаций в академической среде делают ученую степень в современной России фикцией не только для мировой науки, но и в глазах российского общества. Предлагаю отменить сегодняшний регламент защиты диссертаций, отменить кандидатские диссертации. А ученые степени выше магистра присваивать по совокупности публикаций, экспертной оценки перспектив их практической реализации, значимости для фундаментальной науки и индекса цитирования. Данная форма защиты должна быть максимально прозрачной для общества в целом и для соискателя ученой степени в частности. Соискатель не должен зависеть от руководителя в той степени, в какой он зависит сегодня. Соискатель не должен зависеть от требований кандидатского минимума. Любой заинтересованный в научной деятельности соискатель самостоятельно найдет возможность перевода своей работы на английский язык. Критерии общих оценок и рецензирование научных публикаций должны соответствовать мировым стандартам.

Создание единой государственной системы учёта результатов труда научного сотрудника

Предлагаю создать общегосударственную систему учёта результатов труда каждого сотрудника с открытым к ней доступом. Примером такой системы в рамках одного вуза может служить ИСТИНА МГУ https://istina.msu.ru
То есть, в публичном доступе окажется информация о публикационной, педагогической и иной деятельность каждого научного сотрудника.
Создание такой системы позволит сделать более прозрачными результаты труда каждого учёного. Также всем интересующимся будет понятно над какими проблемами работает тот или иной сотрудник, что будет способствовать более лёгкому налаживанию профессиональных связей.

Если систему интегрировать с профилями в системах КИАС РФФИ, ИАС РНФ и т.д., то это сразу облегчит участие в конкурсах, потому как избавит от необходимости бесконечного ввода списка своих публикации для участия в заявках на гранты. Также на основе данных, можно будет рассчитывать наукометрические коэффициенты, по которым выплачивается часть надбавок (та часть, которая распределяется по объективным показателям) научным сотрудникам за работу по госзаданию институтов.

Так же с использованием данных системы может проводиться автоматизированная аттестация ученых на соответствие квалификационным требованиям, предъявляемым к младшим научным сотрудникам, научным сотрудникам, старшим научным сотрудникам, ведущим научным сотрудникам, главным научным сотрудникам в части их публикационной активности. Равно как и автоматизированный допуск для участия в конкурсе на работу на указанных выше позициях.

Оценка ИНДИВИДУАЛЬНОЙ научной деятельности - введение АИП

Как известно, в настоящее время научная деятельность (НД) все больше оценивается по формальным показателям. Поскольку объективной и реальной оценки научной значимости работы за короткое время (2-5 лет) дать невозможно, то наукометрические показатели важны. Они также помогают оценивать результаты НД государственным и финансовым структурам, мало понимающим в науке по сути.

Наряду с существующими показателями оценки ПРЕДЛАГАЮ:

1) Ввести как важный и необходимый показатель продуктивности научной деятельности количество ИНДИВИДУАЛЬНЫХ публикаций за период 1-2 лет. То есть выпущенных статей в журналах индексируемых в WoS и Scopus под именем ОДНОГО автора. Назовем этот индекс-показатель АИП-авторские индивидуальные публикации.

Кого и как это должно касаться следует обдумать и разработать, в частности в Министерстве науки и образования.

Например - это может не касаться молодых сотрудников, не имеющих ученой степени; для экспериментаторов, работающих с большим коллективом - показатель может быть ниже, как и для ученых, серьезно занятых администрированием.

Введение такого показателя призвано отсечь от излишнего и неоправданного финансирования (или уменьшить его) многих авторов, вносящих минимальный вклад, или просто приписанных к статьям. Что более важно - индексация по АИП позволит выделить и поддержать реально работающих ученых.

А оценку работ пусть производят рецензенты журналов, как это было всегда.

2) Уменьшить (в отличие от имеющейся тенденции) роль квартилей в системе индексации WoS в оценке научной деятельности.

Как известно реально новые и не рутинные научные работы с трудом проходят в журналы Q1-Q2. Это связано с рядом причин, включая боязнь наиболее авторитетных журналов опубликовать пионерски новую работу. Есть и иные причины.


С уважением,

С.А. Тригер,

д.ф-м.н., профессор

Регулярный мониторинг деятельности научных работников

Министерство науки и высшей школы регулярно проводит мониторинги деятельности научных организаций. Однако до уровня отдельных учёных не доходит. Это остаётся за организацией. А между тем существует система, которая не позволяет академическим учреждениям избавляться от учёных, которые либо вообще не занимаются научной деятельностью, либо занимаются её имитацией. Но у них хорошие связи, они удобны по каким-то причинам для руководителей учреждений. Поэтому предлагаю проводить регулярный мониторинг деятельности не только научных организаций, но и отдельных учёных, скажем, один раз в три года. И по результатам мониторинга, учитывающего как наукометрические показатели, так и экспертные оценки, принимать решение об увольнении из академического института тех "учёных", чья деятельность сводится или к имитации научной активности, или они вообще ничего не делают. Такая же ситуация сложилась и в высшем образовании - есть профессора, которые последние учебные пособия выпустили лет двадцать назад, а после этого учебно-методической работой не занимаются совсем. Их надо увольнять, давая возможность занять рабочее место тем, кто готов заниматься научной (в академическом институте) или учебно-методической (в вузе) деятельностью.


Учёт патентной активности при мониторинге научной деятельности

В настоящее время патентная активность Вузов в мониторинге научной деятельности слабо отражена. Странным является и то, что патенты на полезные модели, изобретения и программные продукты частично отражаются у авторов в базе библиотеки Elibrary. Необходимо, чтобы такие публикации входили в рейтинги, также как публикации WoS и Scopus .