Interested Article - Корчеватель (статья)
- 2020-08-21
- 1
«Корчеватель: Алгоритм типичной унификации точек доступа и избыточности» — название квазинаучной статьи, написанной программой-генератором квазинаучных англоязычных текстов SCIgen (оригинальное название статьи « Rooter: A Methodology for the Typical Unification of Access Points and Redundancy ») в 2005 году , которая была переведена на русский язык с использованием машинного переводчика , а в 2008 году была принята к публикации в российском научном журнале «Журнал научных публикаций докторантов и аспирантов», входившем в список признанных государством научных журналов . Автором идеи перевода этой статьи на русский язык был доктор биологических наук, профессор Михаил Гельфанд . Публикация привела к скандалу в научном сообществе России, после которого последовало исключение означенного журнала из списка ВАК и ужесточение требований к журналам, претендующим на попадание в ВАК , а название «Корчеватель» и вовсе стало нарицательным в научных кругах . В то же время появление этой квазинаучной статьи является не первым случаем, когда в научных изданиях публиковались доклады и статьи с заведомо бессмысленным содержанием .
Предыстория
Эксперименты с научным сообществом, заключавшиеся в публикации заведомо бессмысленных текстов на научную тематику, текстов-пародий на междисциплинарные научные исследования или статей с крайне странными и непонятными тезисами, неоднократно происходили и ранее . Так, в 1965 году в « Докладах Академии наук СССР » появилась псевдонаучная статья советского конструктора итальянского происхождения Роберто Ороса де Бартини «Некоторые соотношения между физическими константами», в обработке текста которой участвовал Семён Герштейн . По словам Герштейна, в 1962 году к нему обратился с просьбой проанализировать статью Бартини физик-теоретик Николай Боголюбов , утверждавший, что работу Бартини разгромил ЖЭТФ , оставив крайне неприятную рецензию. Процедура переработки изначального текста статьи Бартини затянулась из-за упорного сопротивления со стороны последнего: переработанную статью отправили в редакцию журнала « Ядерная физика », где Герштейн написал свою рецензию, рекомендовав статью к публикации при необычности выдвигаемых гипотез, однако получил отказ. Ситуацию спас только Бруно Понтекорво , по рекомендации которого статья и попала в «Доклады Академии наук СССР» (для публикации в которых не требовалось рецензирования), несмотря на отказ со стороны сразу двух авторитетных рецензируемых журналов .
В 1970 году на конгрессе медиков в Калифорнийском институте с заведомо бессмысленным по содержанию докладом на тему «Математическая теория игр и её применение к обучению врачей-терапевтов» выступил актёр Майлар Фокс , который не разбирался в теме доклада . В 1996 году в журнале вышла статья профессора физики Нью-Йоркского университета Алана Сокала под названием «Преступая границы: на пути к трансформативной герменевтике квантовой гравитации» ( англ. Transgressing the Boundaries: Towards a Transformative Hermeneutics of Quantum Gravity ), которая внешне напоминала философское рассуждение, но по своей сути была пародией на междисциплинарные исследования , в которой автор решил показать связь между политическими взглядами и физической теорией. В одном из других журналов Сокал одновременно сообщил, что его статья в Social Text является мистификацией, целью которой было высмеивание философов- постмодернистов , которые не разбираются в точных науках, но пишут статьи по этим наукам. В то же время его последующие попытки выступить против социологии научного знания и эмпирического науковедения встретили достаточно успешное организованное сопротивление со стороны специалистов по науковедению, в том числе физиков и математиков. Предполагалось, что опубликованная в Social Text статья вообще не подвергалась рецензированию перед публикацией, чтобы сделать дискуссии более открытыми .
Задумка SCIgen
Трое программистов-выпускников Массачусетского технологического института — Джереми Стриблинг ( англ. Jeremy Stribling ), Даниэль Агуайо ( англ. Daniel Aguayo ) и Максвелл Крон ( англ. Maxwell Krohn ) — разработали программу SCIgen , позволяющую генерировать случайно набранный текст, таблицы и диаграммы, имитируя стиль научной статьи . Суть программы заключалась в том, что компьютер анализировал большое количество статей в каком-то научном направлении, выбирал наиболее часто встречающиеся блоки слов и случайным образом составлял из них предложения: неспециалисту казалось, что составленный текст является осмысленным, но при чтении абзаца складывалось впечатление о невозможности понять суть написанного . Весь текст при внимательном рассмотрении оказывался почти бессвязным и бессмысленным, лишь отдалённо напоминая научную статью . По словам группы авторов, эту программу они создавали преимущественно для развлечения, а не для генерации осмысленного текста .
В 2005 году сгенерированный программой SCIgen документ под названием «Rooter: A Methodology for the Typical Unification of Access Points and Redundancy» был принят в качестве нерецензируемого документа на , которая должна была пройти в июле того года в Орландо (штат Флорида ), а авторам предложили выступить. Как позже заявили организаторы конференций, к установленному сроку никто из рецензентов не подготовил отзыв: на основании того, что негативных оценок не было, документ решили не исключать из повестки дня. По заявлению Джереми Стриблинга, смысл их задумки заключался в стремлении продемонстрировать отсутствие системного подхода к проведению академических форумов и научных конференций. Он заявил, что конференция была выбрана ими осознанно: ежегодно её устроители рассылали большое количество сообщений с просьбой оказать финансовую помощь. Стриблинг заявил, что ему лично надоел подобный спам , и он решил разыграть организаторов. Авторы SCIgen описали мистификацию на своём веб-сайте, обратившись с просьбой предоставить им финансовую помощь для составления случайно сгенерированных речей (к 15 апреля 2005 года они заработали чуть больше 2 тысяч долларов) . Вся история получила большую огласку, когда об этом написали на сайте Slashdot , а вскоре организаторы конференции объявили, что снимают «статью» Стриблинга, Агуайо и Крона с повестки дня, отметив, что им придётся пересмотреть процедуру принятия документов .
Публикация в России
В 2008 году коллектив газеты «Троицкий вариант» во главе с доктором биологических наук, профессором, заместителем директора Института проблем передачи информации им. А. А. Харкевича РАН Михаилом Сергеевичем Гельфандом решил провести эксперимент и опубликовать перевод англоязычной статьи Стриблинга . В качестве издания был выбран издаваемый в Курске « » , зарегистрированный адвокатом из Курска Владимиром Ивановым 5 июля 2006 года (при том, что первое издание поступило в редакцию 16 мая 2006 года) . С июля 2007 года это издание входило в «дополнительный» список ВАК , вследствие чего публикации в этом журнале считались достаточными для защиты диссертации . Издание номинально удовлетворяло всем формальным критериям: у журнала были печатная и электронная версия, институт рецензирования и редакционный совет, в который входили три преподавателя из Высшей школы экономики .
Однако Гельфанд решил изучить внимательно содержимое выпусков этого журнала: по его словам, в журнале публиковались статьи по всем наукам, начиная от культурологии и военных наук и заканчивая физикой и биологией , причём статьи представителей сомнительных образовательных организаций публиковались наравне со статьями аспирантов из вузов уровня МИФИ . Люди нередко цитировали примеры «совершенно анекдотических текстов», публикуемых в «Журнале научных публикаций…» . По мнению Гельфанда, издание всячески агрессивно себя рекламировало: Владимир Иванов регистрировался под разными никами на форумах вузов, публикуя сообщения о новом журнале и активно его продвигая. Процедура включения журнала в список ВАК началась после того, как в ноябре 2006 года на форуме ИжГТУ Иванова спросили о наличии журнала в списке ВАК, в ответ на что Иванов сказал, что журнала в списке нет. На форуме Scientific.ru с раннего утра 19 октября 2007 года началась дискуссия о статьях сомнительного качества, публикуемых в журнале, апофеозом которой стало заявление администратора о том, что такой коммерческий проект, как журнал Иванова, ведёт к разрушению научной среды, а владелец журнала всячески отстаивает его интересы. По собственным данным журнала, в октябре 2007 года на его сайте числилось 273 опубликованных статьи, а к 13 сентября 2008 года их число выросло до 799 статей при тарифе 250 рублей за публикацию страницы и дополнительно 100 рублей за рецензию одной страницы . Идея с публикацией перевода заведомо бессмысленной статьи, по мнению Гельфанда, должна была стать защитной реакцией научного сообщества на распространённое тогда «шарлатанство» .
Статья была опубликована в одном из номеров «Журнала научных публикаций…» под названием « Корчеватель : Алгоритм типичной унификации точек доступа и избыточности» : англоязычный текст статьи, сгенерированный программой SCIgen, был переведён с английского на русский язык с использованием автоматического переводчика ЭТАП-3, разработанного в Лаборатории компьютерной лингвистики Института проблем передачи информации РАН . Автором статьи был заявлен несуществующий аспирант Михаил Сергеевич Жуков из несуществующего Института информационных проблем РАН, а в качестве рецензента выступил сотрудник одного из московских вузов, название которого не было указано . Согласно Гельфанду, текст статьи был подан в «Журнал научных публикаций…» 6 августа 2008 года, а 8 августа произведена оплата публикации , составившая 4500 рублей за текст из шести страниц .
Михаил Сергеевич Гельфанд отмечал, что в статье было поставлено большое количество так называемых «предостерегающих флажков», которые должны были указать рецензенту на бессмысленность публикации и несуразность её содержания, хотя коллеги неоднократно говорили Гельфанду, что «предостерегающих флажков» в тексте слишком много и вероятность разоблачения мистификации крайне высока . В частности, на одном из приложенных к тексту статьи графиков время измерялось в терафлопсах с 1977 года; на другом графике по одной оси время поиска алгоритма выводилось в цилиндрах , а по другой — параметр латентности, выраженный в Цельсиях . Отношение сигнал/шум и вовсе измерялось в нанометрах . Список литературы также вызывал вопросы: в частности, одной из первых шла статья «Некоторые вопросы проблемы генерации случайных текстов» , а в списке литературы присутствовали авторы по фамилии Gayson (букв. с англ. — «сын гея ») и Softporn (букв. с англ. — « мягкое порно ») . В конце работы автор приводил следующий список благодарностей, который также мог заставить насторожиться внимательного рецензента :
Я благодарен профессору М. С. Гельфанду, привлекшему моё внимание к проблеме публикации случайных текстов , д.ф.-м.н. Б. Е. Штерну за внимание к работе, Дж. Стриблингу за использование текста, порождённого SciGen и к.филол.н. за использование системы «Этап-3» . Эта работа была частично поддержана ООО «Тровант».
По словам Гельфанда, уже 11 августа было получено уведомление об отправке статьи на рецензию, а спустя двое суток, 13 августа, была получена положительная рецензия , в которой автор отмечал высокую актуальность темы, отличную практическую эффективность и методологическую ценность , что крайне удивило Гельфанда . Текст статьи был подвергнут небольшой литературной правке в соответствии с замечаниями рецензента, после чего отправлен обратно в редакцию журнала для утверждения : 15 августа, в тот же день отправки переработанного варианта, Гельфанд получил уведомление о том, что статья принята к публикации в августовском номере. 2 сентября было получено уведомление о высылке авторского экземпляра по почте, а 10 сентября статья была опубликована на сайте «Журнала научных публикаций…» .
Комментируя факт публикации, Гельфанд признал, что даже в устоявшихся научных журналах могут появляться похожие «фантасмагорические» публикации, но отметил, что действительно высокорейтинговый и профессиональный научный журнал не допустил бы подобную публикацию . Оперативный ответ на статью и положительную рецензию на текст Гельфанд отметил как признак наличия проблем в научном администрировании , констатировав, что, «заплатив 4 тысячи рублей, любой может назваться учёным». Михаил Сергеевич также заявил о намерении отправить ещё несколько аналогично «сгенерированных» квазинаучных статей в ряд журналов сомнительного качества для проверки их системы рецензирования . 15 сентября 2008 года Гельфанд даже получил письмо от автора оригинального розыгрыша Джереми Стриблинга, который поздравил Михаила Сергеевича с публикацией, отметив своё восхищение рецензией .
Реакция на публикацию
СМИ и общественность
Первые сообщения о скандальной публикации поступили 30 сентября 2008 года: первыми опубликовали скандальную новость « Полит.ру » , « Грани » и « Московский комсомолец » . Несмотря на неоперативную реакцию СМИ, публикация получила в них широкое освещение и привела к большому скандалу в российском научном сообществе . Газета «Троицкий вариант» критически прошлась по «Журналу научных публикаций…», намекнув на то, что это был не первый случай, когда журнал публиковал статьи сомнительного содержания и при этом брал плату за статьи. Более того, газета утверждала, что подобная деятельность журнала с взиманием платы за статьи, что считалось одним из основных источников существования многих научных журналов, противоречила этике науки . Публикации подобных статей «Троицкий вариант» считал настолько же неэтичным, как и проведение научных конференций сомнительного уровня, учреждение псевдоакадемий наук и даже продажа фальшивых дипломов и аттестатов , а « Новая газета » вовсе предложила выдвинуть аспиранта М. С. Жукова на « Шнобелевскую премию » по литературе .
В то же время бывший министр науки и технологий России Владимир Фортов заявил, что авторы «Корчевателя» высветили большую проблему российской науки: научное сообщество и правительство не боролись должным образом за качество публикаций, а молодым учёным внушали мысль о том, что работы и исследования сомнительного качества могут сойти с рук. Фортов также отметил, что ВАК занялся массовой проверкой входящих в список ВАК малорейтинговых журналов, даже изучая возможность закрытия подобных изданий как таковых . Василий Щепетнёв в журнале « Компьютерра » иронично предложил доверить программам последующее написание диссертаций, отметив, что специалисты не смогли бы разглядеть мистификацию без явной подсказки со стороны Гельфанда и что на таких же основаниях можно подвергнуть разгромной критике любую диссертацию. Также он констатировал, что при любой попытке искусственного увеличения количества публикаций подавляющая их часть гарантированно «окажется пустышкой» .
Алексей Куприянов в статье издания « Полит.ру » под названием «Афера Гельфанда, или Кризис российской системы peer-review» выделил три фактора, способствовавших скандальной публикации. Первым фактором стали обезличенные отношения, поскольку редакция журнала даже не удосужилась связаться с автором и выяснить его личность. Вторым фактором стала роль рецензентов в российской науке, толерантность которых привела к распространению большого объёма «ползучего безумия и халтуры» в научных журналах: система рецензирования, по мнению Куприянова, должна была не только «вычислить» сбой, но и официально опровергнуть его. Третьим фактором стал механизм публикаций статей за деньги, открывший ряду хищнических журналов возможности для вымогательства средств: журналы могли законно требовать от авторов деньги за мгновенную публикацию статьи в Интернете, и многие авторы шли на это ради повышения цитирования. По мнению Куприянова, признание подобной ситуации скандальной лишь подтвердило, что научное общество России способно объединиться для сохранения качества научной работы, однако более важную роль в этом играет процесс консолидации групп учёных и интеллектуалов, а также консолидации общественного мнения о необходимости реформирования научного сообщества и изменения принципов работы ВАК .
Исключение журнала из ВАК
Главный редактор «Журнала научных публикаций…» Владимир Иванов признал, что статья «Корчеватель» была действительно опубликована в его журнале, но возложил ответственность на рецензента того института, куда посылались на проверку поступавшие в редакцию материалы: по его словам, у журнала было соглашение с одним из московских институтов, куда все статьи отправлялись на рецензию . Рецензент, указав на ряд замечаний, при этом не сделал никаких комментариев касаемо бессвязного содержимого статьи. Иванов отказался называть организацию, с которой у журнала был договор, но заявил, что с настоящего момента сотрудничество журнала с этим институтом прекращено . В защиту своего журнала Иванов говорил, что его издание помогает молодым учёным оперативно публиковать свои статьи, поскольку в других изданиях либо приходится ждать более полугода, либо платить намного большую сумму за публикации. Также он предполагал, что с его изданием пытаются разобраться подобными методами, поскольку руководство «Журнала научных публикаций…» якобы «кому-то перешло дорогу» . Вскоре редколлегия журнала была и вовсе расформирована .
17 октября 2008 года на волне разразившегося скандала «Журнал научных публикаций…» был исключён из списка ВАК . Газета «Троицкий вариант», приветствуя решение ВАК, отметила, что проведённый ею эксперимент с «Корчевателем» должен был высветить куда более широкий список проблем, чем безответственность редактора и редколлегии отдельно взятого журнала . Исключение журнала из списка ВАК не ознаменовало прекращение его выпуска, поскольку он находился в списке ВАК не по всем наукам. Значительная часть публикаций журнала выходила по специальностям, по которым «Журнал научных публикаций…» не фигурировал в списке ВАК . Требования к журналам, претендующим на включение в список ВАК, были ужесточены: 11 ноября 2008 года ректор МИСиС Дмитрий Ливанов в интервью «Троицкому варианту» сообщил, что на сайте ВАК были опубликованы новые правила формирования перечня научных изданий. В то же время Ливанов напомнил, что именно редакции журналов несут основную ответственность за качество научных статей, а диссертационные советы — основную ответственность за качество каждой из диссертаций .
Иванов пытался добиться отмены решения ВАК об исключении его журнала через суд, заявив, что решение ВАК ограничивает свободную конкуренцию и нарушает антимонопольное законодательство . Однако 27 февраля 2009 года Арбитражный суд города Москвы отклонил иск редакции «Журнала научных публикаций…» к Министерству образования и науки : было установлено, что ВАК вправе управлять списком по своему усмотрению, а исключение журнала из списка не препятствует изданию в ведении его уставной деятельности. Первоначальное решение суда было оставлено без изменения и вышестоящей судебной инстанцией . Согласно сообщениям прессы, истец не явился на первое заседание суда, прошедшее 26 января 2009 года, а на втором заседании председатель даже смеялся, читая статью газеты «Троицкий вариант» от 13 сентября 2008 года о том, как «Журнал научных публикаций…» публиковал сгенерированную статью .
«Корчеватель-2»
1 апреля 2009 года в газете «Троицкий вариант» появилось сообщение «„Корчеватель“, дубль два» авторства Кирилла Бочарова. В статье утверждалось о том, что на публикации очередного сгенерированного компьютером текста «попался» ещё один журнал, входивший в ВАК — «жертвой» был назван российский научный журнал «Вестник Томского университета . Философия, социология, политика», в одном из номеров которого была опубликована статья «Дарвинизм» за авторством человека, представленного как В. Б. Родос. Газета утверждала, что текст статьи был написан некоей компьютерной программой РОДОС, разработанной группой аспирантов и студентов Московского физико-технологического института и Института информационных проблем РАН во главе с неким Г. Л. Скуратовым-Бельским. Текст представлял собой «поток компьютерного сознания», содержащий большое количество грубых и резких высказываний: программа РОДОС якобы скопировала и «мелко нарезала» контент для этого текста с креационистских сайтов и форумов Рунета типа antidarvin.ru . Только по той причине, что ВАК не смог найти юридически подходящую формулировку и якобы решил не вести судебную тяжбу, исключение журнала из списка ВАК не состоялось. В «Троицком варианте» было также представлено интервью с Михаилом Ковалёвым, который был представлен как кандидат технических наук, член рабочей группы по проверке качества журналов и разработчик программы РОДОС. Ковалёв в своём интервью рассказал принципы работы программы РОДОС, а также указал первоисточники, которыми служили псевдонаучные сайты и форумы, фрагменты « Письма к учёному соседу » А. П. Чехова и некоторые рассказы Михаила Зощенко .
Вскоре Михаил Гельфанд признался, что новость «Троицкого варианта» о создании компьютером текста научной статьи и её публикации в журнале была от начала и до конца первоапрельской шуткой . Сама статья была подлинной : её автором был философ-логик, советский диссидент , преподававший до 1989 года в Томском государственном университете и позже эмигрировавший в США . Более того, в списке ВАК находился основной журнал «Вестник Томского государственного университета», а не отделившееся от него в 2007 году издание «Вестник Томского университета. Философия, социология, политика», которое и опубликовало статью. Причиной же подобного розыгрыша стало желание Гельфанда заступиться за сторонников эволюционной биологии , которых Родос всячески оскорблял, приписывая им заведомо ложные и абсурдные теории и затем высмеивая их. Авторами идеи подобного розыгрыша стали палеонтологи Кирилл Еськов и Александр Марков , а в написании текста участвовали Максим Борисов и сам Гельфанд . На фоне не снижавшейся до сих пор популярности «Корчевателя» Еськов предложил выдать текст статьи Родоса за результат работы компьютерной программы: он написал текст самой новости о созданной компьютером статье, а текст «интервью» с Ковалёвым подготовил Гельфанд . О розыгрыше написали такие интернет-издания, как « Грани.ру », « Полит.ру », « Русский Newsweek », «Вокруг света», «Экология и жизнь», Клуб научных журналистов, «Вечная молодость» и несколько блогов Живого журнала . В качестве «предостерегающих флажков» в статье использовали упоминание Института информационных проблем РАН, в котором якобы проходил аспирантуру виртуальный автор первого «Корчевателя», и имя Григория Лукьяновича Скуратова-Бельского, более известного как Малюта Скуратов , в качестве директора института .
По словам Гельфанда, большая часть общественности не поверила в утверждение «Троицкого варианта» об участии компьютера в написании статьи, хотя звучали заявления о том, что по стилю некоторые абзацы могли напоминать результаты работы ЖЖ-ботов или продукцию марковского генератора. Имели место также версии о том, что розыгрыш устроила редакция самого «Вестника…» или что сама статья была розыгрышем, для которого использовали имя реального человека. Из-за путаницы в названиях журнала, опубликовавшего статью, пришлось вмешаться редакции «Вестнику Томского государственного университета», которая официально заявила о реальности существования Родоса . В ответ на претензии Гельфанда главный редактор заявил, что текст был опубликован в разделе «Монологи. Диалоги. Дискуссии», для попадания в который рецензии на статьи не требовались, а поскольку журнал является философским, то позиция автора «может быть изложена не только в классически-научном , но и в публицистическом стиле» . Разразившийся скандал привёл к тому, что главный редактор «Вестника…» подал в отставку, а многие сотрудники Томского государственного университета назвали первоапрельский розыгрыш Гельфанда «безобразием» . В то же время в адрес самого ТомГУ было направлено и открытое письмо от Александра Савинова, в котором тот называл статью Родоса оскорбительной для преподавателей эволюционного учения и для сотрудников Дарвиновского музея .
См. также
Примечания
- ↑ // Троицкий вариант . — 2008. — 30 сентября ( вып. 13 , № 839 ). — С. 2—3 . 16 ноября 2021 года.
- ↑ . Русская служба Би-би-си (15 апреля 2005). Дата обращения: 4 января 2021. 14 апреля 2021 года.
- ↑ Кирилл Бочаров. // Троицкий вариант — Наука . — 2009. — 1 апреля ( № 25 ). — С. 2 . 4 января 2022 года.
- ↑ .
- ↑ .
- ↑ . Lenta.ru (1 октября 2008). Дата обращения: 4 января 2022. 7 марта 2012 года.
- ↑ (2 октября 2008). Дата обращения: 4 января 2022. 16 мая 2021 года.
- (англ.) . Массачусетский технологический институт . Дата обращения: 4 января 2022. 15 декабря 2021 года.
- Jeremy Stribling, Daniel Aguayo and Maxwell Krohn. (англ.) . Массачусетский технологический институт . Дата обращения: 4 января 2022. 28 декабря 2005 года.
- Call that gibberish? (англ.) // . — Vol. 3 , no. 6 . — P. 64 . — doi : .
- . Официальный сайт РИНЦ . Дата обращения: 4 января 2021.
- . РИА Новости (1 октября 2008). Дата обращения: 4 января 2022. 5 апреля 2018 года.
- ↑ Троицкий вариант . — 2008. — 30 сентября ( № 13 (839) ). — С. 1 . 6 августа 2013 года. //
- ↑ . Полит.ру (30 сентября 2008). Дата обращения: 4 января 2022. 6 марта 2021 года.
- ↑ Александр Панчин . // Новая газета . — 2008. — 17 октября ( № 40 ). 24 ноября 2018 года.
- ↑ . НТВ (7 октября 2008). Дата обращения: 4 января 2022. 17 апреля 2021 года.
- ↑ Василий Щепетнёв. // Компьютерра . — 2008. — 2 декабря ( № 45 ). 14 июля 2014 года.
- . Lenta.ru (22 октября 2008). Дата обращения: 4 января 2022. 15 апреля 2012 года.
- . Троицкий вариант — Наука (29 октября 2008). Дата обращения: 4 января 2022. 20 ноября 2021 года.
- Наталья Дёмина. Троицкий вариант — Наука . Дата обращения: 4 января 2022. 20 ноября 2021 года.
- ↑ . Полит.ру (4 марта 2009). Дата обращения: 4 января 2022. 21 апреля 2021 года.
- . Картотека арбитражных дела на сайте ВАС РФ . Дата обращения: 7 июля 2014. 4 января 2022 года.
- ↑ Михаил Гельфанд, Кирилл Еськов. // Троицкий вариант — Наука . — 2009. — 14 апреля. 4 января 2022 года.
- . // Вестник Томского государственного университета. — 2008. — № 1 (2) . — С. 89—119 . 8 декабря 2021 года.
- ↑ . . gorod.tomsk.ru (7 мая 2009). Дата обращения: 4 января 2022. 20 сентября 2014 года.
- . . Троицкий вариант — Наука (28 апреля 2009). Дата обращения: 4 января 2022. 13 мая 2021 года.
Литература
- Александр Емельяненков. Российская газета . — 2008. — 29 октября ( № 4782 ). //
- Вып. 19 . — С. 52—60 . — ISSN . // Мысль: Журнал Петербургского философского общества. — СПб. : , 2015. —
- Щавелёв С. П. Курский «корчеватель» для аспирантов // . — М. : , Наука , 2013. — 803 с. — ISBN 9785457086074 .
Ссылки
- . Сохранённый текст статьи . Журнал научных публикаций аспирантов и докторантов. 16 октября 2008 года.
- Ирина Якутенко. . Lenta.ru (18 июня 2009). Дата обращения: 4 января 2022.
- 2020-08-21
- 1