История развития методов оценивания в социальных и поведенческих науках за рубежом
В статье рассматривается история развития оценочных методов за рубежом, состоящая из трех основных этапов. Первый этап характеризуется доминированием экспериментальной традиции, второй — появлением новых альтернатив (качественные исследования, метаанализ и программная теория), третий — интеграцией к...
Gespeichert in:
| Datum: | 2010 |
|---|---|
| 1. Verfasser: | |
| Format: | Artikel |
| Sprache: | Russian |
| Veröffentlicht: |
Iнститут соціології НАН України
2010
|
| Schriftenreihe: | Социология: теория, методы, маркетинг |
| Online Zugang: | http://dspace.nbuv.gov.ua/handle/123456789/90015 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | История развития методов оценивания в социальных и поведенческих науках за рубежом / С. Дембицкий // Социология: теория, методы, маркетинг. — 2010. — № 3. — С. 173–184. — Бібліогр.: 17 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-90015 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-900152015-12-21T03:02:35Z История развития методов оценивания в социальных и поведенческих науках за рубежом Дембицкий, С. В статье рассматривается история развития оценочных методов за рубежом, состоящая из трех основных этапов. Первый этап характеризуется доминированием экспериментальной традиции, второй — появлением новых альтернатив (качественные исследования, метаанализ и программная теория), третий — интеграцией качественных и количественных методов. Особое внимание уделено метаанализу и программной теории. Метаанализ представляет собой совокупность статистических методов для объединения результатов различных количественных исследований. Его главной целью является получение исчерпывающего заключения относительно эмпирических данных, имеющихся по определенной тематике. Программная теория заключается в моделировании (обычно в графической форме) взаимосвязей между различными элементами программы, подлежащей оцениванию. Составленная модель определяет исследовательский дизайн и компоненты программы, на которых следует сфокусироваться наиболее тщательно. В заключение в статье рассматриваются исследовательские дизайны в исследованиях смешанного типа, предназначенных для проведения оценки, а также ситуация, сложившаяся в сфере оценочных исследований в Украине. 2010 Article История развития методов оценивания в социальных и поведенческих науках за рубежом / С. Дембицкий // Социология: теория, методы, маркетинг. — 2010. — № 3. — С. 173–184. — Бібліогр.: 17 назв. — рос. 1563-4426 http://dspace.nbuv.gov.ua/handle/123456789/90015 303.44 ru Социология: теория, методы, маркетинг Iнститут соціології НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Russian |
| description |
В статье рассматривается история развития оценочных методов за рубежом, состоящая из трех основных этапов. Первый этап характеризуется доминированием экспериментальной традиции, второй — появлением новых альтернатив (качественные исследования, метаанализ и программная теория), третий — интеграцией качественных и количественных методов. Особое внимание уделено метаанализу и программной теории. Метаанализ представляет собой совокупность статистических методов для объединения результатов различных количественных исследований. Его главной целью является получение исчерпывающего заключения относительно эмпирических данных, имеющихся по определенной тематике. Программная теория заключается в моделировании (обычно в графической форме) взаимосвязей между различными элементами программы, подлежащей оцениванию. Составленная модель определяет исследовательский дизайн и компоненты программы, на которых следует сфокусироваться наиболее тщательно. В заключение в статье рассматриваются исследовательские дизайны в исследованиях смешанного типа, предназначенных для проведения оценки, а также ситуация, сложившаяся в сфере оценочных исследований в Украине. |
| format |
Article |
| author |
Дембицкий, С. |
| spellingShingle |
Дембицкий, С. История развития методов оценивания в социальных и поведенческих науках за рубежом Социология: теория, методы, маркетинг |
| author_facet |
Дембицкий, С. |
| author_sort |
Дембицкий, С. |
| title |
История развития методов оценивания в социальных и поведенческих науках за рубежом |
| title_short |
История развития методов оценивания в социальных и поведенческих науках за рубежом |
| title_full |
История развития методов оценивания в социальных и поведенческих науках за рубежом |
| title_fullStr |
История развития методов оценивания в социальных и поведенческих науках за рубежом |
| title_full_unstemmed |
История развития методов оценивания в социальных и поведенческих науках за рубежом |
| title_sort |
история развития методов оценивания в социальных и поведенческих науках за рубежом |
| publisher |
Iнститут соціології НАН України |
| publishDate |
2010 |
| url |
http://dspace.nbuv.gov.ua/handle/123456789/90015 |
| citation_txt |
История развития методов оценивания в социальных и поведенческих науках за рубежом / С. Дембицкий // Социология: теория, методы, маркетинг. — 2010. — № 3. — С. 173–184. — Бібліогр.: 17 назв. — рос. |
| series |
Социология: теория, методы, маркетинг |
| work_keys_str_mv |
AT dembickijs istoriârazvitiâmetodovocenivaniâvsocialʹnyhipovedenčeskihnaukahzarubežom |
| first_indexed |
2025-07-06T18:09:39Z |
| last_indexed |
2025-07-06T18:09:39Z |
| _version_ |
1836922049273004032 |
| fulltext |
Сергей Дембицкий
История развития методов оценивания в социальных и поведенческих науках за рубежом
СЕРГЕЙ ДЕМБИЦКИЙ,УДК 303.44
àñïèðàíò îòäåëà èñòîðèè, òåîðèè è ìåòî-
äîëîãèè ñîöèîëîãèè Èíñòèòóòà ñîöèîëîãèè
ÍÀÍ Óêðàèíû
Аннотация
В статье рассматривается история развития оценочных методов за рубе$
жом, состоящая из трех основных этапов. Первый этап характеризуется до$
минированием экспериментальной традиции, второй — появлением новых аль$
тернатив (качественные исследования, метаанализ и программная теория),
третий — интеграцией качественных и количественных методов.
Особое внимание уделено метаанализу и программной теории. Метаанализ
представляет собой совокупность статистических методов для объединения
результатов различных количественных исследований. Его главной целью явля$
ется получение исчерпывающего заключения относительно эмпирических дан$
ных, имеющихся по определенной тематике.
Программная теория заключается в моделировании (обычно в графической
форме) взаимосвязей между различными элементами программы, подлежащей
оцениванию. Составленная модель определяет исследовательский дизайн и
компоненты программы, на которых следует сфокусироваться наиболее тща$
тельно.
В заключение в статье рассматриваются исследовательские дизайны в иссле$
дованиях смешанного типа, предназначенных для проведения оценки, а также
ситуация, сложившаяся в сфере оценочных исследований в Украине.
Ключевые слова: методы оценивания, метаанализ, программная теория,
теоретически направляемое оценивание, исследования смешанного типа
В своем известном руководстве, посвященном основам исследовате�
льского дизайна и социального измерения, Д.Миллер выделил три типа эм�
пирических исследований — базовые, прикладные и оценочные. Целью ба�
зовых исследований является производство новых знаний, раскрывающих
Социология: теория, методы, маркетинг, 2010, 3 173
природу взаимоотношений между различными явлениями. Прикладные
исследования направлены на проверку пригодности знаний, полученных
с помощью базовых исследований, в отношении различных предметных
сфер, их способности решать социальные проблемы. В свою очередь, оце�
ночные исследования позволяют проанализировать эффективность той
или иной программы, предназначенной для решения социальной проблемы
[Miller, 2002: p. 3].
Если первые два типа хорошо известны в отечественной социологии1, то
последний не стал объектом пристального внимания. Так, на I Конгрессе
Социологической ассоциации Украины (Харьков, 2009) из множества сде�
ланных выступлений лишь одно непосредственно касалось оценочных ис�
следований [Крапива, 2009: с. 260]. Причину сложившейся ситуации может
прояснить история развития оценочных методов за рубежом.
История развития методов оценивания, в своих главных чертах отвечает
эволюции методологических взглядов в западной социологии. Речь идет о
первоначальном доминировании количественного подхода к изучению соци�
альной действительности и последующей легитимации оппозиционного ему
качественного подхода. Но если в общеметодологическом контексте разви�
тие обоих подходов происходило во многом на основе столкновения двух ви�
дов исследовательского пуризма, то в сфере оценивания, имеющей приклад�
ной характер, источником развития были практические трудности, требую�
щие прагматического разрешения [Rallis, Rossman, 2003: p. 491–492].
Начало: экспериментальная парадигма
Скачок интереса к оценочным методам произошел в США в середине
1960�х годов. Его непосредственной причиной стала реализация программы
“Великое общество” президента Линдона Джонсона. Конгресс США одоб�
рил много новых программ, а в наиболее важных из них было утверждено и
систематическое оценивание [Rossi, Wright, 1984: p. 332]. Основные на�
правления политической программы Л.Джонсона включали “войну с бед�
ностью”, развитие социального законодательства, программу “Медикэр”,
федеральную помощь образованию и культуре, создание Министерства жи�
лищного строительства и городского развития [Американа, 1996: с. 386].
Соответственно были созданы новые государственные учреждения,
частично укомплектованные учеными социального профиля, заинтересо�
ванными в проведении прикладных исследований. Среди них были эконо�
мисты, социологи, психологи, а также специалисты в сфере образования.
Междисциплинарный характер этой исследовательской активности за�
служивает особого внимания. Во�первых, специалисты из различных сфер
были вынуждены конкурировать друг с другом, а это, в свою очередь, спосо�
бствовало обмену знаниями, профессиональными навыками и взаимному
признанию. Во�вторых, исследовательские фирмы узкого профиля стали
обращать внимание на специалистов из других предметных областей с
целью повышения своей конкурентоспособности. В�третьих, сформирова�
лись междисциплинарные научные сообщества — Сообщество оценочных
исследований и Оценочная сеть [Rossi, Wright, 1984: p. 332–333]. В 1986
174 Социология: теория, методы, маркетинг, 2010, 3
Сергей Дембицкий
1 Под “отечественной” понимается исключительно украинская социология.
году эти организации объединились в Американскую оценочную ассоциа�
цию, являющуюся, по сути, международной организацией. На данный мо�
мент ассоциация включает около пяти с половиной тысяч членов, представ�
ляющих все 50 штатов США и 60 зарубежных стран [Encyclopedia of Evalua�
tion, 2005: p. 17].
Наиболее пассивно восприняли новые возможности, связанные с оце�
ночными исследованиями, ученые университетов. Частный сектор, напро�
тив, оперативно отреагировал на их появление. Исследовательские фирмы
создали либо значительно расширили имеющиеся подразделения, отвечаю�
щие за проведение социальных исследований. Также на этом этапе появи�
лось множество новых фирм, продемонстрировавших впечатляющие успе�
хи в сфере оценочных исследований. Еще одним крупным участником, на�
чавшим предоставлять соответствующие услуги, стали крупные научно�ис�
следовательские институты (например, в Чикаго и Мичигане) [Rossi,
Wright, 1984: p. 333–334].
Рост интереса к оценочным исследованиям отразился и на соответству�
ющих методологических разработках. Опубликованная в 1966 году работа
Дональда Кэмпбелла и Джулиан Стенли [Campbell, Stanley, 1966], посвя�
щенная исследовательскому дизайну для оценивания эффективности обра�
зовательных программ, обеспечила совершенно новую терминологическую
базу для классификации исследовательских дизайнов и обсуждения про�
блем валидности. А экспериментальная парадигма, основывающаяся в пер�
вую очередь на рандомизированном контролируемом эксперименте, задала
тон в причинно�следственном анализе. Значительная часть оценочных ис�
следований на данном этапе ориентировалась именно на стандарты экспе�
риментальных исследований.
Изначально цель оценивания заключалась в измерении результирую�
щих эффектов программы. Соответственно, главная методологическая про�
блема сводилась к определению тех ключевых факторов, которые при про�
чих равных условиях позволили бы валидно оценить эти результирующие
эффекты. В рамках этого подхода рандомизированный контролируемый
эксперимент получил доминантный статус. Его концептуальные основы
были заложены намного раньше в психологии и биологии, в которых ис�
пользование экспериментальных исследований было распространено по�
всеместно. Главным отличием между экспериментами в оценочных иссле�
дованиях и экспериментами в психологии и биологии было то, что первые
были полевыми исследованиями и требовали интеграции опросных техник,
а вторые — лабораторными. Для многих ученых социальной сферы, при�
держивающихся технократических взглядов, рандомизированный полевой
эксперимент обещал заменить неэффективный метод проб и ошибок и по�
высить адекватность решений, принимаемых для улучшения социально�
политического состояния общества.
В начале 1970�х были профинансированы и начались впечатляющие по
своему масштабу полевые эксперименты. Парадоксально, но большинство
из них были спланированы и реализованы экономистами — теми, кто был
далек от экспериментальной традиции.
Однако вскоре стало очевидно, что рандомизированный контролируе�
мый эксперимент может быть корректно осуществлен только в ограничен�
ных условиях, а потребность в оценке существует во многих программах,
Социология: теория, методы, маркетинг, 2010, 3 175
История развития методов оценивания в социальных и поведенческих науках за рубежом
которые попросту не могут быть оценены экспериментальными методами.
Барьеры заключались не только в этических и правовых ограничениях ран�
домизации, но и в том, что многие существующие программы, полностью
охватывающие свою целевую аудиторию, просто нельзя было оценить с по�
мощью контролируемого эксперимента — по причине невозможности со�
здания подходящей контрольной группы. Кроме того, полевые эксперимен�
ты занимали очень много времени — от 3 до 5 лет и больше (от составления
дизайна до итогового отчета). Последнее ограничение было просто непри�
емлемым для большинства политиков и государственных чиновников, ори�
ентирующихся на куда более короткую временную перспективу.
Д.Кэмпбелл и Дж.Стенли предложили одно из возможных решений
этих проблем, заключающееся в проведении квазиэкспериментальных ис�
следований, не требующих рандомизации. Они рассмотрели и соответству�
ющие методологические вопросы.
Но и квазиэкспериментальный дизайн имел существенные ограниче�
ния. Во�первых, хотя и не в такой степени как истинные, квазиэксперимен�
ты требовали значительных финансовых и временных затрат, а также при�
влечения персонала со специальными навыками. Во�вторых, многие пра�
вильно проведенные квазиэксперименты (особенно модель временных ря�
дов) предусматривали наличие данных, получаемых в течение длительного
времени — в идеале требовались данные, собранные до начала программы и
после ее завершения на протяжении длительного времени. В подавляющем
большинстве случаев данных, собранных до начала проведения программы,
не было. В�третьих, в таких исследованиях всегда существовала серьезная
угроза получить артефакты вместо необходимой информации относитель�
но эффекта программы [Rossi, Wright, 1984: p. 334–335]. Последнее связано
с угрозами валидности. Для внутренней валидности основной является
историческая угроза1, а для внешней — угроза взаимодействия процесса тес�
тирования и независимого фактора2 (более подробно см.: [Малхотра, 2007:
с. 346–347]).
Коррекция опытом: новые альтернативы
Вследствие рассмотренных выше проблем очень быстро возникла по�
требность в таких методах, которые бы позволили осуществлять своевре�
менную, сравнительно недорогую и “чувствительную” к потребностям чи�
новников оценку. Последнее значительно усилило интерес к качественным
методам, использование которых не требовало специальных технических
навыков. Эти методы всегда имели своих приверженцев в социальных на�
уках и особенно в социологии, поскольку обеспечивали понимание соци�
альных процессов благодаря близости к полевым условиям.
176 Социология: теория, методы, маркетинг, 2010, 3
Сергей Дембицкий
1 Специфические события, посторонние по отношению к эксперименту, но происхо�
дящие одновременно с ним. Такие события могут воздействовать на значение зависи�
мых переменных, то есть в противовес независимой переменной являться причинным
фактором.
2 Эффект, проявляющийся в том, что предварительная оценка влияет на реакцию еди�
ниц наблюдения на независимую переменную. При наличии такого эффекта не всегда
корректно распространять полученные результаты на генеральную совокупность.
Важным качеством, с точки зрения оценивания, была и их гибкость —
однажды включенные в оценку какой�либо программы, они позволяли ме�
нять их фокусировку от одного аспекта к другому, а не придерживаться лишь
заранее заданных исследовательским дизайном целей. Кроме того, были и та�
кие программы, где цели не определялись достаточно четко. Поэтому каждое
агентство, участвующее в реализации таких программ, само формулировало
задачи, а также имело возможность менять их в процессе работы. Качествен�
ные методы позволяли разрешать затруднения подобного рода.
Но качественные методы были не единственной альтернативой экспе�
риментальному подходу. Наряду с ними стали широко применять метаана�
лиз и программную теорию [House, 2005: р. 1070]. Поскольку эти методы
практически не освещены в отечественной литературе, предлагаю остано�
виться на них более подробно.
Метаанализ представляет собой совокупность статистических мето�
дов для объединения результатов различных количественных исследова�
ний с целью получения исчерпывающего заключения относительно эмпи�
рических данных по определенной тематике. Данный подход используется
для анализа центральных тенденций и вариации совокупности независи�
мых исследований, а также для коррекции имеющихся ошибок и смещений.
При этом результаты всех отобранных для метаанализа исследований пре�
образуются в соответствии с общей метрикой (так называемый эффектив�
ный размер), после чего объединяются в общий массив [Corcoran, Littell,
2010: p. 299].
Поэтапное применение метаанализа представлено в работе Чиех�Чена
Бовена [Bowen, 2008: p. 705–720]. Автор выделяет восемь этапов метаанали�
за: 1) концептуализация взаимосвязи между двумя переменными, интере�
сующими исследователя; 2) отбор совокупности исследований, в которых
проверяется взаимосвязь, выделенная на предыдущем этапе; 3) дизайн про�
граммного бланка (coding sheet) для регистрации условий, в которых про�
водились отобранные исследования; 4) рассмотрение каждого исследова�
ния с использованием программного бланка для фиксации соответствую�
щих условий; 5) вычисление межкодировочной надежности в отношении
результатов предыдущего этапа; 6) вычисление “эффективного размера”
для каждого исследования; 7) статистический анализ характеристик и эф�
фективных размеров; 8) исследовательский отчет.
На первом этапе исследователь должен определить независимую (X) и
зависимую (Y) переменные как в теоретических, так и в операциональных
терминах. Это определение очерчивает границы для литературы, подлежа�
щей рассмотрению. Переменные�посредники (moderator variables, W) или
характеристики исследования также важны. Они представляют перемен�
ные, которые могут повлиять на направление и/или силу взаимосвязи меж�
ду X и Y. Эти переменные следует определить настолько четко, насколько
это возможно.
На следующем этапе необходимо получить доступ ко всем или, по край�
ней мере, к максимально возможному количеству релевантных исследова�
тельских отчетов. По возможности следует включить в метаанализ неопуб�
ликованные исследования (тезисы, диссертации, технические отчеты и ра�
бочие документы). Выборка в метаанализе относится к числу эффективных
Социология: теория, методы, маркетинг, 2010, 3 177
История развития методов оценивания в социальных и поведенческих науках за рубежом
размеров, имеющихся в предыдущих исследованиях. Ее рекомендуемый
размер составляет тридцать и более единиц.
Несмотря на то, что в каждом отобранном исследовании проверяется
взаимосвязь между X и Y, условия, в которых измерялась эта взаимосвязь
(W), могут варьировать от одного исследования к другому. На третьем этапе
осуществляется подготовка к фиксации таких условий. Для этого создается
программный бланк. В дальнейшем переменные�посредники могут быть
использованы для объяснения противоречивых результатов различных ис�
следований. С целью надлежащего дизайна программного бланка исследо�
ватель должен: 1) быть хорошо знаком со всеми включенными в метаанализ
исследованиями; 2) использовать пригодную теорию в качестве руковод�
ства по определению переменных�посредников, которые бы могли повли�
ять на силу и/или направление исследуемой взаимосвязи; 3) быть уверен�
ным, что программный бланк покрывает все релевантные характеристики
рассматриваемых исследований.
На четвертом этапе фиксируются все важные характеристики (W) каж�
дого исследования. Эти характеристики могут измеряться как с помощью
непрерывных, так и дискретных шкал. Дискретные шкалы отражают ка�
чественные различия между исследованиями (например, тип организации,
в которой проводилось исследование), а непрерывные — различия, которые
можно измерить с помощью единиц одинаковой размерности (например,
процент служащих мужского пола).
На следующем этапе необходимо вычислить межкодировочную надеж�
ность, являющуюся аналогом надежности кодировщиков в контент�анали�
зе. Межкодировочная надежность представляет собой количественную
оценку согласованности результатов, полученных в ходе определения пере�
менных�посредников двумя независимыми исследователями. В случае дис�
кретных переменных для ее вычисления можно использовать коэффициент
Каппа1, а в случае непрерывных — коэффициент корреляции Пирсона.
На шестом этапе осуществляется расчет эффективного размера, пред�
полагающий стандартизацию силы взаимосвязи между зависимой и неза�
висимой переменными. Цель вычисления эффективного размера заключа�
ется в конвертации итоговых статистик индивидуальных исследований в
единицы стандартного отклонения, которые могут быть интегрированы в
единый массив. Последнее открывает возможность исчерпывающего опи�
сания и статистических выводов относительно исследуемой взаимосвязи.
Когда независимая переменная является дихотомической, а зависи�
мая — непрерывной, для расчета эффективного размера используется стан�
дартизированное различие средних. Если обе переменные относятся к не�
прерывной шкале, необходимо использовать коэффициенты корреляции. В
случае принадлежности независимой и зависимой переменной к дихотоми�
ческим шкалам используется подход на основе вероятности успешного ис�
хода (odds ratio).
На седьмом этапе анализируется степень согласованности эффектив�
ных размеров, а также определяется их общее среднее значение. Ухудшение
согласованности может быть связано либо с переменными�посредниками,
178 Социология: теория, методы, маркетинг, 2010, 3
Сергей Дембицкий
1 Для ознакомления с коэффициентом Каппа см.: [Cohen’s kappa, s.a.].
либо с размером выборок. В случае существенного различия в размерах вы�
борок, прежде чем проводить дальнейший анализ, следует осуществить
взвешивание эффективных размеров, обратно пропорциональное изменчи�
вости независимой переменной.
Далее рассчитывается среднее значение эффективных размеров и стро�
ится его 95%�й доверительный интервал, а также оценивается сила, направ�
ление и гомогенность1 используемых эффективных размеров. Если все эф�
фективные размеры являются гомогенными, то открывается возможность
итогового вывода относительно исследуемой взаимосвязи. Когда 95%�й до�
верительный интервал включает ноль, среднее значение эффективных раз�
меров не отличается от нуля. В этой ситуации исследователь должен сде�
лать вывод об отсутствии взаимосвязи между X и Y. Если же 95%�й довери�
тельный интервал не включает ноль, можно сделать вывод о существовании
статистически значимой взаимосвязи между X и Y.
На последнем этапе осуществляется написание исследовательского
отчета, отражающего процесс метаанализа и его результаты. Такой отчет
обычно включает аннотацию, вступление, описание методов, результатов и
проблемных вопросов (discussion).
Программная теория заключается в моделировании (обычно в графи�
ческой форме) взаимосвязей между различными элементами программы,
подлежащей оцениванию. К таким элементам принадлежат входные дан�
ные программы (program inputs), действия и процессы (реализация про�
граммы), а также результаты [Patton, 2002: p. 162].
Дизайн и реализация программы обычно базируются на совокупности
дескриптивных и прескриптивных допущений относительно действий, тре�
бующихся для решения той или иной социальной проблемы. Дескриптив�
ные допущения (модель изменения) описывают каузальные процессы, ко�
торые ведут к достижению поставленных целей. Прескриптивные допуще�
ния (модель действия) предписывают программные компоненты и дейст�
вия, которые бы позволили осуществить программу. Программная теория
реализуется в виде систематической конфигурации прескриптивных и де�
скриптивных допущений, принадлежащих заинтересованным в решении
проблемы участникам. Следовательно, соответствующее оценивание про�
граммы базируется на концептуальной схеме, обеспечивающей информа�
цию не только об эффективности либо неэффективности программы, но и
об основаниях ее эффективности.
Модель изменения программной теории включает три элемента: 1) цели
и результаты; 2) детерминанты (для достижения целей программы необхо�
димо установить механизм, являющийся ключевым в разрешении пробле�
мы); 3) интервенция (действия, предпринимаемые в рамках программы для
достижения изменений).
В свою очередь, модель действия включает шесть элементов: 1) органи�
зации, отвечающие за выполнение программы; 2) протоколы интервенции и
предоставления услуг (в протоколе интервенции устанавливаются сущ�
ность, содержание и основные виды деятельности, а в протоколе услуг —
Социология: теория, методы, маркетинг, 2010, 3 179
История развития методов оценивания в социальных и поведенческих науках за рубежом
1 Более подробно о гомогенности/гетерогенности эффективных размеров см.: [Cor�
coran, Littell, 2010: p. 303–305].
конкретные шаги, посредством которых интервенция будет осуществлять�
ся на практике); 3) реализаторы программы: подбор, обучение и сопровож�
дение (люди ответственные за предоставление услуг клиентам: консультан�
ты, управляющие делами, социальные работники, специалисты в области
социального обеспечения, образования и здравоохранения); 4) установле�
ние сотрудничества с партнерскими организациями и партнерами в сооб�
ществе; 5) экологический контекст (некоторые программы особо нуждают�
ся в контекстуальной поддержке, заключающейся в получении доступа к
сопутствующим возможностям окружающей среды1); 6) целевая группа:
определение, включение в программу, оказание услуг и мониторинг.
Опираясь на эти модели, оценщик формулирует идеи относительно ис�
следовательского дизайна и компонентов программы, на которых следует
сфокусироваться наиболее тщательно. Этот вид исследований называется
теоретически направляемым оцениванием (theory�driven evaluation) [Chen,
2005: 1].
Цель теоретически направляемого оценивания заключается в обеспече�
нии информации не только об эффективности программы, но и о том, как и
почему программа достигает определенных результатов. Существует четы�
ре основных вида такого оценивания:
— теоретически направляемое процессуальное оценивание2 (целостная
оценка согласованности между основными компонентами програм�
мной теории, особенно в части модели действия);
— оценивание промежуточного механизма3 (оценка модели изменений
в рамках программной теории);
— оценивание опосредующего механизма4 (оценка одного или более
факторов, влияющих на реализацию программы, обусловливающих
эффект интервенции и ведущих к соответствующим изменениям ре�
зультатов);
— интегративное оценивание процесса/результатов5 (исчерпывающая
систематическая оценка ключевых допущений, лежащих в основе ре�
ализации программы и соответствующих каузальных процессов).
Теоретически направляемое оценивание предполагает совместное ис�
пользование качественных и количественных методов. Однако в терминах
исследовательского дизайна, сбора и анализа данных определенные методо�
логические паттерны проявляются, исходя из специфики теоретически на�
правляемого оценивания. Количественные методы наиболее пригодны при
оценивании промежуточного механизма и оценивании опосредующего ме�
ханизма, а теоретически направляемое процессуальное оценивание и интег�
ративное оценивание процесса/результатов предполагают сбор и анализ
как качественных, так и количественных данных [Chen, 2005: 2].
180 Социология: теория, методы, маркетинг, 2010, 3
Сергей Дембицкий
1 Например, программа реабилитации молодых людей группы риска будет функцио�
нировать более эффективно при участии членов их семей и знакомых.
2 Theory�driven process evaluation.
3 Intervening mechanism evaluation.
4 Moderating mechanism evaluation.
5 Integrative process/outcome evaluation.
Завершение “золотого века” оценочных исследований
и их современное состояние
Повышенный интерес к оценочным исследованиям прекратился так же
внезапно, как и начался. Это было связано с тем, что пришедшая в 1981 году
администрация Рональда Рейгана начала сворачивать социальные про�
граммы, осуществляемые на протяжении последних 20 лет. Вместе с тем
потребность в таких исследованиях не исчезла, и они стали одним из ин�
струментов правительства не только на федеральном уровне, но и на уровне
штатов и городов.
Парадоксально, но именно на этом этапе завершилась институционали�
зация оценочных исследований в США. Многие университеты начали осу�
ществлять подготовку специалистов прикладного профиля и обеспечили
возможность защиты докторских диссертаций по соответствующей темати�
ке. Президенты Американской социологической ассоциации 1981–1982 го�
дов также сфокусировали свою деятельность на развитии прикладной соци�
ологии [Rossi, Wright, 1984: p. 336–337].
Развитие же методов оценочных исследований и дальше идет в фарвате�
ре эволюции эмпирической методологии социальных и поведенческих на�
ук. На современном этапе оно связанно с укреплением статуса исследова�
ний смешанного типа (mixed methods research), направленных на интегра�
цию качественной и количественной стратегий исследования.
Являясь, по сути, прикладным типом исследований, современное оцени�
вание направлено, в первую очередь, на удовлетворение информационных
потребностей заказчиков. Это отражается в необходимости получения высо�
кокачественной и в то же время пригодной для всех заинтересованных сторон
информации. Такая специфика проводит главную границу между оценочны�
ми и академическими исследованиями и находит выражение в прагматичной
направленности исследователей соответствующего профиля.
Последнее связано также с тем, что в большинстве исследований, осу�
ществляемых в сфере оценивания, необходимо решать различные по своей
природе задачи, имеющие межпарадигмальные1 границы. Оценщик при
концептуализации и проведении исследования должен выбирать из сово�
купности существующих исследовательских дизайнов и методов те, кото�
рые бы позволили получить релевантные и точные результаты. Это требо�
вание наилучшим образом выполняется при использовании исследований
смешанного типа.
Согласно типологии дизайнов исследований смешанного типа, приме�
няющейся в оценивании2, можно выделить два основных типа — компонен�
тный и интегративный. В компонентном дизайне качественные и количес�
твенные методы хотя и используются в рамках одного исследования, но по
отдельности друг от друга. В интегративном же дизайне методы, принадле�
жащие к различным парадигмам, напротив, используются вместе.
Социология: теория, методы, маркетинг, 2010, 3 181
История развития методов оценивания в социальных и поведенческих науках за рубежом
1 Под парадигмами подразумеваются качественный и количественный типы исследо�
вания.
2 Для сравнения этой типологии с типологиями исследований смешанного типа, при�
меняемыми в академических исследованиях, см., напр.: [Дембицкий, 2010].
Компонентный тип включает три вида дизайна: триангуляционный,
комплементарный и экспансионный. При триангуляционном дизайне ре�
зультаты, полученные с помощью одного метода, используются для под�
тверждения результатов, полученных с помощью других методов. В случае
комплементарного дизайна результаты, полученные с помощью основного
метода, конкретизируются и дорабатываются на основе результатов, полу�
ченных с помощью методов, имеющих второстепенное значение. При ис�
пользовании экспансионного дизайна применяются различные методы для
получения информации относительно различных аспектов оценивания, то
есть каждый метод отвечает за специфическую часть информации.
Интегративный тип включает четыре вида дизайнов: итеративный, не�
стированный1, холистский и трансформативный. При итеративном дизайне
результаты, полученные с помощью какого�либо метода, подсказывают или
направляют к использованию других методов, релевантных в данной ситуа�
ции. Нестированный дизайн связан с ситуациями, когда один из методов
интегрирован в другой2. Холистский дизайн предусматривает совместное
интегрированное использование качественных и количественных методов с
целью исчерпывающей оценки той или иной программы. При этом обе груп�
пы методов имеют эквивалентный статус. Трансформативный дизайн име�
ет место в том случае, когда различные методы применяются вместе для
фиксации ценностных взглядов, которые в последующем используются для
реконфигурации диалога, участники которого придерживаются различных
идеологических позиций [Rallis, Rossman, 2003: p. 492–496].
Таким образом, в методологическом смысле парадигма исследований
смешанного типа сфокусирована в первую очередь на решении проблем,
связанных с исследовательскими дизайнами, основывающимися на приме�
нении как качественных, так и количественных методов.
Выводы
Рассмотрев основные вехи развития оценочных методов за рубежом,
можно сделать выводы о том, почему такого рода исследования не стали
объектом внимания в отечественной социологии.
Главная причина заключается в отсутствии потребности в проведении
соответствующих исследований на уровне государства. Но отсутствие гос�
заказа само по себе является лишь частью проблемы. Второй тревожный мо�
мент — это незаинтересованность отечественных социологов в развитии ме�
тодологии прикладных исследований. За рубежом, еще до того как сформи�
ровался госзаказ, велись интенсивные методологические исследования в
сфере оценивания, имеющие важное значение для развития всей эмпири�
ческой социологии. Так же и после завершения “золотого века” оценочных
исследований, многие важные методологические идеи были сформулиро�
ваны учеными, специализировавшимися на оценивании. Эти идеи имели
182 Социология: теория, методы, маркетинг, 2010, 3
Сергей Дембицкий
1 От англ. “nested” — вложенный.
2 Типичный случай такого дизайна представляют исследования на основе метода
кейс�стади, при проведении которого в качестве дополнительного инструмента исполь�
зуются количественные опросные техники.
важное значение для развития качественных исследований и исследований
смешанного типа.
Не проанализировав зарубежный опыт, отечественная социология бу�
дет не готова к решению тех задач, которые раньше или позже встанут перед
ней. Здесь уместно вспомнить слова проницательного венгерского социоло�
га Пала Тамаша: “Заниматься не высокой политикой, а госуправлением —
это хлопотно и требует не разговоров, а способности “сидеть и делать” ... И
вот выясняется, что в новой ситуации требуется грязная работа. Что ж, этот
слой социологов, политологов, экономистов, просто интеллектуалов�де�
мократов оказывается не готов к выполнению грязной работы, к труду, гос�
управлению, созданию механизмов управления системой, регулирования
ее отклонений и воспроизводства” [Тамаш, 2009: с. 27]. Это, конечно, не
означает, что мы вообще не сможем осуществлять оценивание. Вопрос в
том, насколько адекватным и эффективным оно будет. В этом контексте по�
казательна ситуация, сложившаяся в России.
В данный момент наши соседи уже осознали, что государство не в состо�
янии “тянуть” на себе все социальное обеспечение. Исходя из этого был осу�
ществлен ряд соответствующих мер, среди которых — принятие закона о
монетизации, появление автономных учреждений социального обеспече�
ния (это, например, учреждения социальной защиты, здравоохранения, об�
разования и другие), стандартизация услуг и прочее. Поскольку один из
приоритетов в сфере социального обеспечения — внедрение рыночных ме�
ханизмов предоставления социальных услуг, постольку российское госу�
дарство нуждается в проведении оценивания деятельности негосударствен�
ных учреждений, претендующих на распределение бюджетных средств. И
хотя в России эмпирическая социология в целом и оценочные исследования
в частности на порядок выше, чем в Украине, приоритет традиционно отда�
ется оценке с помощью опросных методов. Последнее продиктовано отнюдь
не методологическими соображениями, а высокой формализируемостью
результатов таких методов (читай — удобством в отчетности). Не стоит и го�
ворить о том, что опросные методы удовлетворяют решению лишь узкого
круга задач.
Таким образом, используя опыт других стран, отечественная социоло�
гия могла бы подготовить себя к предстоящим вызовам. Но станет ли кто�то
заниматься этой “грязной работой”?
Литература
Американа : англо�русский лингвострановедческий словарь / под ред. Г.В. Черно�
ва. — М. : Полиграмма, 1996.
Дембицкий С. Исследования смешанного типа в социологии / С. Дембицкий //
Соціальні виміри суспільства. — 2010. — Вип. 13. — (Принято к печати).
Крапива И. Оценочные исследования: социологическое измерение / И. Крапива //
Соціологія в ситуації соціальних невизначеностей : І Конгрес Соціологічної асоціації
України : тези доп. учасників. — Х. : ХНУ ім. В.Н.Каразіна, 2009. — C. 260.
Малхотра Н. Маркетинговые исследования / Малхотра Н. — М. : ООО “И.Д. Виль�
ямс”, 2007.
Тамаш П. Поражение “публичных социологов” в посткоммунистическом общест�
ве — это поражение публичной социологии здесь и теперь? / П. Тамаш // Соціологія і
Социология: теория, методы, маркетинг, 2010, 3 183
История развития методов оценивания в социальных и поведенческих науках за рубежом
суспільство сьогодні : ІІ Міжнародні соціологічні читання пам’яті Н.В.Паніної : ма�
теріали конф. / за наук. ред. Є.І.Головахи та О.Г.Стегнія. — К. : Інститут соціології
НАНУ, 2009. — С. 20–29.
Bowen C.$C. Meta�Analysis / C.�C. Bowen // Handbook of Research Methods in Public
Administration / ed. by G. Miller, K. Yang. — Boca Raton ; London ; New York : CRC Press,
2008. — P. 705–720.
Campbell D. Experimental and Quasi� Experimental Designs for Research / Campbell D.,
Stanley J. — Chicago : Rand McNally, 1966.
Chen H.$T. Program Theory [Электронный ресурс] / H.�T. Chen // Encyclopedia of
Evaluation / еd. by S. Mathison. — Thousand Oaks ; London ; New Delhi : SAGE, 2005. — Ре�
жим доступа : http://www.sage�ereference.com/evaluation/Article_n448.html
Chen H.$T. Theory�Driven Evaluation [Электронный ресурс] / H.�T. Chen // Encyclo�
pedia of Evaluation / еd. by S. Mathison. — Thousand Oaks ; London ; New Delhi : SAGE,
2005. — Режим доступа : http://www.sage�ereference.com/evaluation/Article_n542.html
Cohen’s kappa [Электронный ресурс]. — Режим доступа :
http://en.wikipedia.org/wiki/Cohen’s_kappa
Corcoran J. Meta�Analyses / J. Corcoran, J. Littel // The Handbook of Social Work
Research Methods / ed. by B. Thyer. — Los Angeles ; London ; New Delhi ; Singapore ;
Washington DC : SAGE, 2010.
Encyclopedia of Evaluation / ed. by S. Mathison. — Thousand Oaks ; London ; New Delhi :
SAGE, 2005.
Handbook of research design and social measurement / ed. by D.C. Miller, N.J. Salkind. —
Thousand Oaks ; London ; New Delhi : SAGE, 2002.
House E. Qualitative Evaluation and Changing Social Policy / E. House // The Sage
Handbook of qualitative research / ed. by N. Denzin, Y. Lincoln. — Thousand Oaks ; London ;
New Delhi : SAGE, 2005.
Patton M. Qualitative evaluation and research methods / Patton M. — Thousand Oaks ;
London ; New Delhi : SAGE, 2002.
Rallis S. Mixed Methods in Evaluation Context: A Pragmatic Framework / S. Rallis,
G. Rossman // Handbook of Mixed Methods in Social and Behavioral Research / ed. by
A. Tashakkori and C. Teddlie. — Thousand Oaks ; London ; New Delhi : SAGE, 2003. —
Р. 491–512.
Rossi P. Evaluation Research: An Assessment / P. Rossi, J. Wright // Annual Review of
Sociology. — 1984. — № 10. — P. 332–352.
184 Социология: теория, методы, маркетинг, 2010, 3
Сергей Дембицкий
|