Относительно проблематичности стохастической проверки теоретических конструктов
В статье описаны результаты методических экспериментов, посвященных проблеме статистической проверки теоретических конструктов. Продемонстрировано, что удовлетворительные результаты статистической проверки не являются достаточным условием валидизации шкал. В качестве примера используется компл...
Збережено в:
| Дата: | 2014 |
|---|---|
| Автор: | |
| Формат: | Стаття |
| Мова: | Russian |
| Опубліковано: |
Iнститут соціології НАН України
2014
|
| Назва видання: | Социология: теория, методы, маркетинг |
| Теми: | |
| Онлайн доступ: | http://dspace.nbuv.gov.ua/handle/123456789/90572 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Относительно проблематичности стохастической проверки теоретических конструктов / С. Дембицкий // Социология: теория, методы, маркетинг. — 2014. — № 2. — С. 190–194. — Бібліогр.: 1 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-90572 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-905722015-12-25T03:03:33Z Относительно проблематичности стохастической проверки теоретических конструктов Дембицкий, С. Социологическая лаборатория В статье описаны результаты методических экспериментов, посвященных проблеме статистической проверки теоретических конструктов. Продемонстрировано, что удовлетворительные результаты статистической проверки не являются достаточным условием валидизации шкал. В качестве примера используется комплексная шкала, позволяющая определить тип студента в зависимости от усилий, прилагаемых им в процессе обучения (безразличный, декларативно заинтересованный, ответственный). 2014 Article Относительно проблематичности стохастической проверки теоретических конструктов / С. Дембицкий // Социология: теория, методы, маркетинг. — 2014. — № 2. — С. 190–194. — Бібліогр.: 1 назв. — рос. 1563-4426 http://dspace.nbuv.gov.ua/handle/123456789/90572 303.21 ru Социология: теория, методы, маркетинг Iнститут соціології НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Russian |
| topic |
Социологическая лаборатория Социологическая лаборатория |
| spellingShingle |
Социологическая лаборатория Социологическая лаборатория Дембицкий, С. Относительно проблематичности стохастической проверки теоретических конструктов Социология: теория, методы, маркетинг |
| description |
В статье описаны результаты методических экспериментов, посвященных
проблеме статистической проверки теоретических конструктов. Продемонстрировано, что удовлетворительные результаты статистической проверки
не являются достаточным условием валидизации шкал. В качестве примера
используется комплексная шкала, позволяющая определить тип студента в
зависимости от усилий, прилагаемых им в процессе обучения (безразличный,
декларативно заинтересованный, ответственный). |
| format |
Article |
| author |
Дембицкий, С. |
| author_facet |
Дембицкий, С. |
| author_sort |
Дембицкий, С. |
| title |
Относительно проблематичности стохастической проверки теоретических конструктов |
| title_short |
Относительно проблематичности стохастической проверки теоретических конструктов |
| title_full |
Относительно проблематичности стохастической проверки теоретических конструктов |
| title_fullStr |
Относительно проблематичности стохастической проверки теоретических конструктов |
| title_full_unstemmed |
Относительно проблематичности стохастической проверки теоретических конструктов |
| title_sort |
относительно проблематичности стохастической проверки теоретических конструктов |
| publisher |
Iнститут соціології НАН України |
| publishDate |
2014 |
| topic_facet |
Социологическая лаборатория |
| url |
http://dspace.nbuv.gov.ua/handle/123456789/90572 |
| citation_txt |
Относительно проблематичности стохастической проверки теоретических конструктов / С. Дембицкий // Социология: теория, методы, маркетинг. — 2014. — № 2. — С. 190–194. — Бібліогр.: 1 назв. — рос. |
| series |
Социология: теория, методы, маркетинг |
| work_keys_str_mv |
AT dembickijs otnositelʹnoproblematičnostistohastičeskojproverkiteoretičeskihkonstruktov |
| first_indexed |
2025-07-06T18:46:44Z |
| last_indexed |
2025-07-06T18:46:44Z |
| _version_ |
1836924382403887104 |
| fulltext |
Сергей Дембицкий
Отно си тель но про бле ма тич нос ти ста тис ти чес кой про вер ки те о ре ти чес ких ко нструк тов
СОЦИОЛОГИЧЕСКАЯ ЛАБОРАТОРИЯ
СЕРГЕЙ ДЕМБИЦКИЙ,УДК 303.21
êàí äè äàò ñî öè î ëî ãè ÷åñ êèõ íàóê, íà ó÷íûé ñî -
òðóä íèê îò äå ëà ìå òî äî ëî ãèè è ìå òî äîâ ñî -
öè î ëî ãèè Èíñòè òó òà ñî öè î ëî ãèè ÍÀÍ Óêðà -
è íû
Отно си тель но про бле ма тич нос ти ста тис ти чес кой
про вер ки те о ре ти чес ких ко нструк тов
Аннотация
В статье опи са ны ре зуль та ты ме то ди чес ких экс пе ри мен тов, по свя щен ных
про бле ме ста тис ти чес кой про вер ки те о ре ти чес ких ко нструк тов. Про де мо н -
стри ро ва но, что удов лет во ри тель ные ре зуль та ты ста тис ти чес кой про вер ки
не яв ля ют ся дос та точ ным усло ви ем ва ли ди за ции шкал. В ка чес тве при ме ра
ис поль зу ет ся ком плек сная шка ла, по зво ля ю щая опре де лить тип сту ден та в
за ви си мос ти от уси лий, при ла га е мых им в про цес се об уче ния (без раз лич ный,
дек ла ра тив но за ин те ре со ван ный, от ве тствен ный).
Клю че вые сло ва: шка ли ро ва ние, те о ре ти чес кая ва ли ди за ция, уни вер си тет -
ское об ра зо ва ние
Само по себе под твер жде ние ги по тез мало о чем го во рит, если опи ра ет ся
ис клю чи тель но на ка би нет ные раз мыш ле ния и ре зуль та ты из ме ре ния
(пусть его и при ня то на зы вать в со ци о ло гии на блю де ни ем). Даже ис поль зо -
ва ние “ло ма ных” те о ре ти чес ких ко нструк тов мо жет при вес ти к по лу че нию
ста тис ти чес ки зна чи мых ре зуль та тов, а так же де мо нстра ции вы со ких ко эф -
фи ци ен тов кор ре ля ции или зна чи мых раз ли чий (со от ве тству ю щий при мер
при ве ден ниже). По э то му из ме ре ние, “за мкну тое само на себя”, под хо дит
для ре ше ния мно гих за дач, но луч ше все го — для по лу че ния на уко об раз ных
ар те фак тов.
Я уже не го во рю о по все мес тно рас прос тра нен ных в со ци о ло гии си ту а -
ци ях, ког да ста тис ти чес ки зна чи мые ре зуль та ты, по лу чен ные на боль ших
вы бор ках (ска жем, 1500 и бо лее еди ниц), рас це ни ва ют ся в ка чес тве цен ных
190 Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2014, 2
с на учной точ ки зре ния (или под твер жда ю щих что-либо) лишь по фак ту
сво ей ста тис ти чес кой зна чи мос ти. А на боль ших вы бор ках, как из вес тно,
прак ти чес ки все ста тис ти чес ки зна чи мо.
Та кие раз мыш ле ния вы дви га ют на пе ре дний план про бле му те о ре ти -
чес кой ва лид нос ти, дос ти же ние ко то рой при зва но об ес пе чить ис сле до ва те -
ля ва лид ны ми в от но ше нии из уча е мых со ци аль ных фе но ме нов те о ре ти чес -
ки ми ко нструк та ми. Сле до ва тель но, те о ре ти чес кая ва ли ди за ция яв ля ет ся
во мно гом ав то ном ной и опре де ля ю щей для даль ней шей опе ра ци о на ли за -
ции и эм пи ри чес кой ин тер пре та ции сфе рой. Лег ко пред ста вить си ту а цию,
ког да те о ре ти чес кий ко нструкт опи сан дос та точ но ис чер пы ва ю ще, одна ко
раз ра бо тан ная ме то ди ка не об ес пе чи ва ет удов лет во ри тель но го ото бра же -
ния дан но го ко нструк та. В со от ве тствии с “луч ши ми” тра ди ци я ми количе -
ст венного под хо да в та кой си ту а ции мож но сме ло от ка зать ся от те о ре ти че с -
ко го ко нструк та, не про шед ше го про вер ку. И про ти во по лож ный слу чай —
хотя ме то ди ка по зво ля ет впол не адек ват но ото бра зить ко нструкт, но этот
ко нструкт со дер жа тель но не ва ли ден (на при мер, охва ты ва ет толь ко часть
кон цеп ту аль но го поля, ко то рое на хо дит ся в фо ку се ис сле до ва ния). В дан -
ном слу чае бу дут при ня ты опять-таки оши боч ные вы во ды — в этот раз уже о
пра виль нос ти невалидного конструкта.
Для бо лее под роб но го опи са ния по след ней си ту а ции об ра тим ся к сле -
ду ю ще му при ме ру. В од ной из сво их не дав них пуб ли ка ций [Дем биц кий,
2012] я опи сал спе ци фи ку те о ре ти чес кой ва ли ди за ции из ме ри тель ных
шкал. В ка чес тве де мо нстра ци он но го при ме ра была взя та шка ла, пред наз -
на чен ная для опре де ле ния типа сту ден та, ука зы ва ю ще го на его от но ше ние к
уче бе (без раз лич ный, дек ла ра тив но за ин те ре со ван ный или от ве тствен ный)
на осно ва нии ис поль зу е мых сту ден том по ве ден чес ких стратегий.
Эта шка ла име ет сле ду ю щий вид:
Да вай те пред по ло жим, что в са мом об щем виде сту ден тов мож но раз де -
лить на три типа, в за ви си мос ти от их от но ше ния к уче бе:
A) на и ме нее при леж ные сту ден ты, в основ ном не при ла га ю щие уси лий
для уче бы, над е ю щи е ся на удач ное сте че ние об сто я тельств и на то,
что все дол ги мож но бу дет за крыть в кон це се мес тра, а эк за ме ны и за -
че ты сдать бла го да ря по мо щи од но груп пни ков или даже прак ти чес ки
ни че го не де лая;
B) ба лан си ру ю щие меж ду под го тов кой на и бо лее важ ных за да ний и иг но -
ри ро ва ни ем за да ний, не име ю щих при нци пи аль но го зна че ния, ис поль -
зу ю щие ран жи ро ва ние пре по да ва те лей по стро гос ти и тре бо ва тель -
нос ти с целью со от ве тству ю щей кон цен тра ции уси лий и пред по чи -
та ю щие по се щать те пары, ко то рые име ют боль ший вес в рам ках
дис цип ли ны;
C) на и бо лее ста ра тель ные, ко то рые от но сят ся к уче бе мак си маль но
от ве тствен но, ста ра ют ся го то вить все за да ния, пред усмот рен ные
учеб ны ми тре бо ва ни я ми, по лу чить мак си мум зна ний и по сто ян но по -
се ща ют пары.
А те перь, ис поль зуя при ве ден ную ниже шка лу, УКАЖИТЕ МЕСТО,
НА КОТОРОЕ ВЫ БЫ ПОСТАВИЛИ ПЕРЕЧИСЛЕННЫХ НИЖЕ
СТУДЕНТОВ, срав ни вая с эти ми тре мя ти па ми. При этом не льзя вы би -
рать “чис тый” тип (A, B или С), а не об хо ди мо вы брать ОДНО из зна че ний
меж ду дву мя “чис ты ми” ти па ми (меж ду А и В ИЛИ меж ду В и С).
Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2014, 2 191
Отно си тель но про бле ма тич нос ти ста тис ти чес кой про вер ки те о ре ти чес ких ко нструк тов
A
1 2 3 4 5
B
6 7 8 9 10
CА-90%
В-10%
А-70%
В-30%
А-50%
В-50%
А-30%
В-70%
А-10%
В-90%
В-90%
С-10%
В-70%
С-30%
В-50%
С-50%
В-30%
С-70%
В-10%
С-90%
В ходе ва ли ди за ции этой шка лы был про ве ден ряд опро сов, в том чис ле
и с по мощью экс пер тов, в ка чес тве ко то рых вы сту пи ли пре по да ва те ли и
сами сту ден ты (в этом слу чае они оце ни ва ли не толь ко себя, но и сво их од но -
груп пни ков). Опро сы в трех ву зах, в рам ках ко то рых при вле ка лись экс пер ты
(N1 = 20, N2 = 24, N3 = 23), я и ис поль зую для того, что бы по ка зать, как “ло ма -
ный” ко нструкт мо жет при вес ти к хо ро шим ста тис ти чес ким ре зуль та там.
В пер вом и вто ром опро се каж дый из экс пер тов (два пре по да ва те ля и
один сту дент) оце ни ли каж до го из сту ден тов од ной учеб ной груп пы по
10-ба лльной шка ле. Не вда ва ясь в под роб нос ти, от ме чу лишь то, что зна че -
ния от 1 до 5 со от ве тство ва ли без раз лич но му типу, от 6 до 7 — дек ла ра тив но
за ин те ре со ван но му, от 8 до 10 — от ве тствен но му. Да лее были рас счи та ны: а)
об об щен ная оцен ка на осно ва нии сред не го ариф ме ти чес ко го оце нок всех
экс пер тов; б) ко эф фи ци ент кор ре ля ции меж ду об об щен ной оцен кой каж до -
го сту ден та и его сред ним бал лом успеш нос ти сда чи сес сий за че ты ре года
об уче ния (см. табл. 1).
Таб ли ца 1
Сила и на прав ле ние свя зи ре зуль та тов экс пер тно го оце ни ва ния
со сред ни ми зна че ни я ми оце нок, по лу чен ных на всех сес си ях
(пер вый и вто рой вуз)
Экспер ты
Сила свя зи
Пер вый вуз Вто рой вуз
Пер вый пре по да ва тель 0,83** 0,93**
Вто рой пре по да ва тель 0,72** 0,91**
Сту дент 0,80** 0,93**
Сред нее зна че ние трех оце нок 0,85** 0,95**
** p < 0,01.
В луч ших тра ди ци ях ко ли чес твен но го под хо да я бы мог ре шить, что я
по лу чил под твер жде ние (по край ней мере час тич ное) пра виль нос ти при ме -
ня е мо го те о ре ти чес ко го ко нструк та. Но я и так знал, что он пра виль ный,
ведь я ис поль зо вал ва лид ный те о ре ти чес кий ко нструкт (ва лид ность ко н ст -
рук та была дос тиг ну та на пред ы ду щих эта пах ис сле до ва ния по сре дством
ка чес твен ных ме то дов).
Да вай те те перь по смот рим, что про и зой дет, если из со дер жа ния ис поль -
зу е мо го те о ре ти чес ко го ко нструк та убрать зна чи тель ную часть, а имен но
ин фор ма цию — о без раз лич ном типе (часть шка лы от 1 до 5). В этом слу чае
каж до му сту ден ту, ко то рый по лу чил об об щен ную оцен ку от 1 до 5,499 (та -
ких было вос емь че ло век, или 36% от об ще го чис ла), не об хо ди мо при сво ить
6, а осталь ные оцен ки оста вить без из ме не ний. Нас коль ко силь но из ме нил -
ся ко эф фи ци ент кор ре ля ции? Пос ле пре об ра зо ва ния шка лы он стал ра вен
0,70 (ве ро ят ность ошиб ки по-пре жне му не пре вы ша ла 0,01%).
192 Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2014, 2
Сергей Дембицкий
Вмес те с тем это все го лишь мыс лен ный экс пе ри мент. По э то му я про вел
до пол ни тель ный ме то ди чес кий экс пе ри мент в учеб ной груп пе дру го го вуза.
В ка чес тве экс пер тов вы сту пи ли два пре по да ва те ля, хо ро шо зна ко мые с
груп пой, и двое ста рост (каж дый из ста рост да вал оцен ку толь ко по сту ден -
там сво ей под груп пы). На пер вом эта пе они оце ни ли всех сту ден тов с по -
мощью шка лы, ко то рая была спе ци аль но ис ка же на. В ней от су тство ва ла
вто рая часть (от 6 до 10), то есть оцен ка осу ще ствля лась на осно ва нии толь -
ко двух ти пов сту ден тов — без раз лич но го и дек ла ра тив но за ин те ре со ван но -
го, пред став лен ных пун кта ми шка лы от 1 до 5 (см. при ло же ние). Лишь один
из экс пер тов (ста рос та) по ста вил ва лид ность шка лы под со мне ние, но по сле
об ъ яс не ния, что это ме то ди чес кий экс пе ри мент и так надо, за пол нил ан ке -
ту. Были по лу че ны сле ду ю щие ре зуль та ты: инди ви ду аль ные и усред нен -
ные ре зуль та ты оце нок экс пер тов по ка за ли вы со кую вза и мос вязь со сред -
ним бал лом успеш нос ти сда чи сес сий за че ты ре года об уче ния. Че рез ме сяц
я по про сил этих экс пер тов по вто рить оцен ку, но уже с ис поль зо ва ни ем по -
лно цен ной 10-ба лльной шка лы. В ре зуль та те ин ди ви ду аль ные ко эф фи ци -
ен ты в пер вом слу чае уве ли чи лись, во вто ром — не сколь ко умень ши лись, в
треть ем — оста лись прак ти чес ки не из мен ны ми. Что ка са ет ся об об щен ной
оцен ки, то она так же прак ти чес ки не изменилась (см. табл. 2).
Таб ли ца 2
Сила и на прав ле ние свя зи ре зуль та тов экс пер тно го оце ни ва ния со
средними зна че ни я ми оце нок, по лу чен ных на всех сес си ях (тре тий вуз)
Экспер ты
Сила свя зи
Исполь зо ва ние
“ ломаной” шка лы
Исполь зо ва ние
ва лид ной шка лы
Пер вый пре по да ва тель 0,52* 0,63**
Вто рой пре по да ва тель 0,80** 0,74**
Ста рос ты 0,75** 0,74**
Сред нее зна че ние трех оце нок 0,80** 0,81**
* p < 0,05;
** p < 0,01.
Оттал ки ва ясь ис клю чи тель но от ста тис ти чес кой ин фор ма ции, мож но
сде лать вы вод, что ва лид ность двух ва ри ан тов шка лы (по край ней мере, при
ис поль зо ва нии в от но ше нии этой кон крет ной груп пы сту ден тов) яв ля ет ся
оди на ко вой. Вмес те с тем, очень ве ро ят но, что в слу чае ис поль зо ва ния не -
пол но цен ной шка лы, экс пер ты ори ен ти ро ва лись в пер вую оче редь на чис -
ло вые пун кты, а не на со дер жа ние двух опи сан ных в воп ро се ти пов. По мо е -
му мне нию, та кая си ту а ция мо жет иметь мес то в том слу чае, ког да экс пер ты
хо ро шо зна ко мы с из уча е мой про бле мой. Со от ве тствен но, не учтен ная в
тек сте воп ро са ин фор ма ция все рав но учи ты ва ет ся ими в силу их зна ний и
опы та. Та ким об ра зом, ста тис ти чес кая ва лид ность шка лы ком пен си ру ет ся
по сре дством ког ни тив ных воз мож нос тей экс пер тов. А вот со дер жа тель ная
(а бо лее ши ро ко — те о ре ти чес кая) ва лид ность шка лы яв ля ет ся со мни тель -
ной, по сколь ку она не по зво ля ет пе рей ти к трем ти пам сту ден тов. В свою
Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2014, 2 193
Отно си тель но про бле ма тич нос ти ста тис ти чес кой про вер ки те о ре ти чес ких ко нструк тов
оче редь, по лно цен ный ва ри ант шка лы яв ля ет ся ва лид ным во всех от но ше -
ни ях — и в ста тис ти чес ком, и в теоретическом.
На этом при ме ре я хочу по ка зать лишь одно — ис ка жен ные ко нструк ты
впол не мо гут по лу чить “под твер жде ние” на осно ва нии ре зуль та тов из ме ре -
ния с даль ней шей ста тис ти чес кой про вер кой. И эта про бле ма, на мой
взгляд, не мо жет быть ре ше на в рам ках ко ли чес твен но го под хо да.
Пер во о че ред ное зна че ние в раз ра бот ке ва лид ных те о ре ти чес ких ко н -
струк тов дол жно за ни мать из уче ние окру жа ю щей со ци аль ной де йстви тель -
нос ти по сре дством тща тель но го на блю де ния про ис хо дя щих в ней про цес -
сов, а так же лич но го вза и мо де йствия с учас тни ка ми та ких про цес сов.
Вмес те с тем эм пи ри чес кие сви де т ельства, пред став лен ные в статье, яв -
ля ют ся дос та точ но фраг мен тар ны ми и, та ким об ра зом, ско рее очер чи ва ют
ме то до ло ги чес кую про бле му, чем до ка зы ва ют по ло же ния, вы дви ну тые в
статье. Пол но цен ное же ре ше ние про бле мы тре бу ет про ве де ния даль ней -
ших ме то ди чес ких экс пе ри мен тов.
ПРИЛОЖЕНИЕ
Пред по ло жим, что в са мом об щем виде сту ден тов мож но раз де лить на
два типа в за ви си мос ти от их от но ше ния к уче бе:
А) ба лан си ру ю щие меж ду под го тов кой на и бо лее важ ных за да ний и иг но -
ри ро ва ни ем за да ний, не име ю щих при нци пи аль но го зна че ния, ис поль -
зу ю щие ран жи ро ва ние пре по да ва те лей по стро гос ти и тре бо ва тель -
нос ти с целью со от ве тству ю щей кон цен тра ции уси лий и пред по чи -
та ю щие по се щать те пары, ко то рые име ют боль ший вес в рам ках
дис цип ли ны;
В) на и бо лее ста ра тель ные, ко то рые от но сят ся к уче бе мак си маль но
от ве тствен но, ста ра ют ся го то вить все за да ния, пред усмот рен ные
учеб ны ми тре бо ва ни я ми, по лу чить мак си мум зна ний и по сто ян но по -
се щать пары.
А те перь, ис поль зуя при ве ден ную ниже шка лу, УКАЖИТЕ МЕСТО,
НА КОТОРОЕ ВЫ БЫ ПОСТАВИЛИ ПЕРЕЧИСЛЕННЫХ НИЖЕ
СТУДЕНТОВ, срав ни вая с эти ми дву мя ти па ми. При этом не льзя вы би -
рать “чис тый” тип (A или B), а не об хо ди мо вы брать ОДНО из зна че ний
меж ду дву мя “чис ты ми” ти па ми.
A
1 2 3 4 5
BА-90%
В-10%
А-70%
В-30%
А-50%
В-50%
А-30%
В-70%
А-10%
В-90%
Источ ни ки
Дем биц кий С. Те о ре ти чес кая ва ли ди за ция из ме ри тель ных шкал / Сер гей Дем биц -
кий // Со ци о ло гия: те о рия, ме то ды, мар ке тинг. — 2012. — №2. — С. 53–65.
194 Со ци о ло гия: те о рия, ме то ды, мар ке тинг, 2014, 2
Сергей Дембицкий
|