Trafność

Trafność (ang. validity) nie ma jednej wspólnej definicji, ale zazwyczaj odnosi się do zakresu, w którym wyjaśnienie rzeczywiście odzwierciedla zjawisko, do którego się odwołuje (jest to definicja Rucha[1][2]). Według Messicka, ocena trafności to stwierdzenie, w jakim stopniu teoria i dowody empiryczne uzasadniają stosowność testu w danym obszarze[3].

Trafność jest jednym z podstawowych kryteriów jakości narzędzia naukowego. Pojęcie to odnosi się do różnych terminów z zakresu metodologii nauk: można mówić o trafności definicji, wskaźnika, testu, wyników badania czy wręcz badania naukowego jako całości. Drugim podstawowym kryterium jakości badania jest rzetelność, która opisuje spójność, niezawodność i powtarzalność wyników pomiaru. Ogólne rozróżnienie na trafność i rzetelność wprowadzono w 1921 r.[4], lecz w następnych dekadach wskutek rozmnożenia podkategorii trafności powstał w tym obszarze, słowami Anastasi, stan chaosu[5], lub słowami Newtona i Shawa, fragmentacji[6].

Trafność w psychologii

Trafność (ang. validity) – cecha testu psychologicznego, która oznacza, że test mierzy właśnie to, co miał zgodnie z intencjami twórców mierzyć. Odzwierciedla trafność operacjonalizacji wiedzy psychologicznej[7]. Historycznie zaproponowano setki rodzajów trafności (Shaw i Newton wymieniają 122 przykłady[8]), jak między innymi[5][6][9]:

  • trafność treściowa (teoretyczna, kongruencyjna, konstruktu, logiczna, wewnętrzna)[10][11] – czy treść testu jest adekwatna do konstruktu teoretycznego?
  • trafność zewnętrzna (populacyjna, ekologiczna)[10][12][13] – czy wyniki testu można uogólniać na inne populacje i warunki?
  • trafność kryterialna (diagnostyczna i prognostyczna) – czy test pozwala na wnioskowanie pośrednie: diagnostyczne i prognostyczne?
  • trafność różnicowa i zbieżna[14] – czy testy tego samego konstruktu są zbieżne, a testy różnych miar rozłączne?
  • trafność fasadowa (zdroworozsądkowa)[15][16] – czy w przekonaniu osób badanych, test jest właściwy do danego zastosowania?

Wiele z wariantów trafności pokrywa się nawzajem ze sobą i z miarami rzetelności. Ich kategoryzacja i hierarchia była w XX wieku przedmiotem żywych debat metodologicznych, a wiodące towarzystwa zawodowe takie jak APA wielokrotnie zmieniały oficjalne wytyczne w tym obszarze[5][9][8].

Standardy APA z 1966 wyróżniały jako główne miary trafność treściową, kryterialną i konstruktu[17]. Podobną klasyfikację przedstawia w Polsce Brzeziński i Hornowska[18]. Jednakże w późniejszych standardach APA ujednolicono i przeformułowano język opisu trafności, akcentując ciągły proces oceny wartości dowodowej dotyczącej adekwatności narzędzia, i wyróżniając zamiast poszczególnych rodzajów trafności pięć aspektów tego pojęcia, które należy uwzględniać[19]:

  1. Dowody dotyczące treści.
  2. Dowody dotyczące procesu odpowiadania.
  3. Dowody dotyczące wewnętrznej struktury.
  4. Dowody dotyczące związku z innymi zmiennymi.
  5. Dowody dotyczące następstw testowania.

Standardy z 1999 sygnalizują wprost dążenie do ujednolicenia pojęcia trafności:

Trafność odnosi się do stopnia, w jakim dowody i teoria uprawniają do interpretowania wyników testowych zgodnie z proponowanym zastosowaniem testów. (...)

Wymienione obszary dowodowe mogą wskazywać na różne aspekty trafności, ale nie reprezentują odrębnych kategorii trafności. Trafność to jednorodne pojęcie. (...) Aby to podkreślić, (...) nie stosujemy tradycyjnej nomenklatury (tj. terminów takich jak trafność treściowa lub predykcyjna).

Amerykańskie Towarzystwo Psychologiczne, Standards for Educational and Psychological Testing, 1999, s. 9 i s. 11

Analiza Newtona i Shawa wskazuje jednak, że mimo to nadal często spotykane jest stosowanie fragmentarycznych koncepcji trafności, oraz brak konsensusu co do tego pojęcia. Autorzy ci sugerują, aby skupiać się wykazywaniu i ewaluacji jakości narzędzia, niezależnie od terminologii[8].

Trafność w socjologii

W socjologii pojęcie trafności odnosi się zazwyczaj do wskaźników. Wskaźnik jest trafny wtedy, gdy dający się obserwować stan rzeczy można uznać za świadectwo istnienia zjawiska, którego nie można obserwować bezpośrednio. Wskaźnik jest zaś nietrafny wtedy, gdy świadczy o istnieniu czegoś innego, niż zjawisko, o którego istnieniu miał informować[20]

Czasem jednak pojęcie trafności odnosi się do badań jako całości lub wyników badań. Na gruncie badań o charakterze ilościowym, pojęcie trafności jest ścisłe związane z błędem pierwszego rodzaju (w uproszczeniu: przedstawiania twierdzeń nieprawdziwych jako prawdziwych) oraz błędem drugiego rodzaju (w uproszczeniu: przedstawiania twierdzeń prawdziwych jako nieprawdziwych). Trafność wyników jest więc w stanie zagwarantować odpowiednia procedura statystyczna.

Na gruncie badań o charakterze jakościowym trafności wyników nie jest w stanie zagwarantować żadna procedura statystyczna. Zazwyczaj uznaje się dwa sposoby zapewniania trafności wyników badań:

  • triangulacja
  • nadawanie trafności przez respondenta (ang. respondent validation)

David Silverman[2] proponuje następujące sposoby zapewniania wymogu trafności w badaniach o charakterze jakościowym:

  • indukcja analityczna
  • metoda ciągłego porównywania
  • analiza przypadków odchyleń
  • dogłębna analiza danych
  • używanie odpowiednich zestawień tabelarycznych

Zobacz też

Przypisy

  1. ↑ G. M Ruch, The improvement of the written examination,, Chicago; Atlanta: Scott, Foresman and Company, 1924, OCLC 887474 [dostęp 2017-02-09] (ang.).
  2. ↑ a b David Silverman: Interpretacja danych jakościowych. Warszawa: Wydawnictwo Naukowe PWN, 2009, s. 252–261. ISBN 978-83-01-15158-4.
  3. ↑ Samuel Messick, Meaning and Values in Test Validation: The Science and Ethics of Assessment, „Educational Researcher”, 18 (2), 1989, s. 5–11, DOI: 10.2307/1175249, JSTOR: 1175249 [dostęp 2017-02-09].
  4. ↑ B.R. Buckingham i inni, Report of the Standardization Committee, „Journal of Educational Research”, 4 (1), 1921, s. 78-80.
  5. ↑ a b c Anne Anastasi, Evolving Concepts of Test Validation, „Annual Review of Psychology”, 37 (1), s. 1–16, DOI: 10.1146/annurev.ps.37.020186.000245.
  6. ↑ a b 1. Validity and validation, [w:] Paul Newton, Stuart Shaw, Validity in Educational and Psychological Assessment, SAGE, 15 kwietnia 2014, ISBN 978-1-4739-0405-7 [dostęp 2017-02-09] (ang.).
  7. ↑ Elżbieta Hornowska: Testy psychologiczne : teoria i praktyka. Warszawa: Scholar, 2007, s. 85. ISBN 978-83-7383-238-1.
  8. ↑ a b c Paul E. Newton, Stuart D. Shaw, Standards for talking and thinking about validity., „Psychological Methods”, 18 (3), s. 301–319, DOI: 10.1037/a0032969 [dostęp 2017-02-09].
  9. ↑ a b Keith A. Markus, Science, measurement, and validity: Is completion of Samuel Messick's synthesis possible?, „Social Indicators Research”, 45 (1-3), s. 7–34, DOI: 10.1023/A:1006960823277, ISSN 0303-8300 [dostęp 2017-02-09] (ang.).
  10. ↑ a b D.T. Campbell, Factors relevant to the validity of experiments in social settings, „Psychological Bulletin”, 54 (4), 1957, s. 297–312, ISSN 0033-2909, PMID: 13465924 [dostęp 2017-02-09].
  11. ↑ Lee J. Cronbach, Paul E. Meehl, Construct validity in psychological tests., „Psychological Bulletin”, 52 (4), 1955, s. 281–302, DOI: 10.1037/h0040957, ISSN 1939-1455 [dostęp 2017-02-09] (ang.).
  12. ↑ G.H. Bracht, G. V Glass, The External Validity of Experiments, „American Educational Research Journal”, 5 (4), s. 437–474, DOI: 10.3102/00028312005004437.
  13. ↑ Bobby J. Calder, Lynn W. Phillips, Alice M. Tybout, The Concept of External Validity, „Journal of Consumer Research”, 9 (3), 1982, DOI: 10.1086/208920, ISSN 0093-5301 [dostęp 2017-02-09] (ang.).
  14. ↑ Donald T. Campbell, Donald W. Fiske, Convergent and discriminant validation by the multitrait-multimethod matrix., „Psychological Bulletin”, 56 (2), 1959, s. 81–105, DOI: 10.1037/h0046016, ISSN 1939-1455 [dostęp 2017-02-09] (ang.).
  15. ↑ C.I. Mosier, A critical examination of the concepts of face validity, „Educational and Psychological Measurement”, 7 (2), 1947, s. 191–205, ISSN 0013-1644, PMID: 20256558 [dostęp 2017-02-09].
  16. ↑ Dale J. Shaw, James D. Linden, A Critique of the Hand Test, „Educational and Psychological Measurement”, 24 (2), 2016, s. 283–284, DOI: 10.1177/001316446402400209 [dostęp 2017-02-09] (ang.).
  17. ↑ Standards for Educational and Psychological Testing, „{{{czasopismo}}}”, American Educational Research Association, American Psychological Association, and National Council on Measurement in Education, Washington, D.C.: American Psychological Association, 1985.
  18. ↑ Jerzy Brzeziński, Elżbieta Hornowska, Marzenna Zakrzewska, Trafność i rzetelność testów psychologicznych: wybór tekstów, Gdańskie Wydawnictwo Psychologiczne, 2005, ISBN 83-60083-17-7, OCLC 749667694.
  19. ↑ American Psychological Association, National Council on Measurement in Education, Joint Committee on Standards for Educational and Psychological Testing, Standards for educational and psychological testing, 2014, ISBN 978-0-935302-35-6, OCLC 871966133.
  20. ↑ Renate Mayntz, Kurt Holm, Peter Hübner: Wprowadzenie do metod socjologii empirycznej. Warszawa: Państwowe Wydawnictwo Naukowe, 1985, s. 26–27. ISBN 83-01-05254-6.