영유아 온라인 건강정보의 질 평가

Quality Evaluation of Online Health Information Related to Young Child

Article information

Child Health Nurs Res. 2018;24(1):91-100
Publication date (electronic) : 2018 January 31
doi : https://doi.org/10.4094/chnr.2018.24.1.91
1College of Nursing, Pusan National University, Yangsan, Korea
2Graduate School, Pusan National University, Yangsan, Korea
손현미1, 제민지,2orcid_icon, 손영실2
1부산대학교 간호대학
2부산대학교 대학원
Corresponding author Minji Je https://orcid.org/0000-0001-7182-5067 College of Nursing, Pusan National University, 49 Busandaehak-ro, Mulgeum-eup, Yangsan 50612, Korea TEL +82-51-510-8352 FAX +82-51-510-8308 E-MAIL jiyo44@naver.com
*

이 성과는 2016년도 정부(미래창조과학부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. 2016R1C1B1014725).

*

Tish work was supported by the National Research Foundation of Korea (NRF) grant funded by the Korea government(MSIP, Ministry of Science, ICT & Future Planning)(No. 2016R1C1B1014725).

Received 2017 December 18; Revised 2018 January 15; Accepted 2018 January 16.

Trans Abstract

Purpose

This study was to evaluate the quality of online health information related to infants and preschoolers accessible through mobile applications and websites.

Methods

Using combinations of the terms ‘infant’, ‘preschooler’, and ‘health’ as the main keyword or categories, the researchers searched relevant mobile applications and websites in Korean application markets and popular search engines. Twelve mobile application and 14 websites were finally selected according to our inclusion criteria and evaluated using DISCERN instrument.

Results

The overall quality score of online health information available through mobile applications was 2.00 of 5 points, the reliability score was 2.15, and the quality score was 1.76. The overall quality score of online health information available through websites was 2.29, the reliability score was 2.40, and the quality score was 1.82.

Conclusion

The quality of online health information related to young children was found to be low and to have potentially significant drawbacks according to DISCERN criteria. Therefore, it is necessary to establish a system to evaluate and regulate the quality of online health information. Additionally, factors that readers can use to judge the quality of health information, such as references and the benefit versus risks of the information, should be provided.

서론

1. 연구의 필요성

인터넷 사용의 대중화와 스마트폰의 보급으로 인해 물리적, 시간적 제약을 넘어 누구든 손쉽게 원하는 정보에 접근할 수 있게 되었고, 이와 동시에 누구든 정보를 생산할 수 있게 되었다. 2016년 기준 국내의 인터넷 이용자수는 4,300만 명에 달하고 전체 인구의 85%가 스마트폰을 보유하고 있으며[1], 인터넷 이용자 중 89.1%인 대다수는 인터넷이나 스마트폰의 주요 사용목적이 정보를 습득하기 위한 것으로 나타났다[2]. 이러한 인터넷과 스마트폰을 통한 정보 접근성의 향상과 더불어 건강에 대한 관심으로 건강정보를 찾기 위해 온라인을 활용하는 사람이 지속적으로 증가하고 있으며, 건강관리와 건강정보 습득을 위한 스마트폰의 모바일 애플리케이션 또한 빠른 속도로 증가하고 있다[3,4].

건강정보는 인간의 건강과 관련된 모든 정보를 말하며 온라인 건강정보는 온라인 공간에서 생산되며 유통되는 건강정보를 의미한다[3]. 의료인이나 서적을 통해 건강정보를 수동적으로 획득했던 과거와 달리 온라인 건강정보는 사용자가 주체가 되어 능동적으로 건강정보를 탐색할 수 있으며 누구나 손쉽게 획득할 수 있다는 장점이 있다. 이렇게 온라인에서 탐색하여 획득한 건강정보는 질병을 예방하고 건강을 유지, 증진시키기 위한 행위에 영향을 미친다[5]. 그러나 온라인상에서는 전문적 지식을 가지지 않은 누구라도 건강정보를 생산할 수 있어 근거의 정확성을 담보하기 어렵고, 생산된 건강정보를 검증하고 통제할 수 있는 절차가 없어 검증되지 않은 건강정보가 무분별하게 유통될 위험이 매우 높다[6]. 또한 온라인의 건강정보 양은 매우 방대하여 사용자 스스로 질 높은 정보를 가려내기가 쉽지 않고[7], 불확실하고 잘못된 건강정보에 대한 사용자의 신뢰는 오히려 온라인 건강정보 사용자의 건강을 해치는 결과를 초래할 수 있다[8].

영유아기는 생의 주기에서 가장 급속한 신체 성장을 이루고 아동기뿐만 아니라 일생의 건강에 영향을 미치는 건강 습관과 행위를 형성하는 시기이므로 영유아기의 건강관리는 매우 중요하다. 이 시기의 건강관리는 주 양육자인 부모의 돌봄에 의해 결정적인 영향을 받으며 영유아 자녀를 둔 부모는 이러한 이유로 자녀 양육을 위해 많은 정보를 필요로 한다. 특히 예방접종, 응급처치, 질병관리 등 자녀의 건강관리를 위한 다양한 건강정보를 얻고자 하며[9,10] 선행연구에 따르면 약 90%의 부모가 자녀의 건강정보를 획득하기 위한 방법으로 인터넷을 사용하며 부모들은 인터넷을 통해 자신들이 찾은 온라인 건강정보를 전적으로 신뢰하는 것으로 드러났다[11,12]. 이러한 부모에게 잘못되거나 모순된 온라인 건강정보가 전달되면 자녀의 건강관리에 혼란을 가져오고 근거가 입증된 건강관리방법에 대해서 의심을 불러일으켜 자녀의 건강을 해치는 결과를 초래한다. 예방접종에 대해 부정적인 온라인 건강정보를 접한 부모들은 영유아시기에 필수적인 예방접종을 기피하고[13], 불필요한 해열 방법을 적용하기도 하며[8], 잘못된 온라인 건강정보를 온라인에서 무분별하게 재생산하여 예방접종 반대와 같은 비합리적 건강행위로 이어지기도 한다[14]. 특히 최근 국내에는 ‘안아키’, 즉 약을 안쓰고 아이 키우기와 같은 부적절한 건강정보가 일부 부모들에게 온라인으로 공유되고 활성화되면서 심각한 사회적 문제로 이어지고 있다[15]. 그러므로 영유아 관련 온라인 건강정보에 대한 체계적인 질 평가는 올바른 건강행위를 위해 반드시 선행되어야 한다.

개인의 건강관리에 온라인 건강정보가 미치는 영향이 커지며 온라인 건강정보의 질 평가에 대한 연구는 이루어지고 있으나 주로 특정 질병이나 건강 위해 행위와 관련된 웹사이트 위주로 시행되고 있다[16,17]. 육아 정보와 관련한 온라인 정보의 질 평가 또한 일부 시행되었으나[18], 최근에 연구는 없었고 성장발달과 영양 등 일반적인 건강정보를 제공하고 있는 온라인 정보에 대한 평가는 찾아보기 힘들었다. 그러므로 건강정보 요구도와 온라인 건강정보에 대한 활용과 신뢰가 높은 영유아 부모에게 올바른 건강정보가 제공되고 있는지 현 시점에서 평가할 필요가 있다. 온라인 건강정보의 질을 보장하기 위해서는 정보의 출처, 생성 시기, 건강정보를 명시하고 사용자가 얻게 되는 이익과 불이익 등에 대해 제시하여 정보의 신뢰성이 보장되어야 하며, 이와 같은 내용이 온라인 건강정보의 질 평가의 기준이 되어야 한다[19]. DISCERN은 온라인 건강정보의 질을 평가하기 위해 개발된 도구로 온라인 건강정보의 신뢰성과 질을 함께 평가 하고 있다[20]. DISCERN은 다양한 연구를 통해 국내외로 신뢰도와 타당도를 검증받았으며[19-22] 온라인 건강정보의 질을 평가하는데 사용되는 대표적이며 표준화된 도구로 온라인 건강정보에 대해 객관적인 평가를 시행할 수 있다.

이에 본 연구는 영유아 건강관리를 위한 정보를 제공하고 있는 웹사이트와 애플리케이션의 현황을 파악하고, 웹사이트와 애플리케이션에서 제공하고 있는 온라인 건강정보를 표준화된 도구로 평가하여 실태와 문제점을 파악함으로써 영유아 건강증진을 위한 질 높은 온라인 건강정보의 제공을 위한 방안마련의 기초자료로 활용하고자 한다.

2. 연구 목적

본 연구의 목적은 영유아 자녀의 건강관리를 위해 온라인 건강정보를 제공하고 있는 국내 인터넷 웹사이트와 스마트폰의 모바일 애플리케이션을 분석하고 온라인 건강정보의 질을 평가하기 위함이다.

연구 방법

1. 연구 설계

본 연구의 목적은 국내 인터넷 웹사이트와 스마트폰 애플리케이션에서 제공하는 영유아 관련 온라인 건강정보의 질을 평가하기 위한 서술적 조사연구이다.

2. 연구 대상 검색 및 선정 과정

1) 평가대상 검색 및 기간

평가할 애플리케이션과 웹사이트를 선정하기 위해 2016년 7월 1일부터 2016년 10월 30일까지 국내의 대표적인 애플리케이션 마켓인 구글 플레이스토어, 애플 앱스토어와 인터넷 검색엔진인 네이버, 다음을 통해 검색을 시행하였다. 검색 방법은 검색창에 검색어를 입력하는 방법을 통해 시행하였으며, ‘영유아’, ‘건강’, ‘영아’, ‘유아’를 주 검색어로 하여 이들을 조합하여 반복적으로 검색을 시행하였다. 그리고 영유아 건강과 관련된 검색어인 ‘예방접종’, ‘성장’, ‘발달’, ‘영양’, ‘구강’, ‘안전’ 및 ‘위생’ 등의 검색어를 주 검색어와 조합하여 검색하였으나 약 5만 건 이상의 웹페이지가 검색되어 연구진 회의를 통해 선행연구[19,20]를 참고하여 상위에 링크되어 있는 100개의 웹페이지에 직접 접속하여 평가대상 선정 여부를 검토하였다. 이에 수기로 찾은 8개의 사이트를 추가로 선정하였다. 애플리케이션은 마켓에서 제시하고 있는 카테고리별로 검색하였다. 구글 플레이스토어의 경우 ‘건강/운동’, ‘교육’, ‘뉴스/잡지’, ‘도서 및 참고자료’, ‘라이프스타일’, ‘의료’, ‘출산/육아’, ‘키즈’ 카테고리에서 추가 검색하였으며, 애플 앱스토어의 경우 ‘건강 및 피트니스’, ‘교육’, ‘도서’, ‘라이프스타일’, ‘어린이’, ‘의학’, ‘육아와 가족’에서 검색하였다. 이와 함께 애플리케이션 마켓에서 제시하는 연관 애플리케이션을 추가로 검토하는 과정을 거쳤다.

2) 평가대상 선정

평가할 애플리케이션과 웹사이트의 선정은 연구진 회의를 통해 선정 및 제외 기준을 도출하여 이에 따라 최종 평가대상을 선정하였다(Figure 1). 본 연구의 목적인 영유아 자녀의 건강관리를 위해 국내 웹사이트와 애플리케이션에서 제공되는 온라인 건강정보의 질 평가를 위해 검색과정에서 연구진은 수차례 회의를 통해 연구목적에 부합하는 기준을 도출하는 합의 과정을 거쳤다. 선정기준은 영유아의 정상 성장발달을 돕고, 질병을 예방하며, 건강유지 및 증진을 위한 자녀 건강관리 정보를 한국어로 제공하는 국내 웹사이트와 애플리케이션이다.

Figure 1.

Flow diagram for websites and applications selection.

검색된 웹사이트와 애플리케이션 중 병원이나 전문클리닉 등에서 특정 질병에 대한 관리를 주목적으로 제공하는 건강정보와 출산 및 신생아관리를 위해 신생아 반사, 신생아 건강검진, 기저귀 갈기, 제대관리, 목욕 등의 건강정보만을 제공하는 웹사이트 및 애플리케이션은 연구목적에 부합하지 않아 대상에서 제외하였다. 또한 수유량, 식사량, 수면시간과 같은 영유아 자녀의 건강기록만을 목적으로 하거나 게임, 라디오와 같은 기능제공이 주목적인 애플리케이션도 제외하였다. 그리고 육아 관련 상품을 광고하거나 개인병원이나 사설기관을 홍보하는 것이 주목적인 웹사이트와 애플리케이션도 연구목적에 부합하지 않아 제외하였으며, 검색이 되었으나 접속이 되지 않는 애플리케이션과 웹사이트도 평가대상에서 제외하였다.

구체적인 애플리케이션과 웹사이트 선정의 평가 기준은 다음과 같다.

• 영유아 건강관리에 대한 정보를 제공하는 애플리케이션과 웹사이트

• 한국어로 제작된 국내 애플리케이션과 웹사이트

• 무료로 배포된 애플리케이션과 웹사이트

구체적인 애플리케이션과 웹사이트 선정의 제외 기준은 다음과 같다.

• 특정 질병의 관리를 위한 정보제공이 주목적인 애플리케이션과 웹사이트

• 출산 및 신생아 관리에 대한 정보만을 제공하는 애플리케이션과 웹사이트

• 영유아 자녀의 건강기록이나 게임, 라디오 등 단순 기능만 제공하는 애플리케이션과 웹사이트

• 상업적 이익을 주목적으로 하는 애플리케이션과 웹사이트

• 검색은 되었으나 접속되지 않는 애플리케이션과 웹사이트

검색어를 통해 검색된 애플리케이션은 846개, 웹사이트는 1,010개였으며 수기로 찾은 애플리케이션 2개와 웹사이트 8개를 추가하여 최초 검색을 통해 확인한 분석대상은 총 1,866개였다. 이 중 중복으로 확인된 애플리케이션 307개와 웹사이트 88개를 먼저 제외하였다. 그런 다음 마켓과 검색엔진에 명시되어 있는 가이드 정보를 검토하여 연구목적에 부합되지 않는 대상을 제외하였다. 이에 특정 질병관리나 신생아 관리에 대한 정보를 제공하는 애플리케이션 6개와 웹사이트 11개, 상업적 이익추구를 주목적으로 하는 애플리케이션 500개와 웹사이트 899개가 제외되었다. 제외 후 남은 웹사이트 20개에 모두 접속하여 검토하였고, 애플리케이션 35개는 스마트폰에 모두 다운로드하여 메뉴와 내용을 검토하여 선정기준에 부합하는지 확인하였다. 이중 단순히 건강기록이나 게임 등의 기능 제공만을 목적으로 하거나, 외국어로 제작되었거나, 다운로드 또는 접속되지 않는 애플리케이션 23개와 웹사이트 6개는 분석대상에서 제외하였다. 연구진 회의를 통해 선정기준에 모두 부합하는 애플리케이션 12개, 웹사이트 14개를 최종 선정하여 온라인 건강정보의 질 평가를 시행하였다. 평가대상 선정률은 애플리케이션의 경우 검색된 848개 중 최종 12개가 선정되어 1.4%이며, 웹사이트는 1018개 중 최종 14개가 선정되어 1.4%였다.

3. 자료 분석 방법

1) 온라인 건강정보 질 평가 도구

선정된 애플리케이션과 웹사이트의 온라인 건강정보 질을 평가하기 위해 Charnock 등[20]이 개발한 DISCERN 도구를 사용하였다. DISCERN의 경우 온라인 건강정보의 질 평가를 위해 이미 여러 연구에서 신뢰도와 타당도가 검증된 바 있어[19,21,22] 본 연구의 질 평가 도구로 사용하였다. DISCERN은 영국 옥스퍼드 대학에서 개발한 도구로 건강정보의 신뢰도 평가(8문항), 건강정보의 질 평가(7문항), 전반적인 건강정보의 질 평가(1문항) 3개의 영역으로 나누어져, 총 16개의 문항으로 구성되어 있다. 신뢰도 평가 문항은 정보의 목적이 분명하게 제시되어 있는지, 사용자에게 적절한 정보를 제공하고 있는지, 정보의 출처와 생성 시기가 기술이 되어 있는지 등을 평가하며, 질 평가 문항은 건강정보 적용을 통해 얻을 수 있는 이익과 불이익이 제시되어 있는지, 다른 가능성이 있는 건강정보에 대해 제시하고 있는지 등을 평가한다. 신뢰도 평가 문항과 질 평가 문항은 5점 척도로 점수가 높을수록 건강정보의 신뢰도와 질이 높음을 의미한다. 전반적인 건강정보의 질 평가의 경우 신뢰도 평가 점수와 질 평가 점수를 토대로 최종 평가를 내리는 것으로, 신뢰도와 질 평가 문항의 대부분이 4점 이상의 높은 점수를 받으면 ‘건강정보로써 신뢰도와 질 높은 정보를 제공’하고 있는 것으로 판단하여 5점으로 측정하게 된다. 신뢰도와 질 평가 문항에서 4~5점을 받은 문항과 2~3점을 받은 문항의 수가 비슷하면 ‘건강정보로서 괜찮은 정보이나 한계가 있으므로 추가 정보가 더 필요’한 것으로 판단되어 3점을 측정하게 되고, 대부분의 문항이 2점 이하를 받으면 평가대상이 ‘제공하는 건강정보가 심각한 결점이 있으며 건강정보로 유효하거나 적절치 않다’고 평가되어 1점으로 측정하게 된다. 본 도구의 신뢰도는 개발 당시 weighted κ=.53[20]이었다.

2) 온라인 건강정보 분석

본 연구에서는 온라인 건강정보를 분석 시 연구목적에 부합하는 애플리케이션과 웹사이트를 선정하기 위해 수차례 연구진 회의를 거쳐 선정기준과 제외 기준을 도출하였고, 이를 적용하여 평가대상을 선정하였다. 평가대상으로 선정된 애플리케이션과 웹사이트에서 제공하는 건강정보의 질을 정확하게 평가하고 평가자 간 신뢰도를 높이기 위해 먼저 평가자들의 DISCERN에 대한 이해를 높일 목적으로 평가 도구 지침[20]에 따라 평가 수행 전 평가도구와 함께 제공되는 평가지침서를 연구진 모두가 숙독하였다. 또한 평가자 간 일치도를 높이기 위해 임의로 웹사이트 2곳을 선정하여 함께 평가하며 합의된 평가 기준을 숙지하였다. 그런 후 연구진 각자가 선정된 애플리케이션과 웹사이트를 3~5차례 접속하여 반복적으로 자료를 파악하였으며 각 자료의 운영주체, 제작일자, 업데이트 시행 여부 및 날짜, 구조적 특성, 제공하는 정보의 내용 및 정보의 질에 대한 평가를 시행하였다. 연구진 3인이 독립적으로 평가한 결과는 Microsoft Excel 프로그램을 이용하여 자료를 취합하였으며, 취합 후 3차례의 연구진 회의를 통해 평가한 내용을 함께 살펴보면서 연구자 간 이견이 없을 때까지 충분한 논의 과정을 거쳐 공통된 결과를 합의하여 도출하였다. 최종 평가 자료는 Microsoft Excel 프로그램을 이용하여 분석하였고 애플리케이션과 웹사이트의 개설 현황, 구조적 특성 및 제공하고 있는 정보의 내용은 빈도와 백분율로, 질 평가 점수는 평균과 표준편차로 산출하여 순위를 매겼다.

연구 결과

1. 영유아 건강 관련 애플리케이션의 개설 현황 및 구조적 특성

영유아 건강과 관련하여 온라인 건강정보를 제공하는 애플리케이션의 특성은 다음과 같다(Table 1). 애플리케이션의 경우 운영주체는 개인이 가장 많았으며(58.3%), 정부기관이 3개(25.0%), 비영리 민간단체가 2개(16.7%)이었고, 애플리케이션의 제작일자를 명시하지 않은 애플리케이션이 9개(75.0%)이었다. 모든 애플리케이션이 업데이트를 시행하였으나 2015년 이전에 업데이트 된 애플리케이션이 2개(16.7%), 2015년이 5개(41.7%), 2016년이 4개(33.3%), 2016년 이후 업데이트 된 것이 1개(8.3%)이었으며, 다운로드 수는 1만회 이상에서 5만회 미만이 4개(33.3%), 10만회 이상에서 50만회 미만이 4개(33.3%)이었다. 애플리케이션 시스템을 구성하고 있는 요소를 상호작용 측면에서 살펴보면 사용자와의 상호작용을 위한 상담 기능을 제공하는 애플리케이션이 4개(33.3%), 사용자의 의견을 수렴하기 위해 전자 우편 주소 및 연락처를 제시한 것이 3개(25.0%)이었다. 기능성 측면에서는 사이트 맵을 제공하는 애플리케이션이 2개(16.7%), 검색 기능을 제공하는 것이 5개(41.7%), 관련 기관 웹사이트 및 애플리케이션을 링크해 놓은 것이 3개(25.0%), 회원가입기능을 제공하는 것이 3개(25.0%)이었다.

Characteristics of Applications (N=12)

2. 영유아 건강 관련 웹사이트의 개설 현황 및 구조적 특성

영유아 건강과 관련하여 온라인 건강정보를 제공하는 웹사이트의 특성은 다음과 같다(Table 2). 웹사이트의 경우 운영주체는 정부기관이 7개로 가장 많았으며(50.0%), 법인이 4개(28.6%), 비영리 민간단체와 학교, 학회는 각 1개(7.1%)이었으며 제작일자를 명시하지 않은 웹사이트가 8개(57.1%)이었다. 최근 업데이트 날짜를 명시하지 않은 웹페이지가 3개(21.4%)이었으며 2016년 이후 업데이트된 웹사이트는 2개(14.3%)로 확인되었다. 웹사이트의 구성요소를 살펴보면 상담 기능을 제공하는 웹사이트가 10개(71.4%), 사용자의 의견을 수렴하기 위해 전자 우편 주소 및 연락처를 개시한 웹사이트는 7개(50.0%)이었다. 기능성 측면에서 살펴보면 사이트 맵을 제공하는 웹사이트 12개(85.7%), 검색 기능을 제공하는 웹사이트 11개(78.6%), 관련 기관이 링크되어 있는 웹사이트 10개(71.4%), 회원가입기능을 제공하는 웹사이트 10개(71.4%)이었다.

Characteristics of Websites (N=14)

3. 영유아 건강 관련 애플리케이션 및 웹사이트 제공 정보의 내용

애플리케이션과 웹사이트에서 제공하는 영유아 건강 관련 정보의 내용을 살펴보면, 애플리케이션의 경우 예방접종과 관련한 정보가 가장 많았으며(18.4%), 성장과 발달, 질병 관련 정보 및 영양 관련 정보를 제공하는 애플리케이션이 각 8개(16.3%), 정신건강과 관련한 정보를 제공하는 애플리케이션은 없었다. 웹사이트의 경우 예방접종과 영양 관련 정보를 제공하는 웹사이트가 7개(16.7%)였으며 의료기관 관련 정보를 제공하는 웹페이지는 6개(14.3%), 성장과 발달, 안전 관리, 영유아 지원정책을 제공하는 웹페이지는 각 5개(11.9%)였다(Table 3).

Content of Applications and Websites

4. 건강정보 질 평가

영유아 건강 관련 온라인 건강정보에 대해 질 평가를 한 결과는 Table 4와 같다. 애플리케이션의 신뢰도 점수는 2.15±0.80점이었으며 건강정보의 질 점수는 1.76±0.80점, 전체 질에 대한 점수는 2.00±1.04점이었다. 건강정보의 목적이 분명하게 제시되어 있는가에 대한 항목이 가장 높은 점수(3.25±1.36점)로 평가되었으며 목적을 달성하고 있는가에 대한 점수는 3.08±1.56점이었다. 다른 가능성 있는 영유아 건강정보에 대해 언급하고 있는가에 대한 항목이 1.08 ±0.29점, 영유아 건강 관련 정보에 대한 불확실성에 대해 언급하고 있는가에 대한 항목이 1.00±0.00점으로 낮게 평가되었다. 웹사이트의 경우 신뢰도 점수는 2.40±0.57점이었으며 건강정보의 질 점수는 1.82±0.53점, 전체 질에 대한 점수는 2.29±0.99점이었다. 애플리케이션과 마찬가지로 목적이 분명하게 제시되어 있는가에 대한 점수가 2.93±0.73점으로 가장 높게 측정되었으며, 영유아 건강 관련 정보에 대한 불확실성을 묻는 항목(1.00±0.00)과 다른 가능성 있는 영유아 건강정보에 대해 언급하고 있는가를 묻는 항목(1.00±0.00)이 가장 낮게 측정되었다.

Quality Evaluation of Online Health Information

논의

온라인 건강정보의 제공이 급증하고 사용자의 접근성 또한 높아져 신뢰할 수 있고 질 높은 온라인 건강정보에 대한 요구가 높아지고 있다. 특히 영유아기 자녀를 둔 부모는 건강정보에 대한 요구도가 높고 온라인 건강정보에 대한 활용도가 높다. 그러나 잘못된 건강정보의 활용은 부적절한 건강신념을 야기하고 이로 인해 자녀의 건강을 해치는 결과를 초래하므로[13,14] 온라인 건강정보에 대한 질 평가는 활용 전에 선행되어야 하며 건강정보 활용에 있어 중요한 문제이다. 이에 본 연구는 국내 인터넷 웹사이트와 스마트폰 애플리케이션에서 제공하는 영유아 관련 온라인 건강정보의 질을 평가하였으며 분석 결과에 대해 논의하고자 한다.

국내 대표적인 검색엔진과 애플리케이션 마켓을 통해 영유아 건강관리에 대한 온라인 건강정보를 제공하는 웹사이트와 애플리케이션을 검색하였으며, 검색어를 통해 처음 검색된 웹사이트와 애플리케이션 중 1.4%만이 본 연구목적에 부합하는 평가대상으로 선정되었다. 관련 검색어를 통해 검색된 웹페이지와 애플리케이션 수는 2천 건에 달하여 상당히 많았으나 영유아 건강정보가 제공되지 않음에도 검색엔진에 중복되어 검색되거나 상업적 이익이나 홍보가 주목적인 경우가 상위 페이지에 주로 검색되었다. 선행연구들에서도 이와 유사하게 검색어를 통해 수백 건에서 많게는 1억만 건의 웹사이트가 검색되어 상위에 링크된 웹사이트만 검토하여도 기준에 부합하여 평가대상이 되는 사이트는 약 1%에서 20%에 불과하였다[19,23]. 이는 온라인상에서 건강정보의 양이 방대하게 증가하고 있지만 실제 활용할 수 있는 온라인 건강정보의 양은 적으며 온라인 건강정보의 양적 증가는 오히려 사용자의 혼란을 부추길 수 있음을 시사한다. 특히 부정확한 정보나 상업적 목적을 띈 건강정보의 무분별한 노출은 사용자가 정확한 정보를 판별하는 것을 어렵게 하고 왜곡된 정보를 취할 수 있는 가능성을 높인다[24]. 그러므로 정확한 건강정보를 제공하는 웹사이트나 애플리케이션을 적극적으로 알리고 사용자에게 신뢰성 높은 웹사이트나 애플리케이션을 안내해 줄 수 있는 건강정보 게이트웨이 시스템(Gateway system)을 구축할 필요가 있다.

애플리케이션의 운영주체는 절반 이상이 개인이었으며 웹사이트의 경우 정부기관이 가장 많았다. 학교와 학회 등 학술과 관련된 전문기관이 생산하는 온라인 건강정보는 웹사이트의 경우가 2개 있었으며 애플리케이션의 경우 의료인 개인이 운영하는 경우는 있었지만 전문기관이 운영하는 경우는 없었다. 개인이 잘못 생성하거나 편향된 건강정보는 사용자의 건강행태에 부정적 영향을 주거나 심각할 경우 생명을 위협한다[8]. 특히 부모가 잘못된 건강정보를 받아들일 경우 그릇된 건강신념과 태도로 아동의 건강을 해치므로[13,14] 전문가나 전문기관을 통해 검증되고 근거에 기반한 온라인 건강정보 생성이 필요하다. 애플리케이션과 웹사이트 모두 절반 이상이 제작 일자를 명시하지 않았고, 2015년 이전에 업데이트된 애플리케이션이 16.7%, 웹사이트가 42.9%였으며 업데이트 날짜를 제시하지 않은 웹사이트는 21.4%로 확인되었다. 이는 아동발열과 관련한 인터넷 건강정보를 평가한 Jeong과 Kim [16]의 연구에서 47.9%가 웹사이트 개설 날짜를 제시하지 않은 결과와 유사한 결과이다. 애플리케이션과 웹페이지의 제작일자와 업데이트 날짜는 사용자가 건강정보의 생성 시기를 파악하여 정보를 선택할 때 꼭 확인해야 할 사항이므로 추후 건강정보를 제공하는 웹사이트와 애플리케이션에는 제작일자와 업데이트 날짜를 명시하는 것을 의무화할 필요가 있다.

애플리케이션과 웹사이트의 시스템 구성 요소를 살펴보면 사용자와 상호작용을 할 수 있는 상담 기능과 의견수렴 기능을 갖춘 애플리케이션은 적었으나 웹사이트는 절반 이상이 해당 기능을 갖추고 있었다. 이는 인터넷 육아정보 웹사이트를 평가한 선행연구[18]와 유사한 결과로, 상호작용기능은 일방적인 정보 제공이 아닌 사용자와의 질의응답과 피드백을 통해 정보의 신뢰성을 높이고 정보 보충 및 개선을 꾀할 수 있으므로 추천되는 기능이다. 또한 웹사이트의 경우 대부분 사이트 맵(85.7%)을 제공하고 검색 기능(78.6%)과 회원가입(71.4%), 외부 웹사이트 링크(71.4%) 등 다양한 기능이 있는 반면, 애플리케이션은 이러한 사용자 용이성을 높이는 기능은 적었다. 사용 용이성은 건강정보의 접근성과 활용도를 높이므로[12] 이러한 기능을 제공할 수 있는 방안 마련이 필요할 것이다.

애플리케이션과 웹사이트에서 제공되는 영유아 건강정보의 내용을 살펴보면, 예방접종과 영양 관리에 대한 정보가 높은 빈도를 보인 반면, 정신건강과 응급처치, 구강건강, 안전 관리에 대한 정보는 상대적으로 낮은 빈도를 보였다. 영유아 자녀를 양육하는 부모는 예방접종과 영양 관리에 대한 정보뿐 아니라 자녀가 건강하게 성장하고 최적의 발달 수준에 도달하도록 치아관리, 응급처치, 정신건강관리 등 다양한 정보를 요구한다[9,10,25]. 그러므로 이러한 부모의 요구가 반영된 정보제공을 통해 실질적으로 부모들에게 유용한 온라인 건강정보를 제공할 수 있을 것이다.

영유아 온라인 건강정보의 질 평가는 3가지 영역, 즉 건강정보의 신뢰성, 건강정보의 질, 신뢰성과 질을 고려한 전반적인 질로 평가하였고 그 결과 애플리케이션과 웹사이트 모두 3가지 영역에서 3점 미만으로 확인되었다. 이는 DISCERN의 평가 기준에 따라 정보의 신뢰성과 질이 낮고 잠재적으로 중요한 결점이 있다는 평가 결과이다. 본 연구에서 전반적인 질 평가점수는 애플리케이션의 경우 2.00±1.04점, 웹사이트는 2.29±0.99점으로 정신건강 관련 온라인 정보를 평가한 Hunter 등[22]의 연구에서 측정된 2.63±1.05점보다 낮고, 국내 온라인 건강정보의 질을 평가한 Park 등[21]의 2.0점과 비슷한 수준이다. 국외의 경우 정부 차원에서 건강정보 제공 사이트를 평가하여 신뢰성 있는 건강정보를 제공하는 웹사이트에 Health On the Net (HON) code와 같은 질 인증마크를 부여한다[26]. 또한 의료 정보와 건강정보를 제공하는 웹사이트가 준수해야 하는 가이드라인을 제시하여 올바른 건강정보를 제공하기 위한 노력을 기울이고 있다[27]. 국내에서도 신뢰할 수 있는 질 높은 온라인 건강정보 제공을 위해 정보에 대한 질 평가와 인증체계가 갖추어져야 하며, 질이 낮거나 유해한 건강정보를 규제할 수 있는 통합적 관리 시스템 마련이 시급하다.

평가항목별로 중요 결과를 살펴보면, 먼저 신뢰도 평가에서는 애플리케이션과 웹사이트 모두 ‘정보에 대한 불확실성 언급’에 대한 항목이 1.00점으로 가장 낮았고, ‘추가적 정보를 얻을 수 있는 방법 제시’도 애플리케이션 1.58점, 웹사이트 1.93점으로 2점 미만으로 낮았다. 이와 함께 ‘정보의 편향’도 애플리케이션 2.42점, 웹사이트 2.79점으로 상대적으로 낮아 객관적 정보 전달에 있어서의 문제점을 확인하였다. 건강정보를 전달함에 있어 가장 중요한 것은 정확하고 올바른 정보를 제시하는 것이다. 비타민과 같은 영양 보조제 섭취의 효과[28]나 열 관리를 위한 미온수 마사지[29]와 같이 논란이 되는 영유아 건강관리에서 보듯이 건강정보는 새로운 근거에 의해 변화될 수 있고 정설로 받아들여지던 것도 새로운 근거가 확립되면 수정될 수 있다. 또한 특정한 방법에 편향된 건강정보는 부모의 혼란을 부추기고 정보 선택에 영향을 미쳐 올바른 건강관리를 어렵게 할 수 있다[15]. 그러므로 건강정보 제공 시에는 근거의 다양한 측면을 함께 제시하여 정보가 편향되지 않도록 유의해야 하며, 정보의 불확실성과 추후 정보제공에 대한 방법을 함께 제시하여 사용자들이 정보의 신뢰성을 판단하여 자신에게 적절한 건강정보를 선택하는데 도움을 주어야 한다. 그리고 애플리케이션의 경우 특히 ‘정보 생성 시기 기술’과 ‘내용 출처 기술’에 대한 항목이 각각 1.17점과 1.92점으로 매우 낮아 중요 문제점으로 확인되었다. 정보의 생성 시기와 출처는 사용자가 정보의 신뢰성을 평가하는데 무엇보다 중요한 요소이므로 건강정보와 함께 제시되어야 한다.

건강정보의 질 평가에서는 애플리케이션과 웹사이트 모두 절반 이상의 항목이 2점 미만으로 평가되어 영유아 건강정보 질의 문제점을 확인하였다. ‘다른 가능성이 있는 건강정보의 제시’에 대한 항목이 애플리케이션 1.08점, 웹사이트 1.00점으로 가장 낮게 평가되었으며 ‘건강정보 적용으로 인한 위해 언급’에 대한 항목도 애플리케이션 1.17점, 웹사이트 1.29점으로 질 평가 항목 중 두 번째로 낮았다. 제공자의 목적에 부합하는 정보만을 제공할 뿐 부정적인 결과에 대한 발생 가능성에 대해서는 언급하지 않는 건강정보는 잠정적인 위험을 줄 수 있으므로 이에 대해 주의를 기울여야 한다. 그러므로 건강정보 제공 시 건강관리방법으로 인한 이득뿐 아니라 잠재적 위험에 대한 언급도 함께 제시하는 것이 필요하다. 또한 온라인에서의 건강 정보량은 갈수록 방대해지고 있으므로 앞으로 영유아 부모는 찾은 건강정보의 질을 비판적으로 판단하고 올바른 건강정보를 선택하여 자녀 양육에 활용할 수 있는 온라인 건강정보이해 능력(e-Health literacy)이 더욱 필요하다.

그리고 건강정보 질 평가에서 사용자의 상황과 환경에 미치는 영향인 ‘건강정보가 삶의 질에 미치는 영향’에 대한 항목이 애플리케이션 1.50점, 웹사이트 1.36점으로 낮게 평가되었다. 건강정보를 제공하는 궁극적 목적은 단순히 정보를 전달하는 것이 아닌 올바른 건강관리를 위해 적절한 정보를 선택하여 활용하기 위한 것이다. 건강정보는 사용자의 건강뿐 아니라 사회, 문화적 배경의 다양한 측면을 고려한 효과적 헬스커뮤니케이션의 전략을 적용하여야 건강정보의 궁극적 목적을 달성할 수 있으므로[30], 영유아 건강정보 제공 시 이러한 요소를 함께 고려해야 한다. 부모는 자신의 상황과 환경을 고려하여 영유아 자녀 양육을 위해 자신에게 가장 적절한 건강정보를 선택하므로, 이러한 측면의 정보 제공은 사용자의 건강정보 활용도를 높일 수 있을 것이다. 또한 ‘도움을 요청하는 방법 명시’에서 애플리케이션 1.75점, 웹사이트 1.64점으로 낮게 평가되어 선행연구[21]와 유사한 결과를 보였다. 온라인 건강정보는 건강행위의 길잡이를 해주나 그 자체로 완전한 정보는 아니므로 건강문제가 발생한 경우 병원 진료나 의료인과의 상담을 대체할 수는 없기 때문에 추가적 도움이 필요한 경우 해결 방법에 대한 제시가 함께 안내되어야 한다.

본 연구는 영유아 온라인 건강정보의 질을 향상시키기 위한 방안을 모색하고자 신뢰성과 타당성이 확보된 질 평가도구로 기존의 제공된 온라인 건강정보의 질을 평가하여 영유아 온라인 건강정보의 문제점을 분석한 것에 그 의의가 있다. 그러나 영유아 자녀의 부모가 이용하는 블로그나 카페 등 온라인 커뮤니티에서 생산되거나 공유되는 건강정보와 영유아기에 흔히 발생하는 증상관리나 통상적 질병관리가 아닌 전문적 치료가 요구되는 질환과 질병관리에 대한 건강정보까지는 평가하지 못한 제한점이 있다. 커뮤니티를 통한 건강정보 또한 영유아 부모들이 많이 활용하고 있으므로 추후 이에 대한 질 평가와 문제점을 파악할 필요가 있다. 이상의 연구결과를 통해 국내 웹사이트와 애플리케이션에서 제공하는 영유아 온라인 건강정보가 신뢰성과 질이 낮고, 사용자가 건강정보의 신뢰성을 판단할 수 있는 정보제공이 상당히 미흡하여 잠재적 위험성을 가지고 있다는 문제점을 파악할 수 있었다. 이를 통해 온라인 건강정보에 대한 활용과 요구가 높은 영유아 온라인 건강정보의 질을 평가하고 관리할 수 있는 시스템 마련이 요구됨을 확인하였다. 또한 영유아 부모가 건강정보를 비판적으로 평가하여 적절한 정보를 선택해 활용할 수 있도록 건강정보 제공시 정보의 신뢰성과 질을 판단할 수 있는 사항을 함께 제공하도록 하는 전략이 필요하다.

결론

인터넷 사용의 대중화와 스마트폰의 보급, 그리고 건강에 대한 높은 관심이 맞물리며 영유아기의 자녀를 둔 부모는 아이의 양육과 건강을 위해 인터넷과 스마트폰 애플리케이션을 통해 많은 온라인 건강정보를 얻고 있다. 그러나 온라인을 통한 정보는 너무 방대하고 제약 없이 무분별하게 제공되어 부모들은 양질의 정보를 선별하기에 어려움을 겪는다. 이에 본 연구는 애플리케이션과 웹사이트에서 제공하는 영유아 온라인 건강정보의 질을 평가하여 신뢰할 수 있고 질 높은 건강정보가 제공되고 있는지 확인하였다. 최종 분석에 선정된 애플리케이션은 12개, 웹사이트는 14개이며 의료 정보 평가도구인 DISCERN으로 평가한 결과, 애플리케이션과 웹사이트의 전반적인 질 평가 점수와 하위항목인 신뢰도와 건강정보 질 평가 점수가 모두 3점 미만으로 낮았다. 이는 영유아 온라인 건강정보의 신뢰도와 질이 낮으며 잠재적으로 중요한 결점이 있는 것으로 판단된다. 본 연구결과를 바탕으로 향후 영유아 온라인 건강정보의 신뢰도와 질을 향상시키기 위해 편향되지 않은 다양한 측면에서의 정보를 함께 제공하고 정보의 생성 시기와 출처도 명확히 제시하는 등의 기준을 마련해야 할 것이며, 온라인 건강정보의 질을 평가하고 규제할 수 있는 시스템 마련이 필요할 것으로 생각된다. 이와 더불어 영유아 부모가 질 높은 건강정보를 선별하고 활용할 수 있도록 온라인 건강정보이해력을 향상시키기 위한 방안이 마련되어야 할 것이다.

Conflict of Interest

No potential or any existing conflict of interest relevant to this article was reported.

References

1. Korea Internet & Security Agency. 2016 Survey on the internet usage summary [Internet] Seoul: Korea Internet & Security Agency; 2017. [cited 2017 July 1]. Available from: https://isis.kisa.or.kr/board/?pageId=060100&bbsId=7&itemId=818&searchKey=&searchTxt=&pageIndex=1.
2. Korea Internet & Security Agency. 2015 Survey on the mobile internet usage summary [Internet] Seoul: Korea Internet & Security Agency; 2016. [cited 2017 July 1]. Available from: http://isis.kisa.or.kr/board/?pageId=060100&bbsId=7&itemId=809&pageIndex=1.
3. Sethuram R, Weerakkody ANA. Health information on the internet. Journal of Obstetrics and Gynaecology 2010;30(2):119–121. https://doi.org/10.3109/01443610903440927.
4. BinDhim NF, Hawkey A, Trevena L. A systematic review of quality assessment methods for smartphone health apps. Telemedicine and E-Health 2015;21(2):97–104. https://doi.org/10.1089/tmj.2014.0088.
5. Bert F, Giacometti M, Gualano MR, Siliquini R. Smartphones and health promotion: A review of the evidence. Journal of Medical Systems 2014;38(1):9995. https://doi.org/10.1007/s10916-013-9995-7.
6. Scullard P, Peacock C, Davies P. Googling children's health: Reliability of medical advice on the internet. Archives of Disease in Child 2010;95(8):580–582. https://doi.org/10.1136/adc.2009.168856.
7. Quintana Y, Feightner JW, Wathen CN, Sangster LM, Marshall JN. Preventive health information on the internet. qualitative study of consumers' perspectives. Canadian Family Physician Medecin de Famille Canadien 2001;47(9):1759–1765.
8. Walsh A, Edwards H, Fraser J. Influences on parents' fever management: Beliefs, experiences and information sources. Journal of Clinical Nursing 2007;16(12):2331–2340. https://doi.org/10.1111/j.1365-2702.2006.01890.x.
9. Yoo KH. The educational needs of a mother when nurturing children. Journal of Korean Academy of Nursing 2000;30(4):905–916. https://doi.org/10.4040/jkan.2000.30.4.905.
10. Kim SJ, Lee JM, Min HY. A survey of smartphone-based health education needs for parents. Child Health Nursing Research 2016;22(4):346–354. https://doi.org/10.4094/chnr.2016.22.4.346.
11. Khoo K, Bolt P, Babl FE, Jury S, Goldman RD. Health information seeking by parents in the internet age. Journal of Paediatrics and Child Health 2008;44(7-8):419–423. https://doi.org/10.1111/j.1440-1754.2008.01322.x.
12. Pehora C, Gajaria N, Stoute M, Fracassa S, Serebale-O'Sullivan R, Matava CT. Are parents getting it right? a survey of parents' internet use for children's health care information. Interactive Journal of Medical Research 2015;4(2):1–15. https://doi.org/10.2196/ijmr.3790.
13. Betsch C, Renkewitz F, Betsch T, Ulshöfer C. The influence of vaccine-critical websites on perceiving vaccination risks. Journal of Health Psychology 2010;15(3):446–455.
14. Kata A. Anti-vaccine activists, web 2.0, and the postmodern paradigm-an overview of tactics and tropes used online by the antivaccination movement. Vaccine 2012;30(25):3778–3789. https://doi.org/10.1016/j.vaccine.2011.11.112.
15. Kang BC. The challenge left for us by Anaki. Healthcare Policy Forum 2017;15(3):8–14.
16. Jeong YS, Kim JS. Evaluation of internet information on childhood fever management. The Journal of the Korea Contents Association 2012;12(12):702–713. https://doi.org/10.5392/JKCA.2012.12.12.702.
17. Kim BK, Park SH, Sung HU, Park SY, Kwon YS, Jun YH, et al. Evaluation of information of websites on precocious puberty. Annals of Pediatric Endocrinology & Metabolism 2012;17(1):27–32. https://doi.org/10.6065/apem.2012.17.1.27.
18. Han KJ, Kim JS, Kim SY. The evaluation of the child-care web sites on the internet. Korean Journal of Child Health Nursing 2006;12(1):57–64.
19. Ademiluyi G, Rees CE, Sheard CE. Evaluating the reliability and validity of three tools to assess the quality of health information on the internet. Patient Education and Counseling 2003;50(2):151–155. https://doi.org/10.1016/s0738-3991(02)00124-6.
20. Charnock D, Shepperd S, Needham G, Gann R. DISCERN: An instrument for judging the quality of written consumer health information on treatment choices. Journal of Epidemiology & Community Health 1999;53(2):105–111. https://doi.org/10.1136/jech.53.2.105.
21. Park JH, Cho BL, Kim YI, Shin YS, Kim Y. Assessing the quality of internet health information using DISCERN. Journal of Korean Society of Medical Informatics 2005;11(3):235–246.
22. Hunter PV, Delbaere M, O'Connell ME, Cammer A, Seaton JX, Friedrich T, et al. Did online publishers "get it right"? using a naturalistic search strategy to review cognitive health promotion content on internet webpages. BioMed Central Geriatrics 2017;17(1):125. https://doi.org/10.1186/s12877-017-0515-3.
23. Kiran DP, Bargale S, Pandya P, Bhatt K, Barad N, Shah N, et al. Evaluation of health on the net seal label and DISCERN as content quality indicators for patients seeking information about thumb sucking habit. Journal of Pharmacy & Bioallied Sciences 2015;7(6):481–485. https://doi.org/10.4103/0975-7406.163509.
24. Morahan-Martin JM. How internet users find, evaluate, and use online health information: A cross-cultural review. Cyberpsychology & Behavior 2004;7(5):497–510. https://doi.org/10.1089/cpb.2004.7.497.
25. Choi EJ. Policy development for adolescent mental health promotion Health and Welfare Policy Forum; 2012. p. 78–86.
26. Lewin ME, Baxter RJ. America's health care safety net: Revisiting the 2000 IOM report. Health Affairs 2007;26(5):1490–1494. https://doi.org/10.1377/hlthaff.26.5.1490.
27. Winker MA, Flanagin A, Chi-Lum B, White J, Andrews K, Kennett RL, et al. Guidelines for medical and health information sites on the internet: Principles governing AMA web sites. Journal of the American Medical Association 2000;283(12):1600–1606. https://doi.org/10.1001/jama.283.12.1600.
28. Bjelakovic G, Nikolova D, Gluud LL, Simonetti RG, Gluud C. Mortality in randomized trials of antioxidant supplements for primary and secondary prevention: Systematic review and metaanalysis. Journal of the American Medical Association 2007;297(8):842–857. https://doi.org/10.1001/jama.297.8.842.
29. Kim JS. Childhood fever management: Current practice vs evidence. Child Health Nursing Research 2016;22(2):126–136. https://doi.org/10.4094/chnr.2016.22.2.126.
30. Schiavo R. Health communication: From theory to practice 2nd edth ed. San Francisco: John Wiley & Sons; 2013. p. 33–82.

Article information Continued

Figure 1.

Flow diagram for websites and applications selection.

Table 1.

Characteristics of Applications (N=12)

Characteristics Categories n (%)
Operator Government 3 (25.0)
Nonprofit organization 2 (16.7)
Personal (doctor, reporter, etc) 7 (58.3)
Production date Specified 3 (25.0)
Not specified 9 (75.0)
Year of most recent update Before 2015 2 (16.7)
2015 5 (41.7)
2016 4 (33.3)
After 2016 1 (8.3)
Number of downloads 500~1000 2 (16.7)
10,000~50,000 4 (33.3)
50,000~100,000 1 (8.3)
100,000~500,000 4 (33.3)
≥500,000 1 (8.3)
Interaction Q&A 4 (33.3)
Feedback 3 (25.0)
Functionality Site map 2 (16.7)
Search 5 (41.7)
Links to related applications and websites 3 (25.0)
Membership 3 (25.0)

Table 2.

Characteristics of Websites (N=14)

Characteristics Categories n (%)
Operator Government 7 (50.0)
Corporation 4 (28.6)
Nonprofit organization 1 (7.1)
University 1 (7.1)
Association 1 (7.1)
Production date Specified 6 (42.9)
Not specified 8 (57.1)
Year of most recent update None 3 (21.4)
Before 2015 6 (42.9)
2015 2 (14.3)
2016 1 (7.1)
After 2016 2 (14.3)
Interaction Q&A 10 (71.4)
Feedback 7 (50.0)
Functionality Site map 12 (85.7)
Search 11 (78.6)
Links to related applications and websites 10 (71.4)
Membership 10 (71.4)

Table 3.

Content of Applications and Websites

Categories Applications (N=12)
Websites (N=14)
n (%) n (%)
Growth and development 8 (16.3) 5 (11.9)
Vaccinations 9 (18.4) 7 (16.7)
Symptom management 8 (16.3) 4 (9.5)
Mental health 0 (0.0) 1 (2.4)
Safety management 3 (6.1) 5 (11.9)
Nutrition 8 (16.3) 7 (16.7)
Hygiene management 1 (2.0) 1 (2.4)
Oral health 2 (4.1) 0 (0.0)
Emergency care 3 (6.1) 1 (2.4)
Hospitals and medical centers 4 (8.2) 6 (14.3)
Policies for supporting children 3 (6.1) 5 (11.9)

Table 4.

Quality Evaluation of Online Health Information

Criteria Applications (N=12)
Websites (N=14)
M±SD Rank M±SD Rank
Reliability of information 2.15±0.80 2.40±0.57
 Explicit aims 3.25±1.36 1 2.93±0.73 1
 Aims achieved 3.08±1.56 2 2.36±0.84 8
 Information is relevant 2.75±1.29 3 2.79±1.12 4
 Sources of information 1.92±1.68 7 2.86±1.70 2
 Currency of information 1.17±0.58 12 2.57±1.40 6
 Bias and balance 2.42±1.24 5 2.79±0.58 4
 Additional sources of information 1.58±1.08 10 1.93±1.38 10
 Reference to areas of uncertainty 1.00±0.00 15 1.00±0.00 14
Quality of information 1.76±0.80 1.82±0.53
 How informations works 2.42±1.31 5 2.14±0.95 9
 Benefits of informations 2.58±1.38 4 2.86±0.77 2
 Risks of informations 1.17±0.58 12 1.29±0.73 13
 Result if information is not applied 1.83±1.40 8 2.43±1.09 7
 Effects on quality of life 1.50±0.90 11 1.36±0.63 12
 Possibility of other informations 1.08±0.29 14 1.00±0.00 14
 Support for shared decision-making 1.75±1.29 9 1.64±1.34 11
Overall quality rating of information 2.00±1.04 2.29±0.99