관상동맥중재술을 시행한 관상동맥질환 환자의 정보 제공을 위한 질의응답 챗봇 개발 및 평가

Geunhee Lee; Yun Hee Shin

doi:10.4040/jkan.24128

Articles

Page Path: HOME > J Korean Acad Nurs > Volume 55(2); 2025 > Article

Research Paper 관상동맥중재술을 시행한 관상동맥질환 환자의 정보 제공을 위한 질의응답 챗봇 개발 및 평가: 이근희¹, 신윤희²
Development and evaluation of a question-answering chatbot to provide information for patients with coronary artery disease after percutaneous coronary intervention: Geunhee Lee¹, Yun Hee Shin²; Journal of Korean Academy of Nursing 2025;55(2):153-164.
DOI: https://doi.org/10.4040/jkan.24128
Published online: May 13, 2025

¹원주세브란스기독병원 응급중환자실

²연세대학교 원주간호대학

¹Emergency Intensive Care Unit, Wonju Severance Christian Hospital, Wonju, Korea

²College of Nursing, Yonsei University, Wonju, Korea

Corresponding author: Yun Hee Shin College of Nursing, Yonsei University, 20 Ilsan-ro, Wonju 26426, Korea E-mail: yhshin@yonsei.ac.kr

†This manuscript is a condensed form of the first author’s doctoral dissertation from Yonsei University. Year of 2024.

• Received: November 18, 2024 • Revised: January 16, 2025 • Accepted: March 16, 2025

This is an Open Access article distributed under the terms of the Creative Commons Attribution NoDerivs License (http://creativecommons.org/licenses/by-nd/4.0) If the original work is properly cited and retained without any modification or reproduction, it can be used and re-distributed in any format and medium.

258 Views
20 Download

Full Article

Download PDF

Abstract
서론
방법
결과
고찰
결론
Article Information
References

Abstract

Purpose
This study aimed to develop a question-answering chatbot that provides accurate and consistent answers to questions that may arise during the recovery process of patients with coronary artery disease after percutaneous coronary intervention, and to evaluate the chatbot.
Methods
The chatbot was developed through the stages of analysis, design, implementation, and evaluation. It was evaluated by five experts, and the user experience was evaluated by 27 patients who underwent percutaneous coronary intervention. Furthermore, chatbot utilization was analyzed based on user experience logs.
Results
The chatbot was constructed as a question-answering database that included three categories: coronary artery disease, percutaneous coronary intervention, and post-intervention management. The question-answering chatbot, referred to as the “Cardiovascular Strong” channel, has been launched and implemented. An expert evaluation of the chatbot revealed no usability issues or necessary modifications. The overall result of the user experience evaluation was 4.26 points. Based on the user experience log, the question-answer accuracy was 84.6%, and medications during post-intervention management were the most frequently searched topic, accounting for 110 cases (20.8%) out of a total of 528.
Conclusion
The chatbot that was developed to provide information via real-time answers to questions after the intervention can be easily accessed in clinical settings with no time or space constraints. It also will contribute to providing accurate disease-related information via the familiar KakaoTalk platform.
Key words: Artificial intelligence; Coronary artery disease; Percutaneous coronary intervention

서론

1. 연구의 필요성

2024년 세계보건기구(World Health Organization)에서 발표한 전 세계 10대 사망원인 중 관상동맥질환인 허혈성 심장질환은 13%로 1위를 차지하고 있으며[1], 생활습관 변화와 평균수명 연장으로 유병률이 증가하고 있다[2]. 관상동맥질환의 치료방법의 하나인 관상동맥중재술(percutaneous coronary intervention)은 경피적 풍선확장술 혹은 스텐트를 삽입하여 좁아진 관상동맥을 넓혀 관상동맥의 재관류를 촉진하는 시술로, 국내의 경우 협심증 60.7%, 급성심근경색 39.3% [3], 미국의 경우 협심증 55%, 심근경색 약 45%가 관상동맥중재술을 받은 것으로 나타났다[4]. 이처럼 관상동맥질환을 진단받은 환자 중 많은 사람이 시술받고 있는 관상동맥중재술은 치료기간을 단축하고 높은 성공률로 시행되고 있으나, 성공적인 관상동맥중재술 후에도 13%가 재시술을 받았으며[5], 국내에서 1년 후 9.6%, 2년 후 18.8%가 재발하거나 사망하게 되므로[6] 재발률을 낮추기 위한 이차적 예방관리가 매우 중요하다[7].

미국심장협회(American Heart Association)의 가이드라인에서는 관상동맥중재술 후 퇴원 전부터 적절한 약물 치료, 규칙적인 운동, 스트레스 관리, 식이, 금연, 금주 등 심혈관질환의 재발 및 합병증을 최소화하기 위해 생활습관 개선을 통한 이차예방의 중요성을 강조하고 있다[8]. 그러나 중재술 등의 치료 이후 통증 혹은 증상으로 인한 불편감이 줄어들면 환자는 질병에 대한 문제가 해결되었다는 잘못된 인식으로 관리를 점차 소홀히 하게 되어 재발하는 등의 문제가 발생한다[9]. 따라서 건강행위 이행을 적극적으로 유도하기 위해 환자의 질병 관련 정보요구를 충족하고 올바른 정보를 제공하는 것이 중요하므로 질병관리를 위한 효과적인 정보제공 방법을 모색할 필요가 있다[10].

이러한 필요성에 근거하여 국내에서는 인쇄된 자료를 통한 교육 제공[11,12], 스마트폰 앱을 활용한 정보 제공[13], 태블릿 PC를 활용한 동영상 프로그램[14]과 같은 중재방법을 사용하여 정보를 제공하였다. 국외 선행연구에서도 관상동맥질환자의 자가간호 이행을 돕기 위한 환자교육의 중요성을 검증한 연구들이 발표되고 있다[15-18]. 선행연구에서 사용된 정보 제공을 위한 중재 적용은 질병 관련 지식을 증가시키고, 행위변화에 효과가 있는 것으로 확인되었으나, 개별 특성에 맞는 교육시간에 충분한 시간 할애의 어려움 등으로 임상현장에 수월하게 계속해서 적용하는 데 제한점이 있으며[18], 대상자의 접근 편리성, 기기 활용에 대한 능숙 정도에 따라 효과가 다르게 나타났다[13].

이를 고려할 때, 관상동맥중재술 후 관상동맥질환 환자가 일상생활 중 회복과정에서 발생할 수 있는 반복되는 질문에 대해 정확한 답변을 필요한 시점에 제공해 준다면 환자의 정보요구도 충족과 건강행위 이행을 촉진하는 데 긍정적으로 작용할 수 있을 것이다[19,20]. 실시간 정보를 얻는 방법으로 인터넷을 통한 정보검색을 활용하지만, 사용자들이 찾고자 하는 정보를 다시 찾아야 하는 번거로움이 있으며[21], 근거가 명확하지 않은 답변을 제공받거나 효과가 검증되지 않은 정보로 부정적인 영향을 초래하는 경우가 있다[22].

2022년 11월 공개된 이후 폭발적인 관심을 받는 ChatGPT (Generative Pre-trained Transformer; OpenAI)는 학습, 추론, 문제 인식 및 해결을 할 수 있는 인공지능으로 방대한 양의 정보를 기반으로 자연어 처리기능을 활용하여 사용자의 질문을 이해하고 응답하도록 설계된 대화형 인공지능으로 많은 관심이 집중되고 있다[23]. 그러나 2023년 10월 기준 ChatGPT 4.0의 경우 2022년 1월 이전의 데이터를 기반으로 답변을 제공하기 때문에 이후에 업데이트된 정보에 대해선 답변을 제공하지 않으며[24], 사실에 근거하여 답변을 제공하는 것이 아니라 기존의 축적된 자료로 답변이 제공되기 때문에 잘못된 정보가 제공되거나 무의미한 정보가 제공될 수 있다[23].

이에 메신저를 기반으로 한 소셜 네트워크 서비스(social network service [SNS]) 사용의 편리성으로 기술적 방법으로 구현되고 있는 챗봇(chatbot)에 대한 의료서비스에서의 활용 가능성이 새롭게 주목받고 있다[25]. 챗봇은 인공지능을 활용하여 정의된 데이터베이스에서 규칙 혹은 검색 기반 방식으로 답변을 제공하기 때문에 환자가 필요로 하는 시점에 즉각적인 답변 제공이 현실적으로 불가능한 임상환경에서 SNS나 앱을 통해 편리하게 사용할 수 있으며, 환자의 정보요구에 적절한 답변을 시공간의 제한 없이 즉시 제공할 수 있다[19]. 챗봇과 관련된 선행연구에는 운동습관 형성 코칭 프로그램 개발 및 평가[26], 와파린 복용 환자를 위한 메신저 기반 챗봇 개발[25], 근치적 위절제술을 시행한 위암 환자의 정보 제공[19] 등으로 의료서비스와 관련된 다양한 챗봇이 개발되고 있다. 그러나 관상동맥중재술을 시행한 관상동맥질환 환자들이 일상생활로의 회복과정에서 생길 수 있는 질문들에 대해 일관성 있는 답변을 제공하기 위해 개발된 챗봇 사례는 찾아보기 어려웠다. 이에 본 연구는 관상동맥중재술 후 관상동맥질환 환자의 회복과정에서 발생할 수 있는 질문에 대해 정확하고 일관된 답변을 제공하는 질의응답 챗봇을 개발하여 사용자의 챗봇 활용을 분석하고, 그 결과를 퇴원 교육에 활용함으로써 추후 지속적인 환자의 건강관리에 도움이 되고자 한다.

2. 연구목적

본 연구의 목적은 관상동맥중재술 후 관상동맥질환 환자에게 질병 관련 정보를 제공하기 위한 질의응답 챗봇을 개발하고 평가하기 위함이다. 구체적인 목적은 다음과 같다.

첫째, 관상동맥중재술 후 관상동맥질환 환자의 질의응답 개념과 지식을 구조화하여 질의응답 지식베이스를 구축한다.

둘째, 관상동맥질환 환자의 질의응답 지식베이스를 활용하여 챗봇을 개발한다.

셋째, 개발된 관상동맥질환 질의응답 챗봇을 평가한다.

넷째, 개발된 관상동맥질환 질의응답의 사용자 챗봇 로그분석을 통해 환자의 챗봇 활용을 분석한다.

방법

1. 연구설계

본 연구는 관상동맥중재술 후 관상동맥질환 환자의 회복과정에서 발생할 수 있는 질문에 대해 정확한 답변을 일관성 있게 제공하기 위한 규칙(검색) 기반 관상동맥질환 질의응답 챗봇을 개발하고, 사용자의 경험을 평가하는 정보시스템 개발 연구이다.

2. 챗봇 개발

정보제공을 위한 질의응답 챗봇 개발은 소프트웨어의 개발과정을 하나의 주기로 정의하고 단계별로 체계화한 모형인 소프트웨어 개발 생명주기 방법론(system development life cycle) 중 폭포수 모델(waterfall model)에 따라 분석, 설계, 구현, 평가의 단계로 진행하였다[27]. 폭포수 모델은 소프트웨어 개발의 지침 기반으로 단계별 진행과정 관리가 가능하고 단계별 검증과 확인을 통해 발생하는 문제들을 수정할 수 있으며 선행 단계로 재진입하여 재작업을 가능케 하는 장점이 있어 소프트웨어 개발에 흔히 사용되고 있다[27].

1) 분석

분석 단계에서는 관상동맥질환 질의응답 챗봇이 답변을 제공할 질문의 범주를 분류하기 위해 심혈관질환 대상자를 위한 온라인 커뮤니티 카페(‘심혈관 정보 커뮤니티’)에 2012년 3월부터 2023년 3월까지 게시된 Q&A (Question & Answer) 중 ‘관상동맥질환,’ ‘협심증,’ ‘심근경색,’ ‘급성심근경색’을 검색하여 3,621건의 질의응답을 분석하였다. 질문에 대한 답변을 근거에 기반한 표준 답변을 작성하기 위해 내과학 교과서[28-30], 미국심장협회 가이드라인[8], 대한심장학회, 국가건강정보포털 등에서 작성한 답변을 수집하였다. 챗봇의 답변은 모든 대상자에게 일괄적으로 적용할 수 없기에 근거가 불충분하거나 위험성이 있는 답변의 경우 주치의와의 상담을 권유하는 문구를 사용하였다. 또한 어려운 의학용어나 이해가 어려운 내용은 사전을 활용하거나 관상동맥질환 대상자와의 대화를 통해 실제로 사용하는 어휘로 수정하여 사용자가 이해하기 쉽도록 답변을 작성하였다.

챗봇의 질의응답 내용에 대한 전문가 내용타당도 평가는 심장내과 교수 1인과 임상현장에서 관상동맥질환 환자에게 교육을 담당하는 심장내과 전담간호사 5인으로 구성된 전문가 집단을 통해 2023년 11월 17일부터 11월 29일까지 확인하였다. 도출된 질문과 답변지식의 내용을 ‘질병 정보’ 19개 항목, ‘증상’ 4개 항목, ‘예방’ 5개 항목, ‘식이’ 4개 항목, ‘약물’ 2개 항목, 총 34개 항목으로 구성된 5점 Likert 척도(5점 매우 동의함, 1점 매우 동의하지 않음)에 표시하고 추가 의견을 기술하도록 하였다.

본 연구에서 관상동맥질환 질의응답 지식베이스는 분석의 이전 단계인 관상동맥질환 관련 Q&A 분석, 답변지식 도출, 질의응답 및 답변지식에 대한 전문가 내용타당도 확인과정을 통해 만들어진 관상동맥중재술 후 관상동맥질환 환자 대상의 질의응답에 필요한 정보이다. 이를 질의응답 분석 단계에서 도출된 질문의 범주를 관상동맥질환에 관련된 일반적인 질문은 ‘관상동맥질환,’ 관상동맥중재술과 시술 직전과 직후 대처와 관련된 질문은 ‘관상동맥중재술,’ 관상동맥중재술 후 추후 관리에 관한 질문은 ‘관상동맥중재술 후 관리’로 구분하여 분류하였다. 관상동맥질환 질의응답 챗봇의 사용자는 관상동맥중재술 후 관상동맥질환을 진단받은 환자로, 사용자가 사용하기 편한 개념과 용어들을 활용하여 관상동맥질환 질의응답 지식베이스를 구성하고자 하였다.

2) 설계

설계 단계에서는 챗봇이 사용자의 의도를 파악하여 질문에 맞는 답변을 제시할 수 있도록 동의어 사전, 의료진, 대상자들에게 질문을 통하여 사용자가 사용하는 발화를 수집하여 챗봇 에이전트를 설계하였으며, 사용자가 챗봇과 대화하기 위해 입력하는 텍스트의 의미로 질문의 목적을 나타내는 기본요소인 발화와 자연어 처리의 한계로 인한 발화의 인식률 하락을 방지하기 위해 동일하게 사용되는 의미의 발화 및 엔티티를 다양하게 입력하였다[19,25]. 활용의 편리성을 위해 국내 스마트폰 사용자의 대부분이 사용하는 ‘카카오톡’ 내의 챗봇을 활용하고자 카카오톡 채널을 개설하고[31], Kakao I open builder OBT (open beta test) 서비스 이용 승인을 받은 후 챗봇 개발을 설계하였다.

3) 구현

구현 단계에서는 도출된 지식베이스를 챗봇 엔진에 데이터베이스를 축적하였으며, 사용자는 인터페이스를 통하여 개발된 챗봇에 질문을 입력하면 챗봇 엔진을 통해 질문 의도를 파악하게 되고, 축적된 데이터베이스 안에서 질문 의도에 맞는 응답 선택 및 생성과정을 통해 사용자 인터페이스에 제공된다[32]. 관상동맥질환 질의응답 챗봇 구조는 Figure 1과 같다.

4) 평가

평가 단계에서는 개발된 챗봇의 정확성과 유용성을 확인하고 활용 가능성을 평가하기 위해 사용성의 문제를 도출하는 방법으로 전문가를 대상으로 모바일 휴리스틱 평가를 시행하였으며[33], 관상동맥중재술 후 관상동맥질환 환자를 대상으로 사용자 경험 평가를 시행하였다.

전문가 평가를 위해 실무 전문가와 정보통신기술 관련 전문가 5인을 구성하였으며, 연구의 목적과 내용, 참여절차 및 개발된 챗봇 사용방법에 관해 설명 후 동의를 받은 다음, 개발된 챗봇을 10분 이상 사용하도록 한 후[34], 모바일 휴리스틱 평가도구를 사용하여 전문적인 평가를 시행하였다[33]. 모바일 휴리스틱 평가도구는 8개의 휴리스틱 항목으로 구성되어 있으며, 문항별(0점: 사용성 문제없음, 1점: 사용성 문제가 있으나 반드시 수정할 필요 없음, 2점: 사용성 문제가 있으며 수정이 필요하지만, 우선순위가 상대적으로 낮음, 3점: 사용성 문제가 있으며 수정이 필요하고 우선순위가 상대적으로 높음, 4점: 사용성 문제가 있으며 반드시 수정되어야 함) 문제의 심각성을 5점 척도에 표시하도록 하였고 챗봇에 대한 의견을 기술하도록 하였다.

사용자 경험 평가는 원주세브란스기독병원 간호국과 심장내과 담당 교수의 사전 승인을 받은 후 관상동맥중재술 후 관상동맥질환으로 진단받고 추적관찰 중인 1–6개월 시기의 입원 중이거나 퇴원한 환자[35]에 대한 정보를 심장내과 병동 파트장과 심장내과 외래 간호사의 사전 스크린을 통해 전달받아 2023년 11월 20일부터 12월 11일까지 시행하였다. 대상자 27명은 정규분포를 위한 최소 표본 수 충족을 고려하였다. 심장내과 병동 파트장과 심장내과 외래 간호사의 협조하에 입원환자의 병실 또는 퇴원환자의 외래 진료일에 독립된 공간에서 실시하였다. 연구자가 대상자에게 연구의 목적, 절차, 설문지 및 챗봇 사용방법을 설명한 후 대상자 스스로 채널을 검색하여 챗봇에 접속한 다음 개발된 챗봇을 보면서 사용 방법 및 챗봇 내용을 재차 설명해 주고 챗봇을 10분 이상 사용하도록 하였다[34]. 이후 사용자 경험에 대해 개발된 도구[36]를 챗봇 사용자 평가에 적절하도록 수정한 도구[19]를 ‘관상동맥질환 질의응답 챗봇’의 목적에 맞게 수정한 도구로 챗봇 사용 경험을 평가하였다. 평가도구는 검색성 2문항, 사용성 3문항, 신뢰성 3문항, 유용성 3문항, 매력성 2문항, 가치성 3문항, 접근성 2문항, 지속적인 사용 의도 2문항, 총 20문항을 유용하다고 생각하는 정도에 따라 5점 Likert 척도로 구성되어 있다.

3. 사용자 챗봇 로그 분석

개발된 관상동맥질환 질의응답의 사용자 챗봇 로그 분석은 클라우드 서버를 생성하여 블록별 로그 스킬을 적용하여 분석할 수 있도록 하였다. 사용자가 챗봇에 접속 시 개인별 고유번호가 생성되고 사용자가 직접 검색어를 사용하면 어떤 검색어를 입력하였는지 기록에 남게 된다. 또한 ‘바로가기 버튼’을 활용하면 선택한 버튼과 제공된 답변의 기록이 로그 데이터에 기록으로 저장이 되어 질의응답의 일치 여부와 사용자가 검색한 내용 및 빈도를 분석할 수 있도록 하였다.

4. 윤리적 고려

본 연구는 대상자의 윤리적 보호를 위해 연세대학교 원주세브란스기독병원 연구심의위원회의 심의 승인(CR323006)을 받은 후 진행하였다. 본 연구의 챗봇의 질의응답 내용에 대한 전문가 내용타당도 조사, 개발된 챗봇에 대한 전문가 평가 및 사용자 경험 평가를 위한 서면 동의서에 연구의 목적, 절차, 측정 도구, 연락처를 명시하였다.

연구 참여에 대한 위험과 이득의 내용을 설명문에 제시하고 충분히 설명한 후 자발적 연구 참여에 동의한 대상자에게 자료수집을 진행하였다. 대상자는 설문지 작성 중에 의문이 생기면 언제든지 문의할 수 있음을 설명하고, 설문지는 무기명으로 진행되어 개인식별정보를 포함하지 않았다. 설문 작성 중 참여 중단을 원하는 경우 언제든지 참여를 철회할 수 있고, 중도 포기하더라도 대상자에게 아무런 불이익이 없으며 진료의 어떠한 부분도 영향을 주지 않음을 설명하였다. 진료목적이 아님을 동의서와 안내문에 사전 명시를 하였으며, 특정 증상에 대한 정확한 원인과 치료는 병원 방문을 통한 의료진과의 상담이 필요함을 안내문과 동의서에 명시하였다.

챗봇에 접속 시 개인별 고유번호가 생성되나 특정인을 식별할 수 없으며, 개인정보 보호 및 참여내용 유출 방지를 위해 설문지를 통해 수집된 자료는 연구자가 직접 데이터베이스에 입력하고, 동의서와 설문지는 잠금장치가 있는 장소에 보관하며 입력된 정보는 암호화된 컴퓨터에 보관하여 연구자 외에는 접근할 수 없도록 하였다. 연구 종료 시점부터 3년 동안 보관 후 보관기간이 지난 즉시 전자문서는 영구적으로 삭제, 종이 문서는 파쇄기를 통해 폐기할 것이다.

결과

1. 분석

관상동맥질환 질의응답 챗봇이 답변을 제공할 질문을 도출하기 위해 온라인 심혈관 정보 커뮤니티 카페에 2012년 3월부터 2023년 3월까지 ‘관상동맥질환,’ ‘협심증,’ ‘심근경색,’ ‘급성심근경색’을 검색하여 게시된 Q&A 3,621건을 수집하였다. 이들 중 비용(568건), 산정 특례(317건)와 COVID-19 (coronavirus disease 2019) 백신 후 증상(715건) 정보를 묻는 질문 1,600건을 제외한 2,021건의 질문을 수집하였다. 수집된 질의응답을 분석하여 같은 의미별로 분류하였으며, 여러 개의 질문이 혼합되었으면 단일 질문으로 분해하여 분석하였다. 분석된 질문에서 같은 의미별로 분류하여 도출한 질문 범주 중 상위 7개의 다빈도 질문과 유사 질문 예시는 Table 1과 같다.

관상동맥질환 질의응답 챗봇의 질문에 대한 답변을 구성하기 위해 사용한 지식 정보원은 질병관리청 국가건강정보포털, 대한심장학회와 같은 공인된 기관, 문헌(가이드라인, 진료지침, 교과서) 및 웹사이트에서 선정하였으며, 관상동맥질환 질의응답 내용에 대한 전문가 내용타당도 평가결과는 질병 정보(4.62±0.77), 증상(4.75±0.53), 예방(4.80±0.55), 식이(4.46±0.93), 약물(4.75±0.62)로 확인되었다. 전문가 내용타당도 조사과정에서 질의응답에 대한 범주 구분을 재분류하는 것이 좋겠다는 전문가 의견을 반영하여 질병 정보, 증상, 예방, 식이, 약물로 분류하였던 기존의 범주를 관상동맥질환에 대한 일반적인 내용, 관상동맥중재술 및 관상동맥중재술 추후 관리로 질의응답의 질문내용은 그대로 포함하되 질의응답 범주 구분을 수정하여 재분류하였다. 또한 관상동맥중재술 추후 관리의 일상생활ㆍ건강행위 중 ‘운동’과 관련된 내용에 대해서는 재활의학과 교수 1인의 자문을 구한 결과, 운동의 강도와 주치의 혹은 심장 재활전문가와의 상담이 필요하다는 의견을 반영하여 수정ㆍ보완하였다. 수정된 답변지식은 미국심장협회 가이드라인을 통해 답변의 정확성을 확인하였다[8].

본 연구에서 개발된 관상동맥질환 질의응답 분류체계 영역의 개념은 관상동맥중재술 후 관상동맥질환 환자가 퇴원 후 건강행위 이행과정에서 생기는 의문점을 반영하여 구성하였다. 분류된 개념의 질문 의도를 파악하여 관상동맥질환의 정의, 원인, 증상, 진단, 치료, 예후, 예방, 관상동맥중재술의 정의, 입ㆍ퇴원, 대처, 관상동맥중재술 후 관리에서의 일상생활ㆍ건강행위, 식이, 약물로 블록(block)을 분류하여 지식베이스를 구축하였다.

2. 설계

챗봇이 사용자의 의도를 파악하여 질문에 맞는 답변을 제시할 수 있도록 동일하게 사용되는 의미의 발화를 어미와 어구 등에 다양하게 변화를 주어 148개의 발화 및 엔티티로 데이터베이스가 구축되었으며, 챗봇이 자연어 처리의 한계로 인한 발화의 인식률 하락을 방지하기 위해 유사어와 동의어를 추가하여 314개의 발화 및 엔티티로 데이터베이스화하였다.

카카오톡 채널 서비스와 연동하기 위한 챗봇을 생성하기 위해 카카오톡 비즈니스 사이트에서 채널 이름, 검색용 아이디(채널 이름), 채널 소개 글을 입력한 후 Kakao I open builder OBT (open beta test) 서비스 이용 승인을 받은 후 관상동맥질환 챗봇 ‘심혈관 튼튼’ 채널을 개설하였다.

3. 구현

사용자는 카카오톡에 접속 후 카카오톡 채널에서 ‘심혈관 튼튼’을 추가하거나 채널 URL (http://pf.kakao.com/_vjxaexj)을 통해 챗봇에 접속할 수 있다. 사용자가 개발된 챗봇에 처음 진입하였을 때 챗봇에 대한 간단한 소개와 질병 관련 정보 제공 목적을 위한 챗봇의 취지에 맞게 법적 책임을 방지하기 위해 치료 등에 관련된 상세한 내용은 주치의 진료가 필요함을 명시하였으며, 챗봇의 사용방법을 소개하였다. 기본적으로 질문에 대한 답변은 텍스트 형태로 구현되도록 설정하였으나, 사용자의 이해를 돕기 위한 내용에는 이미지형 답변 생성을 추가하여 구현되도록 하였으며, 사용자의 편의성을 고려하여 ‘바로가기’ 버튼을 포함하였다(Figure 2).

4. 평가

1) 전문가 평가

관상동맥중재술 관련 실무 전문가 2인과 정보통신기술 관련 전문가 3인을 통해 평가한 챗봇은 "사용성의 문제가 있어 반드시 수정되어야 함"에 해당하는 4점을 받은 항목은 없었다(Table 2). 2명의 전문가가 같은 문제를 제기한 ‘휴리스틱 1: 시스템 상태의 가시성과 모바일 기기의 보완성/추적 가능성’ 항목에서 제공되는 답변에도 제목을 넣어 가시성을 높였으면 좋겠다는 의견을 반영하여 번호, 기호 등을 활용하여 수정하였다. 또한 휴리스틱 4, 5번 항목의 의견을 반영하여 문장으로 제공되는 답변을 간략하게 요약하여 제공되도록 하여 가독성이 좋도록 수정하였다. 참고문헌의 노출은 ‘노이즈로 보일 수 있다’ 의견에 대해서는 챗봇 접속 시 일괄적으로 제시하도록 수정하였다. 휴리스틱 6, 7번 항목에서 제기된 ‘의견 제시할 수 있는 수단이나 창구가 필요함’과 ‘이모티콘을 활용하였으면 좋겠음’ 의견은 현재의 챗봇에서는 기술적으로 반영할 수 없어 수정하지 못하였다. 휴리스틱 8: 실제적인 오류 관리’ 항목의 의견으로 세로형 답변과 가로형 답변을 통일하였다.

2) 사용자 경험 평가

본 연구대상자는 남성 24명(88.9%), 여성 3명(11.1%), 평균연령은 62.2±10.19세로 나타났으며, 60대 15명(55.6%)으로 가장 많았고, 30대 1명(3.7%), 40대 2명(7.4%), 50대 5명(18.5%), 70대 3명(11.1%), 80대 1명(3.7%)이었다.

질의응답 챗봇 사용자 경험 평가결과, 검색성 항목이 5점 만점에 4.48±0.54로 가장 높았고, 매력성 항목이 3.87±0.64로 가장 낮았다. 세부 항목에서는 ‘챗봇의 사용으로 내가 궁금해하는 질문에 대한 답변을 신속하게 받아볼 수 있었다.’가 4.59±0.64로 가장 높았으며, ‘챗봇은 오류가 발생했을 때 이에 대한 명확한 이유를 설명해 주었다.’가 3.59±0.80으로 가장 낮게 나타났다. 전체 사용자 경험 평가점수는 4.26±0.65로 나타났다. 점수가 가장 낮은 항목인 ‘챗봇은 오류가 발생했을 때 이에 대한 명확한 이유를 설명해 주었다.’에 대해서는 검색어를 다른 단어로 제시해야 한다는 문구의 답변을 제공하는 것으로 수정하였다. 또한 챗봇이 자연어 처리의 한계로 인한 발화의 인식률 하락 방지를 위해 환자, 임상현장의 간호사와의 대화를 통해 실제 사용하는 단어와 사전을 활용하여 유사어와 동의어를 추가하여 데이터베이스를 확장하였다.

5. 로그 분석

사용자 경험 평가를 통해 축적된 총 624건 중 528건(84.6%)에 답변이 정확하게 제공되었으며, 96건(15.4%)이 부정확하거나 관련 없는 답변이 제공되었다. 로그 분석결과, 관상동맥중재술 후 관리 중 약물 관련 질문이 110건(20.8%)으로 가장 많았으며, 관상동맥질환의 원인과 치료에 관한 질문이 각각 7건(1.3%)으로 가장 낮았다. 세 개 범주 중에서는 관상동맥중재술 후 관리에 대한 질의응답이 전체 245건(46.4%)으로 가장 많이 검색한 것으로 나타났다. 관련 없는 답변이 제공된 경우는 ‘병원 예약,’ ‘추가정보 링크’ 등 챗봇에서 제공하지 않는 내용을 입력한 경우였다(Table 3).

고찰

본 연구에서 개발한 질의응답 챗봇은 관상동맥중재술을 시행한 관상동맥질환 환자에게 회복과정에서 생기는 반복되는 질문들에 대해 정확한 답변을 일관성 있게 제공함으로써 환자의 정보요구를 충족하고 질환의 재발 예방행위를 도모하기 위한 정보제공 방법으로 국내에서 사용률이 가장 높은 모바일 인스턴트 메신저 카카오 플랫폼을 활용하여 챗봇을 개발하였다[31].

분석 단계에서 관상동맥중재술 후 관상동맥질환 환자들이 회복과정에서 궁금해할 수 있는 질문의 범주와 지식을 도출하여 관상동맥질환 질의응답 지식베이스를 구축하였다. 관상동맥질환 환자 대상의 선행연구들은 영향요인을 규명하는 조사연구가 대부분이었으며[9,35,37], 일부 효과를 확인한 연구[14,16,38]는 정보 제공 중재를 통해 불안, 활력징후 변화, 통증 및 지식 정도 변화[14,38]를 확인하거나, 관상동맥중재술 후 자기관리 향상을 위해 소책자를 활용하여 관상동맥질환의 정보를 제공하였다[11,16]. 이들 선행연구에서 제공된 정보는 이차예방의 관련 요인을 토대로 질환 설명, 재발 방지를 위한 자가간호, 운동요법, 약물 설명 등으로 구성된 교육내용을 포함하였다. 하지만 본 연구에서는 관상동맥중재술 후 관상동맥질환 환자들이 궁금해할 수 있는 질문에 대해 실시간으로 답변 제공을 가능케 하는 챗봇을 구현하고자, 심혈관 질환자들의 온라인 자조 모임 카페의 Q&A를 분석한 결과로 질의응답 개념을 도출하여 지식베이스로 구축하여 챗봇 개발에 사용하였다. 본 연구와 마찬가지로 검색 기반 챗봇으로 근치적 위절제술을 시행한 위암 환자의 정보 제공을 목적으로 개발된 챗봇은 ‘식이,’ ‘증상,’ ‘치료,’ ‘검사,’ ‘위암 질병 정보,’ ‘운동,’ ‘일상생활’로 분류하여 질환 자체에 초점이 맞추어져 있는 것에 반해[19], 본 연구는 관상동맥중재술을 받은 환자의 질의응답 챗봇 개발이므로 관상동맥중재술 후 관리에 대한 정보 제공 내용을 많이 포함하여 분류하였다. 이는 주산기 여성 및 파트너의 산과 및 정신 건강관리를 위한 챗봇(‘Dr. Joy’)과 같은 맥락으로 일상생활에서 가질 수 있는 궁금증에 대해 사용자 상황에 맞게 의도별로 질의응답을 분류하여 맞춤형 정보를 제공하여 대상자의 요구를 충족하고자 하였다[39]. 이는 환자들이 실질적으로 궁금해하는 내용과 다양한 유사어를 포함하였기 때문에 사용자 경험 평가결과, 비교적 높은 점수(4.26점)로 나타났고, 추후 임상현장에서 환자에게 유용한 정보 제공 중재로 활용될 수 있을 것으로 생각된다.

설계 단계는 분석 단계에서 개발한 질의응답 지식베이스를 활용하여 질의응답 대화의 관리를 위한 챗봇 에이전트와 사용자 인터페이스를 설계하였다. 현재까지 개발된 챗봇은 구글 다이얼로그 플로우[19,40], Watson [26], Facebook [41] 등 다양한 플랫폼을 활용하여 챗봇이 개발되고 있다. 챗봇의 구현은 사용자의 예상 질문과 적절한 답변을 정의해야 하는데[19], 규칙 기반의 챗봇은 미리 정의된 문장에서 조금이라도 바뀌거나 지식베이스로 구축되지 않은 질문에 대해서는 응답을 제대로 하지 못하는 경우가 있다[42]. 사용자는 같은 의미의 질문을 서로 다른 어미와 어구를 사용하여 질문하기 때문에 본 연구에서는 사용자가 실제 궁금해하는 실질적인 내용에 질문 의도를 파악하여 정확한 답변이 제공될 수 있도록 발화와 엔티티를 다양하게 입력하여 포함함으로써 사용자의 발화 의도를 좀 더 정확하게 인식하도록 하여, 현재 기술 수준으로 구현되는 챗봇의 단점인 자연어 처리 인식률 하락을 보완하였다[42]. 이것은 챗봇 사용자 경험 분석을 통해 대화의 축적과 보완으로 개선하면서 정확도를 높여 나갈 수 있다는 선행연구에 근거하였다[25,39,43].

구현 단계에서는 연구자가 구축한 챗봇 에이전트와 사용자 인터페이스를 통해 관상동맥질환 질의응답 챗봇(‘심혈관 튼튼’)을 구현하였다. 사용자는 챗봇의 사용을 위해 인터페이스에서 궁금한 내용을 단어 혹은 문장형식으로 입력하거나 편의성을 고려하여 ‘바로가기’ 버튼을 활용하여 질문을 하면 질문에 따라 답변을 제공하는 방식으로 구현된다. 이는 가이드 버튼을 활용[25], 범주별 질문 리스트에서 궁금한 내용을 선택하여 답변을 확인하도록 하여[19], 복잡한 검색과정의 절차 없이 궁금한 질문에 대한 답변을 쉽게 제공받을 수 있도록 한 방식과 같은 맥락이라 할 수 있다. 또한 사용자의 이해를 돕기 위해 이미지를 답변에 활용하였는데, 이미지를 활용한 답변 제공은 사용자가 이미지형 답변을 저장하여 해당 내용의 답변을 챗봇에 재접속해야 하는 번거로움 없이 답변을 확인할 수 있는 장점으로 선행연구에서도 활용하였다[25,40].

따라서 추후 관상동맥중재술을 시행한 환자에게 질병 관련 정보 제공방법으로 개발된 챗봇을 잘 활용한다면 시공간의 제약 없이 원하는 정보를 쉽게 얻을 수 있을 것이며, 챗봇을 활용한 질병 관련 정보 제공은 환자의 지속적인 질병관리 및 응급상황 대처에 도움이 될 것으로 생각된다.

본 연구의 질의응답 챗봇 평가는 모바일 휴리스틱 평가, 사용자 경험 평가를 통해 실시하였다. 휴리스틱 평가 7개 항목의 평가의견 중 ‘이모티콘을 활용하였으면 좋겠음’에 대한 의견은 현재 카카오톡 플랫폼 챗봇의 제한점으로 오픈 빌더 내에서는 이모티콘 사용 지원을 하지 않아 수정하지 못하였다[44]. 이는 카카오 플랫폼을 사용한 ‘와파린톡’에서 제공되는 답변에도 이모티콘 활용을 찾아볼 수 없었기에 같은 이유라 생각된다[25]. 또한 의견제시 가능한 수단이나 창구의 개발은 현재 카카오톡 챗봇에서는 반영하지 못하는 기능으로 추후 사용자와 커뮤니케이션 기능을 추가할 수 있다면 챗봇의 기능을 보다 향상시킬 수 있을 것으로 생각한다.

관상동맥중재술 후 관상동맥질환 환자를 대상으로 진행한 사용자 경험 평가결과, 전체 평균은 5점 만점에 4.26점으로 나타났다. 허니콤 모델 도구를 활용하여 사용성 평가를 진행한 소아 예방접종 질의응답 챗봇에서 5점 만점에 4.60점[45], 위암 질의응답 챗봇에서 4.46점[19]으로 나타났으며, 시스템 사용성 측정 도구(System Usability Scale)를 활용하여 사용성 평가를 진행한 상처드레싱 지침 챗봇에서 80.1점[40], 섭식 장애가 있는 환자의 정신건강서비스 사용 촉진을 위해 개발된 챗봇 ‘Alex’는 85.5점[46]으로 사용성이 유용한 것으로 나타났다. 선행연구에서 개발된 챗봇의 사용성 평가를 본 연구와 같은 5점 기준으로 환산하였을 때 사용성 평가결과가 모두 4점 이상으로 비슷한 수준인 것으로 확인되었다. 이는 추후 관상동맥질환 환자들이 필요로 하는 정보를 찾는 방법으로 ‘심혈관 튼튼’ 챗봇을 유용하게 사용할 수 있을 것으로 생각된다. 하지만 사용자의 ‘호기심을 자극하고 몰입하여 사용하였는가’에 대한 결과는 5점 만점에 3.93점으로 나타났는데, 이는 위암 질의응답 챗봇[19]과 비슷한 수준으로 사용자에게 챗봇을 10분 이상 충분히 사용하도록 하였으나 1회의 사용으로 평가하였기 때문이라 생각되며, 추후 챗봇 사용빈도를 늘려 사용자가 원하는 정보를 얻을 수 있는 매체라는 확신을 갖게 한다면 챗봇 사용에 대한 흥미 유도를 할 수 있을 것이라 생각된다. 접근성을 묻는 항목에서는 5점 만점 중 4.26점으로 사용자의 챗봇 사용이 쉽고, 원하는 기능을 쉽게 찾을 수 있는 것으로 나타났다. 이는 사용자에게 익숙한 카카오 플랫폼 활용이 비교적 높은 점수를 가져온 결과라고 생각되며, 카카오 플랫폼 챗봇은 추후 사용자가 접근하기에 쉽게 활용할 수 있을 것으로 생각된다.

본 연구의 챗봇 로그 분석결과, 질의응답의 정확도는 84.6%로 나타났다. 챗봇의 성능 평가지표와 산출방법은 선행연구 간 차이가 있어 비교는 어렵지만, 위암 환자 대상 질의응답 챗봇의 경우 정확한 답변을 제공하거나 챗봇에서 제공되지 않는 내용은 ‘전문가 연결’로 응답한 비율을 정확도로 계산하여 85.2%를 보였으며[19], 사용자가 경험하는 증상을 묻는 질문을 제시하여 환자를 개별적으로 분류하고 평가하기 위해 개발된 증상질의 챗봇의 정확도는 83.3% [47], 사용자가 건강상태와 증상을 제시하면 질병을 인식하도록 개발된 health care 챗봇은 87%로 나타났으며[48], 국내외에서 개발된 챗봇의 정확도는 본 연구와 비슷한 수준의 정확도를 보였다. 자연어 처리 플랫폼 다이어플로우를 사용하여 인식률을 높여 정확도를 높인 방법[19,47]과 달리 카카오 챗봇 플랫폼을 활용한 본 연구의 챗봇이 선행연구와 비슷한 수준의 정확도를 보인 것은 실제 환자들이 궁금해하는 내용을 기반으로 질의응답을 구축하였고 같은 의미의 다양한 발화 및 엔티티를 추가하였기 때문이라 생각된다. 또한 본 연구의 챗봇이 부정확하거나 관련 없는 답변이 제공된 경우는 96건(15.3%)으로 나타났는데 이는 챗봇에서 제공하지 않는 내용을 입력하면 답변이 제공되지 않거나, 사용자의 질문을 인식하지 못하여 적절한 답변이 제공되지 않은 것으로 생각된다. 인식률 저하와 관련하여 발화 및 엔티티를 추가하여 보완하였으나, 챗봇에서 제공되지 않는 질문을 입력한 경우는 ‘다른 검색어를 입력하거나 주치의와 상의하십시오’라는 답변이 제공되도록 하였다. 이는 사용자 경험 평가항목 ‘챗봇은 오류가 발생했을 때 이에 대한 명확한 이유를 설명해 주었다.’에서 5점 만점에 3.59±0.80으로 나타나 추후 챗봇의 성능 향상을 위해 고려해야 할 점이라 생각된다. 이는 지식베이스를 지속적으로 보완하여 오류 발생률을 낮춰 사용자의 신뢰와 지속적인 사용 의도를 높이도록 업데이트해야 함을 반영하는 것이다[39]. 실제 환자들은 관상동맥중재술 후 관리에 대한 정보를 얻기 위해 챗봇을 많이 활용하였는데(46.4%), 이는 관상동맥중재술 후 추적관찰 중인 환자를 대상으로 사용자 경험 평가를 시행하였기 때문에 일상생활에서 생기는 질문에 대해 챗봇을 활용한 것으로 생각된다. 챗봇을 통해 보건의료정보를 제공한 선행연구에서는 사용자 검색현황을 확인할 수 있는 로그 분석을 포함하지 않아 선행연구와 비교ㆍ논의가 어려웠으나, 본 연구에서는 이를 포함하여 사용자가 특히 많이 알고 싶어서 검색하는 정보가 무엇인지를 파악할 수 있도록 추가 개발하였다. 사용자의 챗봇 활용에 따른 누적 자료는 추후 임상에서 관상동맥중재술 후 퇴원 교육내용에 반영하여 특히 강조하여 교육함으로써 환자의 추후 질병관리에 도움이 될 수 있을 것으로 여겨진다.

결론

본 연구는 관상동맥중재술을 시행한 관상동맥질환 환자에게 질병 관련 정보를 제공하기 위한 질의응답 챗봇을 개발하고 그 효과를 평가하였다. 시ㆍ공간의 제약 없이 접근이 용이하고 친숙한 카카오톡 플랫폼을 활용하여, 환자가 질병과 관련된 궁금증을 실시간으로 해소할 수 있도록 하였으며, 이를 통해 정확한 질병 정보를 제공하는 효과적인 중재 방안을 제시하였다.

본 연구에서 개발된 챗봇은 현재 카카오톡 플랫폼의 기술적인 한계로 인해 사용자와의 양방향 소통과 사용자가 의견을 제시할 수 없어 사용자가 챗봇 내용에 대해 이해가 되지 않을 때 소통창구가 없다는 챗봇의 한계점과 챗봇 제공만으로 대상자의 건강행위 이행 여부를 직접 모니터링할 수 없다는 제한점이 있다. 따라서 본 연구결과를 바탕으로 향후 챗봇의 인식률 저하 방지와 오류 발생률을 낮춰 챗봇의 성능을 향상함으로 대상자의 지속적인 사용 의도를 높이고 사용자와 서비스 관리자 간의 양방향 소통기능 등을 추가하여 추후 향상된 성능의 챗봇 개발 연구를 시도할 것을 제안한다.

Article Information

Conflicts of Interest

No potential conflict of interest relevant to this article was reported.

Acknowledgements

None.

Data Sharing Statement

Please contact the corresponding author for data availability.

Author Contributions

Conceptualization or/and Methodology: GL, YHS. Data curation or/and Analysis: GL. Funding acquisition: none. Investigation: GL. Project administration or/and Supervision: YHS. Resources or/and Software: GL, YHS. Validation: GL, YHS. Visualization: GL. Writing: original draft or/and Review & Editing: GL, YHS. Final approval of the manuscript: all authors.

Fig. 1.

Component structure of the question-answering chatbot for coronary artery disease.

Fig. 2.

(A, B) Example of chatbot start screen and Q&A introduced in a Kakao Talk channel.

Table 1.

Examples of frequently asked questions (N=2,021)

No.	Example questions	No. (%)
1.	• What is the difference between myocardial infarction and angina symptoms?	487 (24.1)
	• I have a pain that feels like a tightness in my left chest.
	• My chest feels stuffy because of a clogged sensation in the solar plexus, and I have pain in my left back, and numbness that stretches down under my left collarbone and my left arm. Is this a symptom of myocardial infarction?
	• I have a stiff chest, indigestion, etc.
2.	• Is there any good food for cardiovascular disease?	335 (16.6)
	• How do you manage your diet?
	• Should you never eat meat? etc.
3.	• When can I start exercising after stenting?	242 (12.0)
	• Do you have any discomfort in your daily life after the procedure?
	• Is it difficult to return to work the next day after stenting?
4.	• Do I get coronary angiography in the hospital?	207 (10.2)
	• Can I get dental treatment and extraction implants after stenting?
	• Does stenting prevent blood vessels from being blocked? etc.
5.	• Can I drink alcohol after stenting?	162 (8.0)
	• Can’t I have even one or two drinks?
	• I heard that red wine helps with heart disease, can I drink it? etc.
6.	• I would like to know how to use nitroglycerin.	137 (6.8)
6.	• Angina patients are told to carry a medicine called nitroglycerin with them and take it in an emergency, but I wonder what the effect of this medicine is. etc.	137 (6.8)
7.	• Are there any nutritional supplements that you would recommend after stenting?	110 (5.4)
	• Do I need to take dietary supplements after discharge?
	• Can I take supplements while taking angina medication? etc.
8.	• Other questions not classified above	341 (16.9)

Table 2.

Expert evaluation results

No.	Heuristic	Result					Opinions
No.	Heuristic	A	B	C	D	E	Opinions
1	Visibility of system status and losability/findability of the mobile device	0	0	1	2	0	• Add headings to answers to enhance visibility
2	Match between system and the real world	0	0	0	0	0
3	Consistency and mapping	0	0	0	1	0	• Organize the keywords that overlap
4	Good ergonomics and minimalist design	0	0	0	2	3	• Large amount of text
5	Ease of input, screen readability and understandability at a glance	0	1	2	2	2	• Repeated exposure to references may be perceived as noise
5		0	1	2	2	2	• Provide a brief answer
6	Flexibility, eﬃciency of use, and personalization	0	0	1	2	3	• Need a means or window to comment
7	Aesthetic, privacy, and social conventions	0	0	1	1	0	• Use emoticons
7	Aesthetic, privacy, and social conventions	0	0	1	1	0	• Providing answers with images or videos would be helpful
8	Realistic error management	0	0	1	0	0	• It is recommended to unify vertical and horizontal answer formats

Table 3.

Log analysis results (N=528)

Category	Blocks	No. (%)
Coronary artery disease	Definition	11 (2.1)
	Cause	7 (1.3)
	Symptom	47 (8.9)
	Diagnosis	18 (3.4)
	Treatment	7 (1.3)
	Prognosis	8 (1.5)
	Prevention	35 (6.6)
	Total	133 (25.1)
Percutaneous coronary intervention	Definition	90 (17.1)
	Admission and discharge	10 (1.9)
	Coping	50 (9.5)
	Total	150 (28.5)
Care after percutaneous coronary intervention	Daily life and health behavior	76 (14.4)
	Diet	59 (11.2)
	Medication	110 (20.8)
	Total	245 (46.4)

References

1. World Health Organization (WHO). The top 10 causes of death [Internet]. WHO; 2024 [cited 2024 Dec 20]. Available from: https://www.who.int/news-room/fact-sheets/detail/the-top-10-causes-of-death
2. Statistics Korea. Statistical results of causes of death in 2021 [Internet]. Statistics Korea; 2022 [cited 2024 Dec 20]. Available from: https://kostat.go.kr/board.es?mid=a10301060200&bid=218&act=view&list_no=420715
3. Jang JS, Han KR, Moon KW, Jeon DW, Shin DH, Kim JS, et al. The current status of percutaneous coronary intervention in Korea: based on year 2014 cohort of Korean Percutaneous Coronary Intervention (K-PCI) Registry. Korean Circ J. 2017;47(3):328-340. https://doi.org/10.4070/kcj.2017.0071Article PubMed PMC
4. Inohara T, Kohsaka S, Spertus JA, Masoudi FA, Rumsfeld JS, Kennedy KF, et al. Comparative trends in percutaneous coronary intervention in Japan and the United States, 2013 to 2017. J Am Coll Cardiol. 2020;76(11):1328-1340. https://doi.org/10.1016/j.jacc.2020.07.037Article PubMed
5. Kwok CS, Narain A, Pacha HM, Lo TS, Holroyd EW, Alraies MC, et al. Readmissions to hospital after percutaneous coronary intervention: a systematic review and meta-analysis of factors associated with readmissions. Cardiovasc Revasc Med. 2020;21(3):375-391. https://doi.org/10.1016/j.carrev.2019.05.016Article PubMed
6. Kim JH, Chae SC, Oh DJ, Kim HS, Kim YJ, Ahn Y, et al. Multicenter cohort study of acute myocardial infarction in Korea: interim analysis of the Korea Acute Myocardial Infarction Registry-National Institutes of Health Registry. Circ J. 2016;80(6):1427-1436. https://doi.org/10.1253/circj.CJ-16-0061Article PubMed
7. Ghisi GL, Chaves GS, Britto RR, Oh P. Health literacy and coronary artery disease: a systematic review. Patient Educ Couns. 2018;101(2):177-184. https://doi.org/10.1016/j.pec.2017.09.002Article PubMed
8. Virani SS, Newby LK, Arnold SV, Bittner V, Brewer LC, Demeter SH, et al. 2023 AHA/ACC/ACCP/ASPC/NLA/PCNA Guideline for the management of patients with chronic coronary disease: a report of the American Heart Association/American College of Cardiology Joint Committee on Clinical Practice Guidelines. Circulation. 2023;148(9):e9-e119. https://doi.org/10.1161/CIR.0000000000001168Article PubMed
9. Kil AR, Shin YS. The influence of knowledge of coronary artery disease and self-efficacy on health behavior compliance among patients with coronary artery disease. J Korean Acad Fundam Nurs. 2022;29(1):57-66. https://doi.org/10.7739/jkafn.2022.29.1.57Article
10. Hester KL, Newton J, Rapley T, De Soyza A. Patient information, education and self-management in bronchiectasis: facilitating improvements to optimize health outcomes. BMC Pulm Med. 2018;18(1):80. https://doi.org/10.1186/s12890-018-0633-5Article PubMed PMC
11. Ahn JH, Jo EH. The effect of supportive education on quality of life in patients after percutaneous coronary intervention. Asia Pac J Multimed Serv Converg Art Humanit Sociol. 2017;7(9):385-397. https://doi.org/10.35873/ajmahs.2017.7.9.039Article
12. Jo GJ, Yang JH. Development and evaluation of a self care education program for elderly patients with percutaneous coronary intervention. J Korean Acad Soc Nurs Educ. 2014;20(2):266-275. https://doi.org/10.5977/jkasne.2014.20.2.266Article
13. Lee J, Lee H. The effects of smart program for patients who underwent percutaneous coronary intervention (SP-PCI) on disease-related knowledge, health behavior, and quality of life: a non-randomized controlled trial. J Korean Acad Nurs. 2017;47(6):756-769. https://doi.org/10.4040/jkan.2017.47.6.756Article PubMed
14. Park HH, Jeong GS. Effects of video program by tablet PC on anxiety, vital signs, pain, and knowledge level among patients undergoing percutaneous coronary intervention. Korean J Adult Nurs. 2021;33(2):102-113. https://doi.org/10.7475/kjan.2021.33.2.102Article
15. Barnason S, White-Williams C, Rossi LP, Centeno M, Crabbe DL, Lee KS, et al. Evidence for therapeutic patient education interventions to promote cardiovascular patient self-management: a scientific statement for healthcare professionals from the American Heart Association. Circ Cardiovasc Qual Outcomes. 2017;10(6):e000025. https://doi.org/10.1161/HCQ.0000000000000025Article PubMed
16. Furuya RK, Arantes EC, Dessotte CA, Ciol MA, Hoffman JM, Schmidt A, et al. A randomized controlled trial of an educational programme to improve self-care in Brazilian patients following percutaneous coronary intervention. J Adv Nurs. 2015;71(4):895-908. https://doi.org/10.1111/jan.12568Article PubMed
17. Weibel L, Massarotto P, Hediger H, Mahrer-Imhof R. Early education and counselling of patients with acute coronary syndrome: a pilot study for a randomized controlled trial. Eur J Cardiovasc Nurs. 2016;15(4):213-222. https://doi.org/10.1177/1474515114556713Article PubMed
18. Zhuo Q, Ma F, Cui C, Bai Y, Hu Q, Hanum AL, et al. Effects of pre-operative education tailored to information-seeking styles on pre-operative anxiety and depression among patients undergoing percutaneous coronary intervention: a randomized controlled trial. Int J Nurs Sci. 2023;10(2):174-181. https://doi.org/10.1016/j.ijnss.2023.03.015Article PubMed PMC
19. Kim AR. Development and evaluation of a gastric cancer question answering chatbot to provide information for patients with gastric cancer after curative gastrectomy [dissertation]. Seoul: Seoul University; 2021.
20. Bostrom J, Sweeney G, Whiteson J, Dodson JA. Mobile health and cardiac rehabilitation in older adults. Clin Cardiol. 2020;43(2):118-126. https://doi.org/10.1002/clc.23306Article PubMed
21. Shin SE, Seo YH. Deep analysis of question for question answering system. J Korea Contents Assoc [Internet]. 2006 [cited 2024 Dec 20];6(3):12-19. Available from: https://koreascience.kr/article/JAKO200618718037981.pdf
22. Ahn DH, Shin DW, Cheong JH, Hyung WJ, Choi SH, Noh SH. Gastric-cancer-related inquiries and questionnaires through an internet homepage. J Korean Gastric Cancer Assoc. 2004;4(4):219-224. https://doi.org/10.5230/jkgca.2004.4.4.219Article
23. Yoon OH. The emergence of Chat GPT and exploration of the direction of liberal arts education. J Korea Contents Assoc. 2023;23(5):86-96. https://doi.org/10.5392/JKCA.2023.23.05.086Article
24. Kim T, Han S. An exploratory study on social issues related to ChatGPT: focusing on news big data-based topic modeling analysis. J Digit Contents Soc. 2023;24(6):1209-1220. https://doi.org/10.9728/dcs.2023.24.6.1209Article
25. Lee HS, Kim YR, Shin EJ, Jang HW, Jo YH, Cho YS, et al. Development of warfarin talk: a messenger chatbot for patients taking warfarin. Korean J Clin Pharm. 2020;30(4):243-249. https://doi.org/10.24304/kjcp.2020.30.4.243Article
26. Piao MH. Development of SNS platform based healthy lifestyle coaching program and effectiveness evaluation [dissertation]. Seoul: Seoul University; 2018.
27. Cho BH, Cheong KW. Design and application method of software life cycle. Korean Inst Inf Sci Eng [Internet]. 1992 [cited 2024 Dec 20];19(2):725-728. Available from: https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE00619278
28. Korean Society of Myocardial Infarction. Myocardial infarction [Internet]. Medbook; 2022 [cited 2024 Dec 20]. Available from: https://www.dhmbook.co.kr/book/content.asp?idx=425
29. Korean Vascular Society. Textbook of angiology [Internet]. Medbook; 2023 [cited 2024 Dec 20]. Available from: https://www.dhmbook.co.kr/book/content.asp?idx=444
30. Davey P. Medicine at a glance. 4th ed. An JH . Panmuneducation; 2019.
31. National Information Society Agency. 2022 Survey on the internet usage [Internet]. Ministry of Science and ICT; 2023 [cited 2024 Dec 20]. Available from: https://www.nia.or.kr/site/nia_kor/ex/bbs/View.do;jsessionid=75A717189CC41FE1D5996A4FD5C835CD.f07501b67cb206361191?cbIdx=99870&bcIdx=25604&parentSeq=25604
32. Jung IS. Create a smart chatbot [Internet]. Youngjin.com; 2019 [cited 2024 Dec 20]. Available from: https://www.youngjin.com/book/book_detail.asp?prod_cd=9788931461763&seq=6613&cate_cd=1&child_cate_cd=5&goPage=8&orderByCd=1
33. Jeon EJ. Development smartphone application for clinical guideline based obesity management [master’s thesis]. Seoul: Seoul University; 2013.
34. Stoyanov SR, Hides L, Kavanagh DJ, Wilson H. Development and validation of the user version of the Mobile Application Rating Scale (uMARS). JMIR Mhealth Uhealth. 2016;4(2):e72. https://doi.org/10.2196/mhealth.5849Article PubMed PMC
35. Kang KJ, Yoo HJ, Lee HJ. A study on the difference of disease related knowledge level, compliance of health behavior, and educational needs according to time in percutaneous coronary intervention patients. J Korean Acad Adult Nurs. 2010;22(2):190-199.
36. Kim OK, Yun JY. A convergence study on the chatbot (voice-based/messenger-based) in mobile shopping and user experience in app services. Korean Soc Sci Art. 2019;37(2):47-59. https://doi.org/10.17548/ksaf.2019.03.30.47Article
37. Lin QL, Kim HK, Lee HJ. Relationship of knowledge of cardiac rehabilitation, educational needs, and self care in inpatients with coronary artery disease in China. J Korean Acad Soc Nurs Educ. 2009;15(2):260-273. https://doi.org/10.5977/JKASNE.2009.15.2.260Article
38. Yap J, Teo TY, Foong P, Binte Hussin N, Wang H, Shen T, et al. A randomized controlled trial on the effectiveness of a portable patient education video prior to coronary angiography and angioplasty. Catheter Cardiovasc Interv. 2020;96(7):1409-1414. https://doi.org/10.1002/ccd.28655Article PubMed
39. Chung K, Cho HY, Park JY. A chatbot for perinatal women’s and partners’ obstetric and mental health care: development and usability evaluation study. JMIR Med Inform. 2021;9(3):e18607. https://doi.org/10.2196/18607Article PubMed PMC
40. da Silva Lima Roque G, Roque de Souza R, Araújo do Nascimento JW, de Campos Filho AS, de Melo Queiroz SR, Ramos Vieira Santos IC. Content validation and usability of a chatbot of guidelines for wound dressing. Int J Med Inform. 2021;151:104473. https://doi.org/10.1016/j.ijmedinf.2021.104473Article PubMed
41. Brixey J, Hoegen R, Lan W, Rusow J, Singla K, Yin X, et al. SHIHbot: a Facebook chatbot for sexual health information on HIV/AIDS. editors. Proceedings of the SIGDIAL 2017 Conference; 2017 Aug 15-17; Saarbrucken, Germany. Association for Computational Linguistics; 2017. p. 370-373. https://doi.org/10.18653/v1/W17-5544Article
42. Park JJ. A development of chatbot for emotional stress recognition and management using NLP. Trans Korean Inst Electr Eng. 2018;67(7):954-961. https://doi.org/10.5370/KIEE.2018.67.7.954Article
43. Park DA. A study on conversational public administration service of the chatbot based on artificial intelligence. J Korea Multimed Soc. 2017;20(8):1347-1356. https://doi.org/10.9717/kmms.2017.20.8.1347Article
44. Kakao Customer Service. Bot response [Internet]. Kakao; [date unknown] [cited 2024 Dec 20]. Available from: https://cs.kakao.com/helps?articleId=1073196546&service=169&category=583&deviice=2152&locale=ko
45. Hong YJ, Piao M, Kim J, Lee JH. Development and evaluation of a child vaccination chatbot real-time consultation messenger service during the COVID-19 pandemic. Appl Sci. 2021;11(24):12142. https://doi.org/10.3390/app112412142Article
46. Shah J, DePietro B, D'Adamo L, Firebaugh ML, Laing O, Fowler LA, et al. Development and usability testing of a chatbot to promote mental health services use among individuals with eating disorders following screening. Int J Eat Disord. 2022;55(9):1229-1244. https://doi.org/10.1002/eat.23798Article PubMed PMC
47. Ghosh S, Bhatia S, Bhatia A. Quro: facilitating user symptom check using a personalised chatbot-oriented dialogue system. Stud Health Technol Inform. 2018;252:51-56. https://doi.org/10.3233/978-1-61499-890-7-51Article PubMed
48. Sinha S, Mandal S, Mondal A. Question answering system-based chatbot for health care. In: Mandal J, Mukhopadhyay S, editors. Proceedings of the Global AI Congress 2019; 2019 Sep 12-14; Kolkata, India. Institute of Engineering and Management; 2020. p. 71-80. https://doi.org/10.1007/978-981-15-2188-1_6

Figure & Data

REFERENCES

Citations

Citations to this article as recorded by

ePub Link

Cite

CITE: export Copy Download Format; Close

Download Citation

Download a citation file in RIS format that can be imported by all major citation management software, including EndNote, ProCite, RefWorks, and Reference Manager.

Format:

RIS — For EndNote, ProCite, RefWorks, and most other reference management software
BibTeX — For JabRef, BibDesk, and other BibTeX-specific software

Include:

Citation for the content below
Citation and abstract for the content below

Development and evaluation of a question-answering chatbot to provide information for patients with coronary artery disease after percutaneous coronary intervention

J Korean Acad Nurs. 2025;55(2):153-164. Published online May 13, 2025

DOI: https://doi.org/10.4040/jkan.24128

XML Download

Figure

We recommend

Development and evaluation of a question-answering chatbot to provide information for patients with coronary artery disease after percutaneous coronary intervention

Fig. 1. Component structure of the question-answering chatbot for coronary artery disease.

Fig. 2. (A, B) Example of chatbot start screen and Q&A introduced in a Kakao Talk channel.

Fig. 1.

Fig. 2.

Development and evaluation of a question-answering chatbot to provide information for patients with coronary artery disease after percutaneous coronary intervention

No.	Example questions	No. (%)
1.	• What is the difference between myocardial infarction and angina symptoms?	487 (24.1)
	• I have a pain that feels like a tightness in my left chest.
	• My chest feels stuffy because of a clogged sensation in the solar plexus, and I have pain in my left back, and numbness that stretches down under my left collarbone and my left arm. Is this a symptom of myocardial infarction?
	• I have a stiff chest, indigestion, etc.
2.	• Is there any good food for cardiovascular disease?	335 (16.6)
	• How do you manage your diet?
	• Should you never eat meat? etc.
3.	• When can I start exercising after stenting?	242 (12.0)
	• Do you have any discomfort in your daily life after the procedure?
	• Is it difficult to return to work the next day after stenting?
4.	• Do I get coronary angiography in the hospital?	207 (10.2)
	• Can I get dental treatment and extraction implants after stenting?
	• Does stenting prevent blood vessels from being blocked? etc.
5.	• Can I drink alcohol after stenting?	162 (8.0)
	• Can’t I have even one or two drinks?
	• I heard that red wine helps with heart disease, can I drink it? etc.
6.	• I would like to know how to use nitroglycerin.	137 (6.8)
6.	• Angina patients are told to carry a medicine called nitroglycerin with them and take it in an emergency, but I wonder what the effect of this medicine is. etc.	137 (6.8)
7.	• Are there any nutritional supplements that you would recommend after stenting?	110 (5.4)
	• Do I need to take dietary supplements after discharge?
	• Can I take supplements while taking angina medication? etc.
8.	• Other questions not classified above	341 (16.9)

No.	Heuristic	Result					Opinions
No.	Heuristic	A	B	C	D	E	Opinions
1	Visibility of system status and losability/findability of the mobile device	0	0	1	2	0	• Add headings to answers to enhance visibility
2	Match between system and the real world	0	0	0	0	0
3	Consistency and mapping	0	0	0	1	0	• Organize the keywords that overlap
4	Good ergonomics and minimalist design	0	0	0	2	3	• Large amount of text
5	Ease of input, screen readability and understandability at a glance	0	1	2	2	2	• Repeated exposure to references may be perceived as noise
5		0	1	2	2	2	• Provide a brief answer
6	Flexibility, eﬃciency of use, and personalization	0	0	1	2	3	• Need a means or window to comment
7	Aesthetic, privacy, and social conventions	0	0	1	1	0	• Use emoticons
7	Aesthetic, privacy, and social conventions	0	0	1	1	0	• Providing answers with images or videos would be helpful
8	Realistic error management	0	0	1	0	0	• It is recommended to unify vertical and horizontal answer formats

Category	Blocks	No. (%)
Coronary artery disease	Definition	11 (2.1)
	Cause	7 (1.3)
	Symptom	47 (8.9)
	Diagnosis	18 (3.4)
	Treatment	7 (1.3)
	Prognosis	8 (1.5)
	Prevention	35 (6.6)
	Total	133 (25.1)
Percutaneous coronary intervention	Definition	90 (17.1)
	Admission and discharge	10 (1.9)
	Coping	50 (9.5)
	Total	150 (28.5)
Care after percutaneous coronary intervention	Daily life and health behavior	76 (14.4)
	Diet	59 (11.2)
	Medication	110 (20.8)
	Total	245 (46.4)

Table 1. Examples of frequently asked questions (N=2,021)

Table 2. Expert evaluation results

Table 3. Log analysis results (N=528)