Avaliação da usabilidade da telemedicina no atendimento pré-hospitalar fixo

Resumo

INTRODUÇÃO: Poucos estudos até o momento investigaram o uso da telemedicina no atendimento pré-hospitalar fixo, particularmente em países em desenvolvimento.
OBJETIVOS: avaliar a usabilidade da telemedicina no atendimento pré-hospitalar fixo, enfatizando sua importância e os desafios a serem superados para garantir seu uso eficaz.
MÉTODOS: Trata-se de um estudo de avaliação de tecnologia em saúde de natureza descritiva e analítica, de corte transversal com abordagem quantitativa. Profissionais de saúde que desempenhavam atividades no atendimento pré-hospitalar fixo de urgência e emergência foram convidados a participar do estudo e responder um questionário semiestruturado e a System Usability Scale (SUS). A aplicação do questionário foi realizada no período de abril a maio do ano de 2022.
RESULTADOS: A amostra incluiu 85 profissionais, predominantemente do sexo feminino, com idade média de 43 anos. O escore global de usabilidade da telemedicina atingiu média de 67 pontos (desvio padrão de ± 11). A qualidade da telemedicina foi considerada como boa por 51,8% dos profissionais. A telemedicina utilizada pelos profissionais da saúde que prestam assistência nas unidades de atendimento pré- hospitalar fixo de urgência da cidade de Salvador obteve boa avaliação de usabilidade, sendo considerada importante ferramenta para o atendimento. Houve associação significativa entre as variáveis faixa etária e níveis dos profissionais. Notou- se que os profissionais de nível superior têm mais facilidade de uso.
CONCLUSÃO: Profissionais entre 30 a 40 anos apresentaram maior confiança no emprego da telemedicina, porém aqueles com mais de 51 anos avaliaram que precisam de mais assistência para utilização da telemedicina.

INTRODUÇÃO

A telemedicina é definida como a entrega remota de serviços de saúde e informações clínicas por meio de tecnologia de telecomunicações, como Internet, redes sem fio, intranets e extranets ¹. Engloba um sistema de fornecimento de serviços de saúde acessível e econômico, que proporciona cuidados de qualidade e reduz a morbidade e a mortalidade globais. As soluções tecnológicas de telemedicina abordadas têm se mostrado válidas, confiáveis e precisas no fornecimento de acesso mais rápido a aconselhamento especializado, diminuindo o número de encaminhamentos desnecessários de especialistas e consultas em consultório, bem como aumentando a experiência de satisfação do paciente².

Na Região Europeia da Organização Mundial da Saúde (OMS), foi recentemente produzido um extenso corpo de literatura, evidenciando múltiplos resultados positivos relacionados com a saúde e a criação de programas de aconselhamento de saúde à distância integrados e finamente estruturados³. A telemedicina aumenta o acesso a serviços de saúde gerais e especializados, presta cuidados às zonas rurais, oferece aos prestadores maior flexibilidade no agendamento e poupa tempo e dinheiro aos pacientes na procura de cuidados⁴.

Em nações extensas ou com sistemas de saúde universais, como o Brasil, há concentração de serviços especializados em grandes centros urbanos, enquanto áreas remotas e rurais carecem de profissionais especializados. Nestes casos, a telemedicina se torna ainda mais importante pela possibilidade de oferecer acesso a especialistas experientes, otimizando o atendimento, reduzindo custos e evitando deslocamentos desnecessários⁵.

Evidências recentes demonstram que a telemedicina tem sido usada para incentivar o autocuidado por meio do monitoramento remoto e de doenças crônicas, para fornecer consultas a pacientes que não podem comparecer a consultas presenciais e em hospitais e clínicas para melhorar o atendimento ao paciente. As intervenções de telemedicina podem melhorar o controle glicêmico em pacientes diabéticos; reduzir a mortalidade e a hospitalização por insuficiência cardíaca crónica; ajudar os pacientes a controlar a dor e aumentar a atividade física; melhorar a saúde mental, a qualidade da dieta e a nutrição; e reduzir as exacerbações associadas a doenças respiratórias como a asma^2,6.

No entanto, poucos estudos até o momento investigaram o uso da telemedicina no atendimento pré-hospitalar fixo, particularmente em países em desenvolvimento. Em Salvador (Bahia), o Serviço de Atendimento Móvel de Urgência (SAMU) usou a telemedicina para conectar unidades de urgência e emergência com hospitais de referência em cardiologia, resultando em melhorias nas taxas de reperfusão primária e na expectativa de vida⁷. A telemedicina ainda não é onipresente e as barreiras variam amplamente⁴. Dessa forma, o objetivo desse estudo foi avaliar a usabilidade da telemedicina no atendimento pré-hospitalar fixo, enfatizando sua importância e os desafios a serem superados para garantir seu uso eficaz.

 

MÉTODOS

Trata-se de um estudo de avaliação de tecnologia em saúde de natureza descritiva e analítica, de corte transversal com abordagem quantitativa. Para o desenvolvimento da pesquisa, foi aplicado um questionário semi estruturado aos profissionais da saúde que atuam no atendimento pré-hospitalar fixo.

O estudo foi realizado em consonância com a Resolução nº. 466/2012, do Conselho Nacional de Saúde e o projeto da pesquisa foi aprovado pelo Comitê de Ética em Pesquisa da Santa Casa de Misericórdia da Bahia, sob o parecer CAAE nª 54269521.0.0000.5520. Todos os participantes da pesquisa assinaram o Termo de Consentimento Livre e Esclarecido (TCLE) previamente ao início do estudo.

O estudo foi desenvolvido no município de Salvador, localizado no Recôncavo Baiano e constitui um centro econômico, financeiro, político e administrativo do Estado da Bahia. O Plano Municipal de Saúde do Salvador 2022-2025 é composto pela rede de atenção às urgências (RAU) que está estruturada por dez Unidades de Pronto Atendimento (UPA), sete Pronto Atendimentos (PAs) comunitários, um Pronto Atendimento Psiquiátrico (PAP) e o Serviço de Atendimento Móvel de Urgência (SAMU); as UPAs, PAs e PAP são conceitualmente unidades pré-hospitalares fixas, sendo o SAMU a unidade móvel ⁸. A coleta de dados foi realizada em uma UPA e dois PAs, que estavam sob domínio da administração direta da Secretaria Municipal da Saúde de Salvador.

PARTICIPANTES

A população alvo do estudo foi composta por profissionais de saúde que desempenhavam atividades no atendimento pré-hospitalar fixo de urgência e emergência, constituída de assistentes sociais, enfermeiros, farmacêuticos, fisioterapeutas, médicos, técnicos em enfermagem, técnicos em laboratório e técnicos em radiologia. Os critérios de inclusão para o estudo foram ter o exercício profissional na assistência à saúde nas unidades de pré-hospitalares fixas (descrita no quadro 1) e ter utilizado a telemedicina no período dos últimos doze meses. O critério de não inclusão foi a negativa do sujeito em participar da pesquisa.

Os participantes do estudo foram selecionados através da amostragem não probabilística entre os que potencialmente preenchiam os critérios de inclusão. O cálculo do tamanho amostral foi baseado em um erro padrão de 7,5 pontos no questionário de usabilidade, utilizando-se 15 pontos como desvio-padrão, erro alfa de 0,05 e poder do teste de 80%. Com estes parâmetros, o tamanho amostral foi estimado em 63 indivíduos.

SISTEMA DE TELEMEDICINA PRÉ-HOSPITALAR FIXO

Em 2009, a Rede de Atenção às Urgência da cidade de Salvador implementou o seu primeiro sistema de telemedicina, o Protocolo de Infarto Agudo do Miocárdio (P- IAM). Este serviço está estruturado e reúne um grupo de especialistas em cardiologia que prestam teleassistência às unidades pré-hospitalares móveis (SAMU) e fixas (UPAs e PAs), além de hospitais gerais e centros de referência em cardiologia⁷. A partir desta experiência bem sucedida, foram subsequentemente estruturadas outras redes de telemedicina que hoje assistem o atendimento ao IAM, bloqueio atrioventricular total (BAVT), acidente vascular cerebral (AVC), infectologia e cirurgia vascular.

A instalação da telemedicina na rede ofereceu acesso das unidades fixas aos especialistas por meios remotos, utilizando a multiplataforma Telegram como base, mas também sendo complementada por contatos telefônicos, e-mails e serviços de mensagens curtas (SMS), whatsapp e videochamadas. Desta forma, os profissionais das UPAs e PAs contavam com grupos de experts para que pudessem realizar discussões, apresentação de casos, esclarecer dúvidas ou mesmo solicitar auxílio direto na assistência aos seus pacientes.

INSTRUMENTO DE AVALIAÇÃO

Como instrumento de coleta de dados, foi utilizado um questionário semiestruturado. O questionário foi dividido em duas seções: a primeira seção descreve características sociais, demográficas e de trabalho dos profissionais da saúde, tais como: utilização da telemedicina (P-IAM ou outro), sexo, idade, nível de escolaridade, raça/cor; profissão, especialidade, vínculo empregatício, tempo de formação, tempo na profissão, tempo de atuação na RAU do município de Salvador; natureza do vínculo trabalhista; tempo de experiência em outro serviço de urgência, município de atuação, local de trabalho e conhecimento em informática.

A segunda seção abordou a usabilidade da telemedicina por meio do instrumento de avaliação de tecnologia denominado System Usability Scale (SUS). O SUS pode ser empregado de maneira irrestrita e foi escolhido por sua versatilidade e possibilidade de adequação. É um instrumento composto por dez itens que quantificam a usabilidade de múltiplos sistemas tecnológicos, incluindo recursos computacionais e não computacionais, avaliando os domínios de efetividade, eficiência e satisfação com o uso da tecnologia. As respostas são quantificadas por uma escala tipo Likert, em que o valor 1 equivale ao discordo totalmente e 5 corresponde ao concordo totalmente. O escore global de usabilidade pode variar de zero (pior usabilidade) a 100 pontos (melhor usabilidade possível). O presente estudo utilizou a versão traduzida e adaptada transculturalmente em português^9,10.

PROCEDIMENTOS

A aplicação do questionário foi realizada no período de abril a maio do ano de 2022. Os pesquisadores visitaram os gerentes das unidades dos serviços de saúde, foi feita uma breve explanação sobre o projeto e apresentados os objetivos e a importância da realização da pesquisa, deixando explícito que a participação do profissional seria livre, e esta ocorreria em caráter voluntário. Após a visita, o segundo momento consistiu em sensibilizar os profissionais para contribuir com o estudo. Os sujeitos que decidiram participar receberam o questionário SUS para ser respondido livremente e na sua própria conveniência, devolvendo-os diretamente para os pesquisadores.

ANÁLISE ESTATÍSTICA

A análise dos dados quantitativos foi realizada utilizando planilha eletrônica do software “Statistical Package for the Social Sciences” (SPSS) versão 25.0. for Windows. Para as variáveis quantitativas contínuas foram realizadas medidas de distribuição central, média e desvio padrão, enquanto as variáveis quantitativas discretas foram apresentadas em frequências absoluta (N) e relativa (%). Nas análises inferenciais realizou-se o teste qui-quadrado a fim de verificar a associação entre as variáveis faixa etária e níveis profissionais com os itens do instrumento de avaliação de usabilidade de tecnologia (SUS). Utilizou-se também a correção de continuidade e exato de Fisher quando alguma célula apresentou valores menores que 5. Foram construídas tabelas e gráficos descritivos quando pertinente, e o estudo adotou p < 0,05 (5%) como sendo o valor de significância.

 

RESULTADOS

A amostra incluiu 85 profissionais, predominantemente do sexo feminino. No geral, a idade dos participantes teve média de 43 anos (desvio-padrão de ± 8,0 e variou de 24 a 59 anos). A maioria dos sujeitos se autodeclarou parda. Houve maior prevalência de indivíduos de nível superior, no entanto os técnicos em enfermagem foram o grupo com maior número de representantes. A Tabela 1, apresenta as características sociodemográficas dos profissionais da saúde que atuam nas unidades de pronto atendimento fixo.

 

 

A maioria dos profissionais referiu os PAs comunitários como local de trabalho (74,1%). O tempo médio de formação foi de 18 anos (desvio-padrão de ± 7,0 e com variação de 01 a 38 anos), sendo mais frequente a faixa de 16-25 anos. O tempo de trabalho na profissão teve média de 17 anos (desvio-padrão de ± 7,0 e variou de um a 35 anos), sendo concentrado entre 16-25 anos (50,59%). O tempo de atuação em urgência e emergência foi concentrado entre 6-15 anos, sendo a média de 8 anos (desvio-padrão de 6,0 com variação de 01 a 30 anos). A maior parte dos profissionais tinha vínculo empregatício de estatutário. Na Tabela 2, podem ser vistas as características dos participantes.

 

 

A tabela 3 apresenta o perfil de usabilidade da telemedicina nos serviços de atendimento pré-hospitalar fixo. As afirmativas com mais de 50% de concordância (4 ou 5 na escala Likert) foram: “Acho que gostaria de utilizar a telemedicina com frequência”; “Achei a telemedicina fácil de utilizar”; “Suponho que a maioria das pessoas aprenderia a utilizar rapidamente a telemedicina”; “Senti-me muito confiante ao utilizar a telemedicina”. Já as questões com mais de 50% de discordância (1 ou 2 na escala Likert) foram: “Acho que necessitaria de ajuda de um técnico para conseguir utilizar a telemedicina”; “Considerei a telemedicina muito complicada de utilizar”.

 

 

O escore global de usabilidade da telemedicina atingiu média de 67 pontos, com mediana de 70 pontos (desvio padrão de ± 11 e variação de 42,5 a 95 pontos). A tabela 4 mostra que a maior parte dos profissionais da saúde que participaram do estudo consideraram a qualidade da telemedicina como boa (51,8%).

 

 

A tabela 5 demonstra que na associação entre profissionais de nível médio versus nível superior foi observado significância estatística para as afirmativas “achei a telemedicina fácil de utilizar” (p = 0,008) e “acho que necessitaria de ajuda de um técnico para conseguir utilizar a telemedicina” (p = 0,005).

 

 

Foi realizada análise de associação entre os itens do SUS com a variável faixa etária, havendo diferença significativa nas afirmações 4 e 9 do instrumento. O gráfico 1 mostra os níveis para a resposta concordante com a afirmativa “acho que necessitaria de ajuda de um técnico para conseguir utilizar a telemedicina” (p = 0,007), no qual os entrevistados com idade superior a 51 anos foram os que mais concordaram em relação aos mais jovens. Já o gráfico 2 apresenta o percentual de concordância com a afirmativa “senti-me muito confiante ao utilizar a telemedicina” (p = 0,033), onde os entrevistados com idade entre 31 a 40 anos apresentaram maior concordância em relação aos mais jovens que parecem sentir mais insegurança.

 

 

 

 

DISCUSSÃO

O presente estudo teve o propósito de avaliar a usabilidade da telemedicina pelos profissionais da saúde que atuam em unidades pré-hospitalares fixas geridas pela Secretaria Municipal da Saúde de Salvador, através da escala SUS. A usabilidade determina o quanto o sistema é eficaz e eficiente para os usuários de teleassistência e tem sido considerada um fator importante na aceitação de sistemas de monitoramento de telemedicina por indivíduos que encontram desafios na utilização de tais sistemas e que possuem um conhecimento limitado de seu uso¹¹. Na visão geral, o sistema foi considerado de boa qualidade. Nosso estudo evidenciou que a telemedicina é utilizada com frequência pelos profissionais, sendo considerada de fácil uso e de rápido aprendizado; além de tornar os profissionais mais confiantes no desenvolvimento de suas tarefas.

Os profissionais de nível médio, especificamente os técnicos de enfermagem foram os que mais utilizaram a telemedicina, seguidos dos enfermeiros e médicos. Mesmo sendo indivíduos com larga experiência na área de emergência, nota-se que os técnicos de enfermagem ainda sentem mais necessidade de auxílio operacional para utilizar recursos tecnológicos em relação aos profissionais de nível superior. Provavelmente o nível de instrução formal pode ser a explicação para o desejo de maior suporte para utilização da telemedicina pelos técnicos. Em um estudo que avaliou a usabilidade e as dificuldades no manuseio do prontuário eletrônico do paciente por profissionais da enfermagem, constatou-se que profissionais que tinham apenas o ensino médio e sem capacitação tiveram dificuldades na utilização do prontuário eletrônico, além de terem dificuldades em lidar com ferramentas básicas, como o editor de texto¹².

A maioria dos profissionais de nível superior referiu que a estrutura da telemedicina é menos complexa, integrada e apresenta nível de segurança apropriado para o compartilhamento e armazenamento de dados e informações sobre a saúde dos pacientes. Estudos recentes também evidenciaram que profissionais de nível superior são mais engajados na utilização de aplicativos na área de saúde e em atividades de compartilhamento de dados, possivelmente por terem maior habilidade e facilidade de interação com estas tecnologias, o que lhes confere confiança no uso^13,14. Vale ressaltar que a adoção da telemedicina pode ser influenciada indiretamente pelas políticas e pela cultura, diferenças nas percepções dos profissionais de saúde americanos e brasileiros foram identificadas particularmente em relação à segurança da informação⁵.

Com relação à idade, os profissionais com mais de 50 anos foram aqueles que referiram precisar mais de ajuda técnica, enquanto sujeitos entre 31 e 40 anos foram os que mais se sentiram confiantes na utilização da telemedicina. A usabilidade da telemedicina foi considerada menos eficiente para os profissionais com idade igual e superior a 51 anos de idade. Estes profissionais tendem a requerer auxílio de uma pessoa com maior expertise para sentirem-se seguros com o uso da telemedicina ou a presença de pessoas mais jovens com disposição para orientá-los. Pessoas com mais idade não são confiantes no uso de tecnologias e geralmente usam menos que os mais jovens, podendo ser este o motivo pelo qual a usabilidade da telemedicina foi considerada inferior nesta faixa etária, como já demonstrado recentemente¹⁵.

Com a intenção de descrever e criar referencial de usabilidade, alguns estudos avaliaram dados da escala SUS ao longo de uma década, com o objetivo de investigar como as pessoas utilizam a escala numérica para avaliar a usabilidade de produtos e serviços. Um destes estudos constatou que há uma correlação pequena e significativa entre a idade e os escores da SUS ao passo que o SUS-score diminui com o aumento da idade, isso afeta negativamente a usabilidade dos produtos para o público mais idoso possivelmente devido à diminuição das capacidades cognitiva e motora¹⁶.

As multiplataformas de mensagem instantânea e outras soluções tecnológicas permitem a realização de modificações e atualizações, bem como a inclusão de novas funcionalidades e acessibilidade, com o objetivo de proporcionar diversidade de públicos e a possibilidade de interação entre os usuários. Apesar de não cumprirem as regras de regulamentação, tais como do Regulamento Geral Europeu de Proteção de Dados e da Lei de Portabilidade e Responsabilidade de Seguros de Saúde dos EUA, esses aplicativos têm sido frequentemente utilizados por profissionais e organizações de saúde, com objetivo de melhorar a continuidade dos cuidados e facilitar a prestação eficaz de serviços de saúde, especialmente em ambientes agudos¹⁷. Ainda assim, profissionais de 18 a 31 anos não se sentem totalmente confiantes no uso da telemedicina, enquanto aqueles de 31-40 são os mais confiantes. É possível que profissionais recém-formados e inexperientes estejam submetidos a maior pressão nas unidades de emergência; também é possível que tenham tido pouco contato com a telemedicina e que desconheçam sua potencialidade.

Ao inserir uma ferramenta de comunicação para auxiliar o atendimento pré- hospitalar fixo e para não haver dificuldades de uso, os profissionais da saúde deveriam ser submetidos aos treinamentos e capacitações necessários para o manejo dos aparatos tecnológicos. Sabe-se que a ausência de conhecimento e habilidades na manipulação dos dispositivos computacionais acarreta frustração nos profissionais, o que pode tornar o recurso tecnológico obsoleto e subutilizado, além de impactar na diminuição da qualidade esperada para os atendimentos¹⁸.

No que diz respeito à avaliação da usabilidade de tecnologia, os participantes devem ter uma visão geral da funcionalidade do produto em questão, o que pode ser oferecido e o resultado desejado, não se limitando apenas às funções específicas que mais são executadas. Pois, ao avaliar a usabilidade de um produto de acordo com a experiência dos participantes, tende-se a priorizar recursos que são fáceis e muito utilizados de forma rotineira, ao invés de priorizar recursos difíceis e de baixa utilização¹⁹.

Seria importante que as unidades de urgência e emergência geridas de maneira direta pela Secretaria Municipal da Saúde de Salvador promovessem educação permanente em saúde a partir das temáticas transversais sobre as boas práticas de usabilidade da telemedicina. Desta forma, seria possível melhorar a usabilidade da telemedicina em grupos específicos de profissionais como, por exemplo, profissionais da saúde com vínculo trabalhista precário, indivíduos com de meia idade ou idoso jovem, e profissionais da saúde com grau de formação técnica. Com o contexto atual de escassez de pessoal médico e não médico especializado nos serviços de urgência e emergência, além da necessidade de segurança entre a equipe do centro de controle e dos serviços assistenciais diretos, diante do cenário crescente de judicializações, torna- se absolutamente necessária uma utilização otimizada dos recursos existentes, neste ponto, a telemedicina assume particular importância como recurso complementar nos serviços de urgência²⁰.

Na execução da pesquisa, foram identificadas algumas limitações importantes. Não foi possível relacionar a frequência do uso da telemedicina com sua usabilidade ou com características pessoais dos profissionais. Por não se tratar de estudo qualitativo, não foi possível identificar adequadamente os problemas e soluções a serem propostas. As unidades de urgência sempre estão a pleno vapor, criando vieses importantes nas características dos respondedores. Seria também desejável identificar quais os dispositivos eletrônicos de acesso a telemedicina que foram mais utilizados. A despeito destas limitações, o estudo é pioneiro na avaliação da usabilidade de um sistema de telemedicina bem estruturado e demonstra que tais iniciativas são eficientes e que devem ser replicadas no território nacional para facilitar acesso à saúde, especialmente em regiões mais remotas ou onde não haja especialistas suficientes.

Para elaboração de estudos futuros sobre a utilização da telemedicina, sugere-se a realização de estudos que envolvam abordagem qualitativa numa perspectiva da análise de conteúdo, do discurso ou da narrativa dos participantes. Pois, a partir das experiências e reações dos usuários é possível identificar os problemas que comprometem a usabilidade da telemedicina, assim como os pontos de aperfeiçoamento e modificações da telemedicina no atendimento pré-hospitalar. Há necessidade também de confirmação da usabilidade da telemedicina em áreas remotas ou em situações onde seria difícil ter acesso a especialistas como, por exemplo, no ambiente carcerário ou em zonas rurais.

 

CONCLUSÃO

A telemedicina utilizada pelos profissionais da saúde que prestam assistência nas unidades de atendimento pré-hospitalar fixo de urgência da cidade de Salvador obteve boa avaliação de usabilidade, sendo considerada importante ferramenta para o atendimento. Houve associação significativa entre as variáveis faixa etária e níveis dos profissionais. Notou- se que os profissionais de nível superior têm mais facilidade de uso. Profissionais entre 30 a 40 anos apresentaram maior confiança no emprego da telemedicina, porém aqueles com mais de 51 anos avaliaram que precisam de mais assistência para utilização da telemedicina.

 

REFERÊNCIAS

1. Website, American Telemedicine Association, 2013, http://www.americantelemed.org.

2. Saigí-Rubió F, Borges do Nascimento IJ, Robles N, et al. The Current Status of Telemedicine Technology Use Across the World Health Organization European Region: An Overview of Systematic Reviews. J Med Internet Res 2022; 24: e40877.

3. Aranda-Jan CB, Mohutsiwa-Dibe N, Loukanova S. Systematic review on what works, what does not work and why of implementation of mobile health (mHealth) projects in Africa. BMC Public Health 2014; 14: 188.

4. Scott Kruse C, Karem P, Shifflett K, et al. Evaluating barriers to adopting telemedicine worldwide: A systematic review. J Telemed Telecare 2018; 24: 4–12.

5. Luciano E, Mahmood MA, Mansouri Rad P. Telemedicine adoption issues in the United States and Brazil: Perception of healthcare professionals. Health Informatics J 2020; 26: 2344–2361.

6. Eze ND, Mateus C, Cravo Oliveira Hashiguchi T. Telemedicine in the OECD: An umbrella review of clinical and cost-effectiveness, patient experience and implementation. PLoS One 2020; 15: e0237585.

7. Solla DJF, Paiva Filho I de M, Delisle JE, et al. Integrated regional networks for ST-segment-elevation myocardial infarction care in developing countries: the experience of Salvador, Bahia, Brazil. Circ Cardiovasc Qual Outcomes 2013; 6: 9– 17.

8. User S. Casa Civil - Prefeitura Municipal do Salvador, http://www.casacivil.salvador.ba.gov.br/index.php/2-uncategorised/167-relatorio-de-atividades-2022 (accessed 4 October 2023).

9. Lewis JR. The System Usability Scale: Past, Present, and Future. International Journal of Human–Computer Interaction. Epub ahead of print 3 July 2018. DOI: 10.1080/10447318.2018.1455307.

10. Lourenço DF, Valentim EC, de Moraes Lopes MHB. Traducción y adaptación transcultural de la System Usability Scale al portugués de Brasil. Aquichan 2022; 22: e2228–e2228.

11. Saeed N, Manzoor M, Khosravi P. An exploration of usability issues in telecare monitoring systems and possible solutions: a systematic literature review. Disabil Rehabil Assist Technol 2020; 15: 271–281.

12. Janaína Verônica Lahm DRC. PRONTUÁRIO ELETRÔNICO DO PACIENTE: AVALIAÇÃO DE USABILIDADE PELA EQUIPE DE ENFERMAGEM. Cogitare Enfermagem 2015; 20: 38–44.

13. Carroll JK, Moorhead A, Bond R, et al. Who Uses Mobile Phone Health Apps and Does Use Matter? A Secondary Data Analytics Approach. J Med Internet Res 2017; 19: e5604.

14. Isakoff SJ, Said MR, Kwak AH, et al. Feasibility of introducing a smartphone navigation application into the care of breast cancer patients (The FIONA Study). Breast Cancer Res Treat 2023; 199: 501–509.

15. Barbara A, Villani L, Lombardo P, et al. The ‘Lazio ADVICE’ telemedicine platform: First results of general practitioners’ usage, facilitators and barriers in the Local Health Authority Roma 1. Digit Health 2023; 9: 20552076231174099.

16. Bangor, A., Kortum, P. T., & Miller, J. T. An empirical evaluation of the System Usability Scale. International Journal of Human-Computer Interaction 2008; 24: 574–594.

17. Masoni M, Guelfi MR. WhatsApp and other messaging apps in medicine: opportunities and risks. Intern Emerg Med 2020; 15: 171–173.

18. Lopes, V. J., Carvalho, D. R., & Lahm, J. V. KDD NA AVALIAÇÃO DA USABILIDADE DO PRONTUÁRIO ELETRÔNICO DO PACIENTE POR PROFISSIONAIS DA ENFERMAGEM. Revista Brasileira De Inovação Tecnológica Em Saúde; 6. Epub ahead of print 2017. DOI: 10.18816/r-bits.v6i3.10414.

19. Kortum PT, Bangor A. Usability Ratings for Everyday Products Measured With the System Usability Scale. Int J Hum Comput Interact. Epub ahead of print 1 January 2013. DOI: 10.1080/10447318.2012.681221.

20. Kane-Gill SL, Rincon F. Expansion of Telemedicine Services: Telepharmacy, Telestroke, Teledialysis, Tele-Emergency Medicine. Crit Care Clin 2019; 35: 519– 533.