Blog

Nov 12, 2023

Escala de habilidades de ultrasonido de evaluación estructurada objetiva para la competencia a distancia hiomental

BMC Medical Education volumen 23, Número de artículo: 177 (2023) Cite este artículo 731 Accesos Detalles de métricas La evaluación ecográfica de las vías respiratorias integra recientemente el enfoque del punto de atención al paciente

BMC Medical Education volumen 23, número de artículo: 177 (2023) Citar este artículo

731 Accesos

Detalles de métricas

La evaluación ecográfica de las vías respiratorias integra recientemente el enfoque en el lugar de atención a la evaluación del paciente, ya que las mediciones ecográficas pueden predecir una laringoscopia e intubación traqueal difíciles. Debido a que la ecografía depende del realizador, se necesita una herramienta de evaluación y capacitación adecuada para aumentar la precisión del diagnóstico. Recientemente se desarrolló una escala objetiva y estructurada de evaluación de habilidades de ultrasonido (OSAUS) para guiar la capacitación y evaluar la competencia. Este trabajo tiene como objetivo estudiar las propiedades psicométricas de la escala OSAUS cuando se utiliza para evaluar la competencia en la medición de la distancia hiomental (HMD) por ultrasonido. Métodos: Estudio prospectivo y experimental. Se reclutó e inscribió a voluntarios en grupos con diferentes conocimientos. Cada participante realizó tres evaluaciones ultrasonográficas de HMD. La actuación fue videograbada y anónima. Cinco evaluadores calificaron ciegamente el desempeño de los participantes utilizando la escala OSAUS y una Escala de Calificación Global (GRS). Se realizó un estudio psicométrico de la escala OSAUS como herramienta de evaluación de la competencia ecográfica HMD. Resultados: Participaron del estudio quince voluntarios. El análisis psicométrico de OSAUS mostró una fuerte consistencia interna (alfa de Cronbach 0,916) y confiabilidad entre evaluadores (ICC 0,720; p < 0,001). El grupo de novatos obtuvo una puntuación de 15,4±0,18 (media±DE), el intermedio de 14,3±0,75 y el de expertos de 13,6±0,1,25, con una diferencia significativa entre los grupos de novatos y expertos (p = 0,036). Se evaluó el tiempo en segundos para completar la tarea: novato (90±34) (media±DE), intermedio (84±23) y experto (83±15), sin diferencias significativas entre grupos. Se observó una fuerte correlación entre OSAUS y la escala de calificación global (r = 0,970, p < 0,001).

El estudio demostró evidencia de validez y confiabilidad. Se necesitan más estudios para implementar la escala OSAUS en el ámbito clínico para el entrenamiento y evaluación de la competencia ecográfica de las vías respiratorias.

Informes de revisión por pares

En las últimas décadas, el uso de la ecografía se expandió desde el laboratorio de imágenes hasta la evaluación a pie de cama del paciente. Hoy en día, casi todas las especialidades médicas han desarrollado un enfoque de ultrasonografía en el punto de atención (PoCUS) para mejorar la evaluación, el diagnóstico y el tratamiento primarios de los pacientes. En el plan de estudios de formación en anestesiología y en la práctica diaria se han incorporado varios enfoques PoCUS para la evaluación del paciente, concretamente para la evaluación cardíaca, pulmonar, gástrica y de las vías respiratorias y para guiar la anestesia regional y el acceso vascular [1].

El ultrasonido se puede aplicar a múltiples aspectos del manejo de las vías respiratorias, como el posicionamiento del tamaño del tubo, la predicción de una extubación exitosa, la guía de la cricotirotomía y la predicción de la vía aérea difícil [2]. Se han estudiado varios parámetros ecográficos como predictores de laringoscopia difícil, específicamente la distancia hiomentoniana en posición neutra y extendida [3], la distancia desde la piel al hueso hioides [4], a las cuerdas vocales [5], a la epiglotis [6], a la cruz de la lengua. área seccional y volumen [7] y muchos otros. Sin embargo, en una revisión sistemática y un metanálisis recientes, el predictor más consistente fue la distancia hiomental (HMD) en una posición neutral [8].

Dado que la ecografía es una técnica que depende del operador, existe la necesidad de una formación estructurada y una evaluación estandarizada para certificar las habilidades y competencias del médico [9,10,11]. Sin embargo, no existen pautas basadas en evidencia para la educación o evaluación de la ecografía de las vías respiratorias.

Tradicionalmente, la competencia en habilidades se lograba después de una formación clínica tutorizada en la que sus tutores confiaban progresivamente a los residentes para que practicaran de forma autónoma. El proceso fue complejo y estuvo respaldado por la evaluación de conocimientos, la recopilación de información de terceros, la supervisión estructurada y una observación práctica directa del desempeño de los alumnos [12,13,14]. En las últimas dos décadas, se desarrollaron muchos instrumentos válidos y confiables para mejorar la objetividad de la evaluación mediante la creación de escalas y listas de verificación [15, 16].

En 2013, Tolsgaard y colaboradores [17] lideraron un consenso internacional de múltiples especialidades sobre el contenido de una escala genérica de calificación de ultrasonido utilizando una técnica Delphi. Un total de 60 expertos internacionales en ecografía de diferentes especialidades médicas (radiología, medicina de emergencia, obstetricia, cirugía, urología, reumatología y gastroenterología) fueron invitados a participar en tres rondas Delphi [17]. Desde entonces, varios autores han utilizado esta herramienta para entrenar y evaluar la competencia en ultrasonido clínico en una variedad de campos, a saber, obstetricia y ginecología [18,19,20,21], trauma abdominal (eFAST) [22, 23], pulmón [ 24], ecografía de cabeza y cuello [25].

La escala de calificación global (GRS) ha sido ampliamente utilizada en la educación médica y en la práctica clínica como herramienta de capacitación y evaluación. Suele utilizarse como herramienta independiente o como complemento para respaldar listas de verificación de habilidades técnicas, de comunicación u otras tareas profesionales [15, 26, 27]. El presente estudio utilizó GRS como una “escala de desempeño general” basada en una escala Likert de 5 puntos.

Desarrollamos una oportunidad para entrenar la medición de la distancia hiomental por ultrasonido para diferentes grupos de expertos en un entorno simulado con pacientes estandarizados. El estudio tiene como objetivo explorar las propiedades psicométricas de la escala OSAUS cuando se utiliza para evaluar la competencia ecográfica hiomental.

El estudio se llevó a cabo siguiendo las directrices y regulaciones pertinentes. El estudio se realizó después de la aprobación del comité de revisión institucional del Comité de Ética del Instituto de Ciencias de la Vida y la Salud (CEICVS) de la Facultad de Medicina de la Universidad de Braga, Braga, Portugal, el 15 de noviembre de 2020 (CEICVS15/2020). La participación en este estudio fue voluntaria y todos los participantes y evaluadores dieron su consentimiento informado verbal y escrito.

El estudio se realizó en la Facultad de Medicina de la Universidad de Minho, Braga, Portugal, de noviembre de 2020 a junio de 2021.

Este es un estudio doble ciego prospectivo, experimental, evaluador e investigador principal para determinar las propiedades psicométricas de OSAUS cuando la escala se utiliza para la medición ecográfica de la distancia hiomental con la cabeza en posición neutra.

Diseño del estudio. Paso 1: presentación teórica y sesión práctica; Paso 2: evaluación de la HMD de los participantes en pacientes estandarizados, grabación de video; Paso 3: preparación de los evaluadores para utilizar la escala OSAUS; Paso 4: evaluación del desempeño de los participantes en la grabación de video utilizando la escala OSAUS.

El estudio se ha desarrollado en 4 pasos. (Fig. 1) En el primer paso se organizó un momento educativo con una presentación teórica de una hora de duración. Dos anestesiólogos experimentados en ecografía de las vías respiratorias presentaron la escala OSAUS [17] y su aplicabilidad para medir la distancia hiomental ecográfica en una posición neutra. El protocolo para la medición de HMD en posición neutra estaba muy bien definido y disponible para consultar durante el momento del entrenamiento. Después de esta sesión, se realizó una formación práctica de 3 horas con comentarios individuales por parte de formadores experimentados. Los participantes evaluaron 9 pacientes estandarizados.

Dos semanas más tarde, en el segundo paso, los participantes completaron la medición ecográfica del HMD por ultrasonido en posición neutra de la cabeza y la actuación se grabó en vídeo. Cada participante evaluó la HMD por ultrasonido en los mismos tres pacientes estandarizados, generando 45 videos.

En el paso 3, se reclutaron seis evaluadores y recibieron orientación en línea sobre la escala OSAUS y su aplicabilidad para evaluar la medición de la HMD por ultrasonido. Se realizó una preparación concreta analizando un vídeo piloto.

En el paso 4, los evaluadores calificaron ciegamente el desempeño de los participantes de acuerdo con OSAUS y una escala de calificación global (GRS) con 5 puntos Likert (1 punto - inaceptable; 2 puntos - débil; 3 puntos - aceptable; 4 puntos - muy bueno; 5 puntos - excelente actuación). También se recopiló el tiempo necesario para completar la tarea de los participantes para su posterior análisis. La evaluación de los evaluadores fue enviada en un archivo excel anónimo.

Los participantes voluntarios dieron su consentimiento informado y autoinformaron su experiencia con la ecografía de las vías respiratorias antes de su inscripción. Según la experiencia de los participantes, se crearon tres categorías: principiantes, intermedios y expertos. Un participante novato no tenía experiencia de hasta seis meses de práctica en ecografía de las vías respiratorias y un experto ha utilizado la ecografía de las vías respiratorias durante más de dos años. El grupo intermedio inscribió a participantes con experiencia de entre seis meses y dos años.

Voluntarios de pacientes estandarizados (SP): se reclutaron nueve SP para el estudio. Todos los SP participaron en el momento de formación y sólo tres de los nueve colaboran en el tiempo de evaluación. Todas las PS eran mujeres, entre 20 y 25 años, con peso saludable, IMC normal a bajo y sin antecedentes de vía aérea difícil, deformación del cuello o cicatrices. Todos dieron su consentimiento informado antes de participar en el estudio.

Los pasos 1 y 2 se realizaron en la Facultad de Medicina de la Universidad de Minho, y el equipo y ambiente de estudio fueron los mismos para la sesión práctica y para el tiempo de evaluación. Las mediciones de ultrasonido se obtuvieron utilizando una máquina de ultrasonido portátil SonoSite® (Fujifilm, SonoSite® Edge II y SonoSite® SII, Ultrasound System, Inc Bothell, WA, EE. UU.), utilizando una sonda transductora de ultrasonido curvilínea, multifrecuencia de 3 a 8 MHz.

La medición de HMD de los participantes en una posición neutral se grabó en video. El ángulo de las grabaciones de vídeo proporcionó una visión global de la técnica, incluido el rostro del SP; ambas manos del ecografista y toda la máquina de ultrasonido. (Figura 2).

Configuración de la estación de ultrasonido para entrenamiento y videograbación. La cámara pudo grabar en vídeo simultáneamente las manos de los participantes, la cara y el cuello del paciente estandarizados y la pantalla de ultrasonido.

Los participantes fueron anonimizados al no grabar sus rostros ni sus voces. Una vez finalizado el procedimiento, los fragmentos fílmicos fueron almacenados y referenciados por orden de recolección. Se envió de forma independiente a cada evaluador un enlace anónimo a una carpeta con los vídeos.

El análisis de las propiedades psicométricas de OSAUS se basó en el marco categorial articulado por Messick [28, 29] y según tres dominios (estructura interna, relación con otras variables y proceso de respuesta). La estructura interna se analizó mediante consistencia interna y confiabilidad entre evaluadores. El estudio del dominio de relación con otras variables incluyó el análisis relacionado con criterios, comparando [1] OSAUS con GRS y [2] la puntuación de desempeño y [3] el tiempo para completar la tarea de los grupos novato-intermedio-experto. El dominio del proceso de respuesta de la evaluación a escala OSAUS se centró en los métodos de recolección de datos; instrucciones, entrenamiento y desempeño del evaluador; cómo se almacenaron las puntuaciones y las estrategias adoptadas para evitar sesgos en el proceso [30].

La consistencia interna fue evaluada a través del alfa de Cronbach para cada ítem utilizado (ítems 2 – Conocimiento aplicado del equipo de ultrasonido, 3 – Optimización de imágenes, 4 – Examen sistemático y 5 – Interpretación de imágenes). Para cada participante, calculamos la puntuación media de las tres mediciones ecográficas y el tiempo medio en segundos para completar la tarea. Se calcularon estimaciones de correlación intraclase (ICC) y su intervalo de confianza del 95%. El modelo de efectos aleatorios bidireccionales de ICC se utilizó para evaluar la coherencia entre los evaluadores en función del valor medio de la puntuación OSAUS de los evaluadores (k = n) [31]. También se realizó un análisis de varianza (ANOVA) para mediciones repetidas. La validez convergente se evaluó mediante la correlación de Pearson entre OSAUS y la Escala de Calificación Global.

ANOVA unidireccional exploró las diferencias en las puntuaciones de calificación de OSAUS y las diferencias en el tiempo para completar la tarea entre grupos con diferentes niveles de experiencia.

El análisis estadístico se realizó utilizando IBM SPSS Statistics versión 29.0.0.0 (IBM Corp, Armonk, NY) con valores de P inferiores a 0,05 que se interpretaron como significación estadística y la fuerza del acuerdo se interpretó de acuerdo con Portney [32] donde los valores inferiores a 0,5 representan confiabilidad pobre, valores entre 0.5 y 0.69 se consideran moderados, valores entre 0.7 y 0.9 indican confiabilidad fuerte y más de 0.9 representan confiabilidad excelente.

Se inscribieron en el estudio quince participantes, 10 (66,6%) eran mujeres y 5 (33,3%) eran hombres. La edad media de los participantes fue 30 ± 4,6, media ± DE, (mín. 25, máximo 39) años. Cada grupo recibió 5 participantes.

Se reclutó un total de 6 evaluadores para el estudio. Un evaluador fue excluido debido a una evaluación incompleta.

La consistencia interna de la escala se logró analizando el uso de cada ítem de la escala OSAUS (225 = 45 videos * 5 evaluadores). La consistencia interna de la escala OSAUS para la medición de la HMD por ultrasonido se evaluó con un alfa de Cronbach de 0,916.

La confiabilidad entre evaluadores se evaluó utilizando el Coeficiente de Correlación Interclase (modelo 2,5) cuando se analizó la puntuación media de las tres mediciones ecográficas de cada participante. El CCI fue de 0,720 (IC95%: 0,408 a 0,893), con un nivel de significación inferior a 0,001 (p < 0,001).

Para explorar evidencia de validez con respecto a otras variables, comparamos la escala OSAUS con GRS y comparamos las puntuaciones de OSAUS y el tiempo para completar la tarea en diferentes niveles de experiencia (principiante, intermedio y experto).

OSAUS para la medición de HMD se comparó con una escala de calificación global de Likert de 5 puntos (1: desempeño deficiente; 5: desempeño perfecto). La correlación entre OSAUS y GRS se estudió utilizando la puntuación media de las tres mediciones ecográficas realizadas por cada participante.

La correlación entre OSAUS-HMD y GRS fue r = 0,970 (p < 0,001; con 94% de varianza compartida, r2 = 0,941).

El valor medio de las puntuaciones de OSAUS-HMD para cada grupo se evaluó considerando la puntuación media de las tres mediciones de cada participante. El grupo de novatos obtuvo 15,4±0,18, media±DE (IC 95% 15,1 a 15,6), el intermedio 14,3±0,75, media±DE (IC 95% 13,0 a 14,90) y el experto 13,6±0,1,25, media±DE (95 %IC 12,2 a 16,1) (Fig. 3). El ANOVA unidireccional mostró diferencias significativas entre los grupos (F(2, 12) = 4,422, p = 0,036). El novato obtuvo una puntuación superior al grupo de expertos (diferencia de medias de 1,8), con un resultado significativo (p = 0,037, test post hoc, Bonferroni), y superior al intermedio (diferencia de medias de 1,1), sin diferencias significativas (p = 0,279). , prueba post hoc, Bonferroni). El grupo intermedio obtuvo una puntuación un poco más alta que el grupo de expertos (diferencia de medias de 0,7), sin diferencias significativas entre los grupos (p = 0,853, teste post hoc, Bonferroni).

Puntuaciones medias de OSAUS en cada grupo de competencias. Los valores se presentan como media y barras de error IC del 95%. *ANOVA unidireccional

En el análisis del tiempo medio para completar la tarea de cada participante, el grupo novato, intermedio y experto gastaron en media ± DE (IC del 95%) respectivamente, 90,4 ± 34,2 (IC del 95%: 47,9 a 132,8), 84,2. ±22,8 (IC 95%: 55,8 a 112,6) y 82,6 ±15,0 (IC 95%: 63,8 a 101,3) segundos. No se encontraron diferencias significativas entre los diferentes niveles de competencia (F(2, 12) = 0,133, p = 0,877, ANOVA unidireccional). (Figura 4)

Tiempo total medio en segundos para completar la tarea en cada grupo de competencias. Barras de media y error IC del 95% para cada grupo de competencias

Las actuaciones de los participantes se realizaron individualmente, sin interferencias externas, y el vídeo se grabó sin rostros ni voces de los participantes. Los vídeos fueron codificados por momento de adquisición, lo que contribuyó al anonimato. Con este enfoque, pudimos cegar a los evaluadores.

Las instrucciones y la capacitación del evaluador consistieron en una sesión en línea de una hora con los autores, donde se presentó la escala OSAUS y se analizó y calificó un video de rendimiento intermedio para la capacitación. Todos los evaluadores acordaron utilizar OSAUS para evaluar el desempeño de los participantes.

El cambio global hacia una educación médica basada en competencias amplió la necesidad de buenas herramientas de evaluación que pudieran evaluar con precisión el desempeño clínico [33,34,35]. Esas herramientas deben someterse a un riguroso proceso de validación antes de su implementación, para que los alumnos y evaluadores se basen en los resultados [36,37,38]. El presente estudio respalda la evidencia de validez de la escala OSAUS, cuando se utiliza para evaluar la DMH por ultrasonido, con una estructura interna fuerte, una relación adecuada con otras variables y evidencia consistente en el dominio del proceso de respuesta.

La estructura interna mide el "grado en que los elementos individuales se ajustan al constructo de interés subyacente". En nuestro estudio su evaluación se basó en cada vez que se calificó un ítem (45 videos * 5 evaluadores = 225 evaluaciones) [39]. Se logró una consistencia interna relevantemente excelente (alfa-Cronbach 0,916) sin evidencia de ítems redundantes ni longitud excesiva de la escala. Como los autores excluyeron tres ítems de OSAUS, la consistencia interna lograda en este estudio podría estar infravalorada.

La confiabilidad entre evaluadores (TIR) ​​se evaluó utilizando el coeficiente de correlación entre clases - ICC [2, 5] con un modelo aleatorio de 2 vías, ya que seleccionamos cinco evaluadores consistentes de una población más grande posible [31]. La TIR se logró con un CCI de 0,720 (IC95%: 0,408 a 0,893), con un nivel de significancia (p < 0,001), lo que refleja un fuerte acuerdo entre evaluadores.

De acuerdo con la relación con otras variables, comparamos las puntuaciones de la escala OSAUS con la GRS y la capacidad de la escala para discriminar el desempeño entre diferentes grupos. Logramos una excelente correlación (r = 0,970, p < 0,001) con la Escala de Calificación Global. La escala OSAUS podría discriminar entre novatos y expertos. Esperábamos resultados invertidos y los expertos obtuvieron las puntuaciones más altas en comparación con otros grupos. Estos resultados pueden ser secundarios a la forma en que los participantes informaron su nivel de competencia, y los expertos tenían más confianza en su nivel de experiencia. En segundo lugar, el estudio se desarrolló en un entorno simulado alejado de la realidad clínica, donde los expertos no estaban tan familiarizados con el entorno. Sin embargo, eran voluntarios, los expertos fueron muy difíciles de reclutar debido a su agenda de trabajo clínica completa y parecían menos comprometidos con el estudio. Esas condiciones podrían haber comprometido su desempeño. Álvarez-López y colaboradores obtuvieron resultados similares cuando utilizaron un simulador virtual portátil 3D de bajo costo para el entrenamiento de habilidades en cirugía mínimamente invasiva [40]. Al mismo tiempo, los participantes novatos se encontraban en una etapa relativamente temprana de su programa de residencia, por lo que su apetito por aprender nuevas técnicas y aumentar sus conocimientos puede explicar las puntuaciones más altas obtenidas por este grupo [40]. Aunque dependen del operador, las habilidades de ultrasonido de las vías respiratorias son fáciles de adquirir, e incluso los menos experimentados pueden lograr precisión en el desempeño con la capacitación adecuada. Dos estudios recientes destacaron la capacidad de los médicos novatos para aprender rápidamente nuevas habilidades técnicas relacionadas con la ecografía. Pratheb et al. [41] no informaron diferencias significativas en la ecografía de las vías respiratorias al comparar a los residentes de anestesia novatos con los anestesiólogos experimentados. Oliveira et al. [42] demostraron que la curva de aprendizaje para los principiantes para identificar la membrana cricotiroidea era relativamente corta incluso después de un entrenamiento corto de 2 h, con una necesidad de menos de 20 exploraciones para alcanzar la competencia. La comparación de puntuaciones de diferentes grupos de competencias no representa un argumento de validez esencial [41, 42]. De manera similar al estudio de Cook [43] varios problemas metodológicos pueden explicar las diferencias observadas entre grupos no relacionados con el constructo de la escala: i) falta de representatividad de la población; ii) el grupo de novatos fue el más homogéneo y iii) el puntaje promedio del grupo no representa el desempeño individual.

Es difícil desarrollar métodos para obtener evidencia sobre el proceso de respuesta. Un metaanálisis publicado por Beckman et al. [34] y una revisión de la literatura publicada por Padilla y colaboradores [30] informaron que el proceso de respuesta es una de las fuentes de validez menos representadas en las herramientas de evaluación y enseñanza clínica. En nuestro estudio, un proceso de respuesta consistente estuvo garantizado por i) la participación del evaluador en una sesión de capacitación; ii) aprobación de los evaluadores del uso de la escala OSAUS para la medición del HMD por ultrasonido; iii) los participantes actuaron de forma individualizada, sin interferencias externas; y iv) control adecuado de calidad y seguridad a lo largo de los pasos del estudio, cegamiento de los evaluadores y autores y reducción del riesgo de un efecto halo.

Los autores utilizaron la escala OSAUS desarrollada previamente para evaluar la competencia en la medición de la distancia hiomental por ultrasonido. Este enfoque nos permitió comparar nuestros resultados con trabajos anteriores y contribuir a una aplicación más amplia de la escala.

La escala OSAUS ha sido utilizada por los otorrinolaringólogos como herramienta de evaluación para la ecografía de cabeza y cuello (HNUS). Todsen et al [25] estudiaron la precisión diagnóstica del cirujano que realizó HNUS y establecieron la evidencia de validez de la escala OSAUS. De manera similar a nuestro estudio, el trabajo reclutó un tamaño de muestra pequeño, utilizó 5 de los 7 ítems de la escala OSAUS. Los participantes se distribuyeron en dos niveles de competencia diferentes (otorrinolaringólogos y pasantes sin experiencia en HNUS); y sólo se invitó a dos evaluadores. Este estudio reclutó pacientes en lugar de pacientes sanos estandarizados. Este enfoque permitió a los autores establecer una correlación entre la escala y la precisión diagnóstica. El estudio presentó una buena estructura interna y discriminó diferentes niveles de competencia.

La escala OSAUS también se utilizó para evaluar la competencia de la biometría fetal por ultrasonido [18,19,20,21]. Todos los estudios reclutaron participantes en dos grupos (novatos e intermedios) según el número de ecografías fetales. La escala podía discriminar el nivel de competencia y el dominio de las consecuencias se exploraba con una puntuación de aprobado/reprobado.

La escala OSAUS se utilizó como herramienta de evaluación durante la implementación de un entrenamiento de simulación en ecografía abdominal enfocada en trauma (eFAST) [22] y en ecografía transvaginal [44]. La escala también fue capaz de discriminar grupos de competencia con buena confiabilidad en la evaluación de la ecografía en el lugar de atención.

El estudio tiene algunas limitaciones que deben tenerse en cuenta, ya que no exploró los dominios de contenido ni de consecuencias del marco de validez de Messick. El contenido de la escala OSAUS fue validado en estudios previos [17, 23]. La escala fue desarrollada después de un panel internacional de expertos multidisciplinarios. Fueron necesarias tres rondas Delphi para desarrollar la escala, lo que representa una preocupación sólida dentro de sus ítems. El dominio de consecuencias del marco de Messick incluye el impacto en el desempeño del examinado, los efectos del examinado (como ansiedad, estrés) y la definición del estándar de aprobado/reprobado [29, 33]. Esta fuente de evidencia no fue explorada ya que el estudio se realizó en un entorno simulado, lejos del lugar de trabajo y sin consecuencias profesionales derivadas de una evaluación de aprobado/no aprobado.

La versión final de la escala OSAUS tiene siete elementos, siendo dos elementos facultativos (indicación para el examen y toma de decisiones médicas). Debido al diseño de este estudio, excluimos el ítem facultativo y el de documentación. El primer ítem - Indicación para el examen, es opcional y en este estudio no fue evaluado, ya que todos los participantes conocían el objetivo del estudio. El sexto ítem – Documentación del examen, pretende un registro de imágenes y una documentación verbal o escrita focalizada. Fue inadecuado ya que podría identificar a los participantes y, en consecuencia, sesgar los resultados. El séptimo punto – La toma de decisiones médicas también es opcional y estaba fuera del objetivo del estudio.

Selección de grupos de nivel de competencia. En nuestro estudio, los participantes informaron su nivel de competencia, lo que podría introducir un sesgo. Sería más apropiado un panel de expertos externo que pudiera clasificar a los participantes por nivel de competencia. El estudio informó el tiempo de práctica en lugar del criterio de número de procedimientos para definir los tres grupos de experiencia. Creemos que la competencia en habilidades técnicas depende de mucho más que el número de procedimientos realizados, es decir, de la calidad de la retroalimentación formativa [45]. Sin embargo, los expertos fueron voluntarios y participaron en ambos momentos, su reclutamiento fue un desafío y parecían estar menos comprometidos con el estudio en comparación con los novatos y el grupo intermedio.

Además, un informe de cartera no es obligatorio para los consultores, por lo que sería muy difícil cuantificar la experiencia basándose en números en lugar de en la experiencia autoinformada. El pequeño tamaño de la muestra también es una limitación.

Utilizamos GRS con un solo ítem, como escala de desempeño global. Aunque se utilizó para simplificar el proceso de evaluación y disminuir el tiempo dedicado por los evaluadores a completar la tarea, podría influir en los resultados.

Todos los participantes realizaron el momento de evaluación evaluando un SP ya conocido de la oportunidad de capacitación. Aunque los momentos estuvieron separados por quince días, podría mejorar las puntuaciones de todos los participantes, ya que estaban familiarizados con la sonoanatomía del SP. Al mismo tiempo, todos los SP tenían un cuello delgado y sin dismorfias. Una forma de resolver esta limitación fue considerar el SP más heterogéneo en relación con la morfología del cuello y el peso, para asegurar que los participantes pudieran realizar la medición tanto en cuellos “fáciles como difíciles”. Este enfoque podría contribuir a establecer una puntuación de aprobado/reprobado y al proceso de implementación de la escala en la evaluación en el lugar de trabajo.

El estudio demostró una fuerte evidencia de validez que respalda la escala OSAUS para evaluar la competencia HMD. El uso de la escala OSAUS debe integrarse en el entorno clínico para el entrenamiento y evaluación de la competencia en ecografía de las vías respiratorias.

Los conjuntos de datos generados y/o analizados durante el estudio actual no están disponibles públicamente debido a la anonimización de los datos, pero están disponibles a través del autor correspondiente a solicitud razonable.

Evaluación objetiva estructurada Habilidad de ultrasonido

Ultrasonido en el punto de atención

distancia hiomental

Escala de calificación global

Paciente estandarizado

Fiabilidad entre

Coeficiente de correlación intraclase

Ultrasonido

Li L, Yong RJ, Kaye AD, Urman RD. Ultrasonido perioperatorio en el punto de atención (POCUS) para anestesiólogos: descripción general. Curr Pain Dolor de cabeza Rep. 2020, 21;24(5):20. doi: https://doi.org/10.1007/s11916-020-0847-0.

Gottlieb M, Holladay D, Burns KM, Nakitende D, Bailitz J. Ultrasonido para el manejo de las vías respiratorias: una revisión basada en evidencia para el médico de urgencias. Soy J Emerg Med. 2020;38(5):1007–13. https://doi.org/10.1016/j.ajem.2019.12.019.

Artículo de Google Scholar

Petrisor C, Szabo R, Constantinescu C, Prie A, Hagau N. Evaluación basada en ultrasonido de distancias hiomentales en posiciones neutras, en rampa e hiperextensión máxima, y ​​proporciones derivadas, para la predicción de vía aérea difícil en la población obesa: un diagnóstico piloto estudio de precisión. Anestesiol Intensivo Ther. 2018;50(2):110–6. https://doi.org/10.5603/AIT.2018.0017.

Artículo de Google Scholar

Wu J, Dong J, Ding Y, Zheng J. Papel de las cuantificaciones de los tejidos blandos del cuello anterior mediante ecografía en la predicción de laringoscopia difícil. Monitor de ciencia médica. 2014;18:20:2343–50. https://doi.org/10.12659/MSM.891037.

Artículo de Google Scholar

Reddy PB, Punetha P, Chalam KS. Ultrasonografía: una herramienta viable para la evaluación de las vías respiratorias. Indio J Anaesth. 2016;60(11):807–13. https://doi.org/10.4103/0019-5049.193660.

Artículo de Google Scholar

Adhikari S, et al. Estudio piloto para determinar la utilidad de la ecografía en el punto de atención en la evaluación de laringoscopia difícil. Acad Emerg Med. 2011;18(7):754–8. https://doi.org/10.1111/j.1553-2712.2011.01099.x.

Artículo de Google Scholar

Andruszkiewicz P, Wojtczak J, Sobczyk D, Stach O, Kowalik I. Eficacia y validez de la evaluación ecográfica de las vías respiratorias superiores para predecir laringoscopia difícil. J Ultrasonido Med. 2016;35(10):2243–52. https://doi.org/10.7863/ultra.15.11098.

Artículo de Google Scholar

Gomes SH, et al. Parámetros ecográficos útiles para predecir laringoscopia difícil e intubación traqueal difícil: una revisión sistemática y un metanálisis. Frente Medio. 2021;28:8:671658. https://doi.org/10.3389/fmed.2021.671658.

Artículo de Google Scholar

Moore CL, Copel JA. Ultrasonografía en el punto de atención. N Inglés J Med. 2011;24(8):749–57. https://doi.org/10.1056/NEJMra0909487.

Artículo de Google Scholar

Stolz LA, et al. Residente de Medicina de Emergencia Evaluación de los Hitos de la Ultrasonido de emergencia y recomendaciones de formación actuales. Acad Emerg Med. 2017;24(3):353–61. https://doi.org/10.1111/acem.13113.

Artículo de Google Scholar

Vives M, et al. Documento de consenso de la Sociedad Española de Anestesia (SEDAR), Sociedad Española de Medicina Interna (SEMI) y Sociedad Española de Medicina de Urgencias (SEMES). Rev Esp Anestesiol Reanim. 2021;68(3):143–8. https://doi.org/10.1016/j.redar.2020.06.020.

Artículo de Google Scholar

Cazes N, Desmots F, Geffroy Y, Renard A, Leyral J, Chaumoître K. Ultrasonido de emergencia: un estudio prospectivo sobre la formación adecuada y suficiente para los médicos militares. Diagnóstico por imágenes de intervalo. 2013, 94(11):1109-15. doi: https://doi.org/10.1016/j.diii.2013.04.016. Publicación electrónica del 6 de agosto de 2013. PMID: 23928178

Grebas JD, Grant JW. Observar a los anestesiólogos trabajar: utilizar el juicio profesional de los consultores para evaluar la competencia clínica en desarrollo de los alumnos. H. J. Anesth. 2000;84:525–33.

Artículo de Google Scholar

Ellegaard K, et al. Viabilidad de un examen de ultrasonido estandarizado en pacientes con artritis reumatoide: una mejora de la calidad entre la cohorte de reumatólogos. Trastorno musculoesquelético de BMC. 2012;12:13:35. https://doi.org/10.1186/1471-2474-13-35. PMID: 22410241; PMCID: PMC3414749.

Artículo de Google Scholar

Sultan SF, Iohom G, Saunders J, Shorten G. Una herramienta de evaluación clínica para el bloqueo del plexo braquial axilar guiado por ecografía. Acta Anesthesiol Scand. 2012;56(5):616–23. https://doi.org/10.1111/j.1399-6576.2012.02673x.

Artículo de Google Scholar

Chin KJ, Tse C, Chan V, Tan JS, Lupu CM, Hayter M. Análisis del movimiento de la mano utilizando el dispositivo de evaluación quirúrgica del Imperial College: validación de una medida de rendimiento novedosa y objetiva en el bloqueo de nervios periféricos guiado por ultrasonido. Reg Anesth Dolor Med. 2011;36(3):213–9. https://doi.org/10.1097/AAP.0b013e31820d4305.

Artículo de Google Scholar

Tolsgaard MG, et al. Consenso internacional de múltiples especialidades sobre cómo evaluar la competencia en ultrasonido: una encuesta de consenso Delphi. Más uno. 2013;8(2):e57687. https://doi.org/10.1371/journal.pone.0057687.

Artículo de Google Scholar

Ambroise Grandjean G, Berveiller P, Hossu G, Bertholdt C, Judlin P, Morel O. Evaluación de habilidades para la práctica de la biometría ecográfica fetal: validación prospectiva de la puntuación del MÉTODO OSAUS. Ginecol Obstet Fertil Senol. 2021;49(4):275–81. https://doi.org/10.1016/j.gofs.2021.01.010.

Artículo de Google Scholar

Ambroise Grandjean G, Gabriel P, Hossu G, Zuily S, Morel O, Berveiller P. Aprendizaje de la biometría por ultrasonido fetal: evaluación prospectiva. Ginecol Obstet Fertil Senol. 2020;48(11):800–5. https://doi.org/10.1016/j.gofs.2020.05.009. realización de la Evaluación Objetiva Estructurada de Habilidades en Ultrasonido (OSAUS).

Artículo de Google Scholar

Grandjean GA, et al. Biometría fetal en ultrasonido: un nuevo enfoque para evaluar el impacto a largo plazo de la simulación en los patrones de aprendizaje. J Gynecol Obstet Hum Reprod. 2021;50(8):102135. https://doi.org/10.1016/j.jogoh.2021.102135.

Artículo de Google Scholar

Tolsgaard MG, et al. Evaluación confiable y válida de la competencia del operador de ultrasonido en obstetricia y ginecología. Ultrasonido Obstet Ginecol. 2014;43(4):437–43. https://doi.org/10.1002/uog.13198.

Artículo de Google Scholar

Pencil K. Capacitación en simulación eFAST para proveedores de traumatología. J Enfermeras de Trauma. 2017;24(6):376–80. https://doi.org/10.1097/JTN.0000000000000329.

Artículo de Google Scholar

Todsen T, et al. Evaluación confiable y válida de la ecografía en el lugar de atención. Ann Surg. 2015;261(2):309–15. https://doi.org/10.1097/SLA.0000000000000552.

Artículo de Google Scholar

Di Pietro S, et al. Evaluación estructurada objetiva de habilidades técnicas con ultrasonido pulmonar (LUS-OSAUS): utilidad en la evaluación de estudiantes universitarios de medicina capacitados en ultrasonido pulmonar. J Ultrasonido. 2021;24(1):57–65. https://doi.org/10.1007/s40477-020-00454-x.

Artículo de Google Scholar

Todsen T, et al. Evaluación basada en competencias en ecografía de cabeza y cuello realizada por cirujanos: un estudio de validez. Laringoscopio. 2018;128(6):1346–52. https://doi.org/10.1002/lary.26841.

Artículo de Google Scholar

Primdahl SC, Todsen T, Clemmesen L, Knudsen L, Weile J. Escala de calificación para la evaluación de la competencia en el acceso vascular periférico guiado por ultrasonido: un estudio de consenso de Delphi. Acceso J Vasc. 2016;21(5):440–5. https://doi.org/10.5301/jva.5000581.

Artículo de Google Scholar

Wong DM, et al. Evaluación de una lista de verificación de tareas específicas y una escala de calificación global para la anestesia regional guiada por ultrasonido. Reg Anesth Dolor Med. 2014;39(5):399–408. https://doi.org/10.1097/AAP.0000000000000126.

Artículo de Google Scholar

Asociación Estadounidense de Investigación Educativa, Asociación Estadounidense de Psicología y Consejo Nacional de Medición en Educación. Normas para las pruebas educativas y psicológicas. Washington: Informe de un Comité Conjunto; 2014.

Google Académico

Messick S. “Validez”. En: RL Linn, editor. Medición Educativa. 3ra edición. Nueva York: MacMillan (1988). pag. 1-165.

Padilla JL, Benítez I. Evidencia de validez basada en procesos de respuesta. Psicotema. 2014;26(1):136–44. https://doi.org/10.7334/psicothema2013.259.

Artículo de Google Scholar

Koo TK, Li MI. Una guía para seleccionar y reportar coeficientes de correlación intraclase para investigaciones de confiabilidad. J Chiropr Med. 2016;15(2):155–63. https://doi.org/10.1016/j.jcm.2016.02.012.

Artículo de Google Scholar

Leslie G, Portney. “Conceptos de Medición”. En: Fundación de Investigación Clínica: aplicaciones a la práctica basada en evidencia. Cuarta edición. Filadelfia: Compañía FA Davis (2020). pag. 106–166.

Cook DA, Hatala R. Validación de evaluaciones educativas: una introducción a la simulación y más allá. Avance simultáneo. 2016;1:31. https://doi.org/10.1186/s41077-016-0033-y.

Artículo de Google Scholar

Beckman TJ, Cook DA, Mandrekar JN. ¿Cuál es la evidencia de validez para las evaluaciones de la enseñanza clínica? J Gen Intern Med. 2005;20(12):1159–64. https://doi.org/10.1111/j.1525-1497.2005.0258.x.

Artículo de Google Scholar

Everett TC, et al. Evaluación basada en simulación en anestesia: un estudio de validación multicéntrico internacional. Can J Anaesth. 2019;66(12):1440–9. https://doi.org/10.1007/s12630-019-01488-4. Inglés. doi:.

Artículo de Google Scholar

Borgersen Nueva Jersey, et al. Recopilación de evidencia de validez para la simulación quirúrgica: una revisión sistemática. Ann Surg. 2018;267(6):1063–8. https://doi.org/10.1097/SLA.0000000000002652.

Artículo de Google Scholar

Zendejas B, Ruparel RK, Cook DA. Evidencia de validez del programa Fundamentos de cirugía laparoscópica (FLS) como herramienta de evaluación: una revisión sistemática. Cirugía Endosc. 2016;30(2):512–20. https://doi.org/10.1007/s00464-015-4233-7.

Artículo de Google Scholar

Cook DA, Brydges R, Zendejas B, Hamstra SJ, Hatala R. Simulación mejorada con tecnología para evaluar profesionales de la salud: una revisión sistemática de la evidencia de validez, los métodos de investigación y la calidad de los informes. Acad Med. 2013;88(6):872–83. https://doi.org/10.1097/ACM.0b013e31828ffdcf.

Artículo de Google Scholar

Tavakol M, Dennick R. Dar sentido al alfa de Cronbach. Int J Med Educación. 2011;27:2:53–5. https://doi.org/10.5116/ijme.4dfb.8dfd.

Artículo de Google Scholar

Alvarez-Lopez F, Maina MF, Arango F, Saigí-Rubió F. Uso de un simulador de realidad virtual 3D portátil de bajo costo para el entrenamiento de habilidades psicomotoras en cirugía mínimamente invasiva: métricas de tareas y validez de la puntuación. Juegos serios JMIR. 2019;8(427. https://doi.org/10.2196/19723.

Prathep S, Sikarettrakul P, Nimmaanrat S, Juthasantikul W, Karnjanawanichkul O, Kovitwanawong N. Mejora en la validez y confiabilidad de la evaluación de las vías respiratorias mediante ecografía por parte de personal novato: un estudio de cohorte de aprendizaje. Avances en la educación y la práctica médica. 2022; 13: 1103–1111. https://doi.org/10.2147/AMEP.S377403

Oliveira KF, Arzola C, Ye XY, Clivatti J, Siddiqui N, You-Ten KE. Determinar la cantidad de capacitación necesaria para que los estudiantes de anestesia sean competentes en la identificación ultrasonográfica de la membrana cricotiroidea. Anestesiol BMC. 2017;17(1):74. https://doi.org/10.1186/s12871-017-0366-7.

Artículo de Google Scholar

Cocinero DA. Mucho ruido y pocas nueces sobre las diferencias: por qué las comparaciones entre expertos y novatos aportan poco al argumento de validez. Práctica teórica de la educación en ciencias de la salud avanzada. 2015;20(3):829–34. https://doi.org/10.1007/s10459-014-9551-3.

Artículo de Google Scholar

Byford S, Janssens S, Cook R. Implementación del programa de capacitación en simulación de ultrasonido transvaginal (TRUSST) para registradores obstétricos. Avance simultáneo. 2021;6(1):1. https://doi.org/10.1186/s41077-020-00152-y.

Artículo de Google Scholar

Schott CK, Kode KR, Mader MJ. Enseñanza versus aprendizaje: impacto de la práctica deliberada y la retroalimentación formativa en el desarrollo de habilidades de ultrasonido en el punto de atención. Ultrasonido J Clin. 2020;48(8):437–42. https://doi.org/10.1002/jcu.22878.

Artículo de Google Scholar

Descargar referencias

Los autores desean agradecer a todos los evaluadores: Dr. Robert Szabo, Dr. Catalin Constantinescu y Dr. Robert Simon del Departamento de Anestesia y Cuidados Intensivos 1, Hospital Clínico de Emergencia del Condado de Cluj-Napoca, Romenia; Prof. Dr. Javier Onrubia del Hospital Universitario Dr. Preset València, España; Dra. Patrícia Santos del Departamento de Anestesiología, Hospital y Centro Universitario S. João, Portugal y a Dra Ana Isabel Pereira del Departamento de Anestesiología, Hospital Vila Nova de Gaia/Espinho, Portugal; Prof. Dr. António Manuel Melo de la Facultad de Medicina de la Universidad de Minho. Todos los colegas del Departamento de Anestesiología del Hospital de Braga, Portugal, especialmente a la Dra. Joana Veiga por el apoyo con los experimentos. Gracias a FujiFim (Sonosite®) por el apoyo con el ultrasonido y las sondas.

Este trabajo fue apoyado con fondos nacionales, a través de la Fundación para la Ciencia y la Tecnología (FCT) – proyecto UIDB/50026/2020 y UDP/50026/2020.

Instituto de Investigación en Ciencias de la Vida y la Salud (ICVS), Facultad de Medicina, Universidad del Miño, Campus Gualtar, Braga, 4710-057, Portugal

Sara Hora Gomes, Marta Trindade, Jorge Correia-Pinto, Patrício S. Costa & José M. Pêgo

Laboratorio Asociado de Gobierno ICVS/3B's-PT, Braga/Guimarães, 4710-057, Portugal

Sara Hora Gomes, Jorge Correia-Pinto, Patrício S. Costa y José M. Pêgo

Departamento de Anestesia y Cuidados Intensivos II, Farmacia Cluj-Napoca y Departamento de Anestesia y Cuidados Intensivos, Universidad de Medicina “Iuliu Hatieganu”, Hospital Clínico del Condado de Emergencia, Cluj-Napoca, 400347, Rumania

Cristina Petrisor

Departamento de Anestesia, Hospital de Braga, Braga, 4710-243, Portugal

dinis costa

Departamento de Cirugía Pediátrica, Hospital de Braga, Braga, 4710-243, Portugal

Jorge Correia Pinto

iCognitus4ALL – Soluciones TI, Braga, 4470-057, Portugal

José M. Pego

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

Todos los autores contribuyeron sustancialmente al estudio. Concibió y diseñó los experimentos: SHG, MT, JMP, JCP, PSC. Realizó los experimentos: SHG, MT, DC. Analizados los datos: SHG, JMP, JCP, PSC. Revisión crítica en profundidad del manuscrito en busca de contenido intelectual importante: SHG, CP, JMP, JCP, PSC. Aprobación final de la versión que se publicará y todos aceptan ser contables en todos los aspectos del trabajo, garantizando así que las preguntas relacionadas con la exactitud o integridad de cualquier parte del trabajo se investiguen y resuelvan adecuadamente: SHG, MT, CP, DC, JMP, JCP, PSC.

Correspondence to Sara Hora Gomes.

se obtuvo del Comité de Ética del Instituto de Ciencias de la Vida y la Salud (CEICVS) de la Facultad de Medicina de la Universidad de Braga, Braga, Portugal (Presidenta Prof. Dra. Cecília Leão) el 15 de noviembre de 2020 (número de aprobación ética - CEICVS15/2020). El estudio se realizó de acuerdo con la declaración de Helsinki. Todos los participantes dieron su consentimiento informado por escrito para participar en el estudio.

No aplica.

Los autores declaran que el estudio se realizó en ausencia de relaciones comerciales o financieras que pudieran interpretarse como un potencial conflicto de intereses.

Springer Nature se mantiene neutral con respecto a reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Acceso Abierto Este artículo está bajo una Licencia Internacional Creative Commons Attribution 4.0, que permite el uso, compartir, adaptación, distribución y reproducción en cualquier medio o formato, siempre y cuando se dé el crédito apropiado a los autores originales y a la fuente. proporcione un enlace a la licencia Creative Commons e indique si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la normativa legal o excede el uso permitido, deberá obtener permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/. La exención de dedicación de dominio público de Creative Commons (http://creativecommons.org/publicdomain/zero/1.0/) se aplica a los datos disponibles en este artículo, a menos que se indique lo contrario en una línea de crédito a los datos.

Reimpresiones y permisos

Gomes, SH, Trindade, M., Petrisor, C. et al. Escala de habilidades de ultrasonido de evaluación estructurada objetiva para la competencia a distancia hiomental – estudio psicométrico. BMC Med Educ 23, 177 (2023). https://doi.org/10.1186/s12909-023-04146-y

Descargar cita

Recibido: 09 de junio de 2022

Aceptado: 09 de marzo de 2023

Publicado: 22 de marzo de 2023

DOI: https://doi.org/10.1186/s12909-023-04146-y

Cualquier persona con la que comparta el siguiente enlace podrá leer este contenido:

Lo sentimos, actualmente no hay un enlace para compartir disponible para este artículo.

Proporcionado por la iniciativa de intercambio de contenidos Springer Nature SharedIt