Usando ChatGPT para la investigación de clientes, caso de uso real y opinión honesta
No es para nadie un secreto que los modelos de lenguaje natural llegaron para quedarse. Muchos ya han estado usando estas herramientas para acelerar su productividad en una enorme variedad de ámbitos, y la investigación de clientes no es la excepción.
Para mí, una de las principales formas de usar chatGPT en research ha sido para procesar información des-estructurada, como por ejemplo transcripciones de entrevistas o encuestas con respuestas de campo abierto.
En este artículo, les quiero compartir mi experiencia personal usando chatGPT para el análisis de esta clase de datos. Para ello, presentaré los pasos que he seguido junto con algunos tips útiles.
Quiero aclarar que me considero como muchos una entusiasta de esta herramienta. No soy ni por asomo una experta o heavy user. Así que escribo este artículo no solo con el afán de enseñar sino también de aprender. Me encantaría que personas que lean este artículo y sepan de otras técnicas, me contacten y podamos compartir conocimientos. Dicho eso vamos con el proceso.
Definir las interrogantes o hipótesis
El primer paso, y el que hace la gran diferencia todavía entre el humano y la máquina, es establecer qué queremos entender y para qué. Probablemente si ya diseñaron y lanzaron la encuesta o entrevista, ya cuentan con un listado de temas a indagar, ya sea como preguntas o como hipótesis. Es muy importante que, para definir qué input entregarle a ChatGPT, tengamos muy claro esto.
Para efectos de este artículo, voy a usar un ejemplo de un banco ficticio, al que llamaremos “Banca Global”, donde lo que quiero entender es:
- ¿Cuáles son los principales dolores de los actuales clientes?, ¿difieren estos dolores por rango de edad?
Quiero entender esto para construir perfiles de clientes y parte de mi hipótesis preliminar es que según el rango de edad, los dolores variarán.
Mi encuesta tenía una pregunta de campo abierto relacionada con la interrogante:
- ¿Qué es lo que no te gusta de Banca Global?
Preparar la data
Antes de comenzar a analizar los datos, es importante asegurarse de que estén preparados adecuadamente. Esto significa limpiar los datos, corregir errores de tipo o gramaticales que puedan confundir al modelo y eliminar cualquier información irrelevante o duplicada. Otro aspecto clave es organizar los datos en un formato que sea fácil de interpretar por ChatGPT, no basta con copiar y pegar las celdas, hay que asegurarse de que en la sintaxis se entienda a qué corresponde cada dato.
Para una encuesta, sería algo así:
Encuestado 1:
Edad: 46 a 55 años
¿Qué es lo que no te gusta de Banca Global?: No entiendo los estados de cuenta
Encuestado 2:
Edad: 36 a 45 años
¿Qué es lo que no te gusta de Banca Global?: Que tengo poco crédito
Puede ser tedioso preparar la data de esta forma, pero es hasta el momento como a mi mejor me ha funcionado. Si alguien tiene otra forma más eficiente de hacerlo sin comprometer claridad, me encantaría saber.
Si lo que estamos procesando es la transcripción de una entrevista en profundidad, aplican los mismos principios. Se tiene que entender con claridad qué es una pregunta y qué es una respuesta, así mismo si en las notas en bruto tenían transcripción textual mezclada con comentarios o conclusiones personales, se tiene que entender la diferencia o de plano filtrar el contenido para que ChatGPT no confunda algo que escribimos para nosotros con una cita textual del entrevistado.
Por último, es importante asegurarse de que los datos estén anonimizados para proteger la privacidad de todas las personas según sea pertinente en la organización donde estemos, con el cliente y respetando la legislación regional para todos los involucrados.
En algunos casos, al pasarle en un solo prompt volúmenes muy altos de datos, digamos unas 6000 entradas, la interfaz colapsa. Recordemos que ChatGPT funciona en base a tokens. Esto mejorará bastante con ChatGPT Plus. De igual modo siempre hay que tomar en cuenta que ChatGPT es un sistema como cualquier otro y como tal tiene y tendrá incidencias. Así que si les sucede esto, mi recomendación es que prueben con otras versiones o alternativas a ChatGPT que cada vez son más, o bien a la hora de proporcionar los datos lo hagan en prompts o incluso en chats separados, segmentando la data, ya sea por respuesta o algún otro parámetro que haga sentido. La desventaja de este último enfoque es que limita muchos análisis más robustos como por ejemplo analizar patrones entre distintos parámetros o hacer análisis de clusters.
Identificar temas
Continuando con el ejemplo de Banca Global, vamos a analizar cada interrogante por separado y vamos a segmentar el análisis por rango de edad.
Para eso le proporcionaremos el siguiente prompt:
“Te voy a pasar en mi siguiente prompt de este chat los resultados de una encuesta a clientes de Banca Global, de 18 a 25 años. Son respuestas a la pregunta “¿Qué es lo que no te gusta de Banca Global?”. Categoriza las respuestas en un listado de temas, dame de cada tema el porcentaje de respuestas que corresponden al mismo e incluye citas textuales de la encuesta que reflejen la percepción de los clientes”
Este prompt fue fruto de bastante ensayo y error. Algunas cosas pueden sonar raras o redundantes, pero tienen su razón de ser. Voy a explicarles los aspectos clave del mismo:
Te voy a pasar en mi siguiente prompt de este chat:
Es importante que expresemos claramente qué prompt queremos analizar para que ChatGPT no se confunda y pueda darnos una respuesta precisa.
Los resultados de una encuesta a clientes de Banca Global, de 18 a 25 años:
Esto es contexto, Chat GPT necesita un nivel de contexto mínimo para poder analizar lo que le vamos a pasar. Acá podemos explayarnos más dependiendo de la naturaleza y objetivos del proyecto.
Son respuestas a la pregunta “¿Qué es lo que no te gusta de Banca Global?:
Poner la pregunta en el primer prompt nos permite luego prescindir de ese dato en el segundo prompt, poniendo tan solo el string de respuestas.
Categoriza las respuestas en un listado de temas:
Para que ChatGPT pueda agrupar las respuestas de campo abierto en temas de manera efectiva, es fundamental que le comuniquemos claramente que necesitamos un listado como output final. De lo contrario, el chat podría generar un texto poco claro y confuso que no permita identificar claramente las categorías.
Dame de cada tema el porcentaje de respuestas que corresponden al mismo:
Es fundamental que tengamos en cuenta el volumen de ocurrencia de las categorías al analizar los resultados de las encuestas, ya que de lo contrario, nuestros insights podrían estar altamente sesgados. Darle la misma relevancia a una queja que sucedió una vez que a otra que fue mencionada por el 70% de los encuestados no nos permitirá obtener una visión precisa y equilibrada de los resultados.
Incluye citas textuales de la encuesta que reflejen la percepción de los clientes:
Las citas no solamente son útiles para el reporte, nos sirven para dar realidad y contexto a los dolores y por sobre todo para evaluar con nuestro propio ojo crítico si las categorías proporcionadas por ChatGPT tienen sentido o no lo tienen. Somos nosotros quienes con nuestro entendimiento del proyecto discerniremos en última instancia qué temas son útiles o no. Veánlo del siguiente modo, un researcher flojo simplemente tomará las categorías y no se cuestionará si tienen valor, sentido o si aportan al objetivo del proyecto, uno riguroso analizará las categorías y le regresará a ChatGPT nuevos requerimientos, para que refine el output y este sean tan granular o genérico como queramos.
Si no le pedimos las citas, chatGPT nos va a devolver algo como por ejemplo “Servicio al cliente — 21.7%” y si bien esto es útil de por sí, todavía no es un insight. ¿Qué es servicio al cliente?, ¿cuál es el dolor real del cliente con respecto a esto?, ¿es que le hacen muchas llamadas hostigantes del área de cobranza o que cuando pide información por el call center le proporcionan información poco clara? son dolores radicalmente distintos y leer las citas nos permite además entender la carga emocional del dolor expresado por el cliente para valorarlo más allá de su nivel de ocurrencia. Lo que necesitamos entender en definitiva es el qué y el por qué por lo cual mirar las categorías sin entender que hay dentro es reducir el valor y riqueza del análisis a cero.
Otro peligro de no pedirle citas al ChatGPT es que se ponga a responderte bullshit. ¿Qué es bullshit?, cuando concluye cosas que no salieron objetivamente del set de datos que le proporcionamos sino que las inventó. Recordemos que Chat GPT fue entrenado con un corpus de texto que incluye una amplia gama de fuentes, como páginas web, libros, artículos, noticias y conversaciones las cuales por así decirlo “contaminan” sus comentarios a menos que se lo impidamos.
En una prueba previa, le pedí que me entregara citas sin precisar de ha de ser “textual del prompt” y me devolvió esto:
“La plataforma digital tiene muchos problemas. A veces no puedo ingresar a mi cuenta y, cuando lo logro, tarda mucho tiempo en cargar la información”
Esto no lo dijo nadie, ninguno de los usuarios redactó de esa forma y esto lo sé porque como researcher que hace la tarea conozco a mis usuarios y analicé el material. Esto ChatGPT se lo fumó, y es muy peligroso y negligente para los resultados y reputación de nuestro estudio no detectarlo.
Por eso debemos ser enfáticos en decirle que queremos que analice el prompt en cuestión y proporcione citas textuales y por sobre todo darnos de igual manera el trabajo de leer. Aquí no se trata de no leerse la base de datos, pegarle el texto, copiar y pegar la respuesta en el reporte e irse a tomar un mojito a la playa, hay que hacer el trabajo igual. Lamento mucho echar abajo esa fantasía, tan de moda entre los tech-bros entusiastas del AI.
Como bonus, una variación de este apartado puede ser: “incluye todas las citas textuales de la encuesta que reflejen la percepción de los clientes”. Con esto nos va a devolver todas las respuestas categorizadas aunque el peligro aquí es que colapse si las entradas fueron muchas y además gasta muchos tokens.
Reflexiones finales
¿Es ChatGPT la panacea para hacer research? la respuesta es no. Es una herramienta más, eso es todo. Las limitaciones principales que veo en ella de momento son:
- Privacidad de los datos sensibles tanto de usuarios como de empresas.
- Los volúmenes de datos muy grandes pueden colgar la interfaz.
- Si quieren realmente sacarle todo el jugo, deben pagar GPTPlus y la API.
- Hay que saber bien cómo preguntar para obtener un output certero y eso requiere ensayo y error.
- El peor: CharGPT “inventa” insights si no se le dirige bien.
En conclusión, se trata de un complemento que no implica bajo ningún concepto volverse un researcher flojo y no leer la base de datos. Si no leen la base de datos, no van a poder identificar si ChatGPT está saltando a conclusiones que no corresponden, cosa que obviamente hace porque es un modelo y no tiene tanto contexto como un investigador que conoce el negocio, a los clientes, a los stakeholders, etc.
Así que tranquilos amigos, ChatGPT no les quitará su empleo… todavía 😬.
