Artykuł pomocniczy · metryka · Metryki · Metryki i KPI
Średnia liczba tur dialogu w sesji wyszukiwania
także: questions per dialogue · conversation length CIS · Average Dialogue Turns Per Search Session · dialogue turns · tury rozmowy w search
Metryka opisująca, ile wymian użytkownik–system przypada na jedną sesję wyszukiwania konwersacyjnego — wskaźnik złożoności intencji i „głębokości” dialogu.
Interpretacja
Wyższa liczba tur może oznaczać bogatsze doprecyzowanie potrzeby, ale też tarcia UX. W projektowaniu contentu pod AI warto przewidywać follow-upy, nie tylko pierwsze pytanie.
Rozszerzona definicja
Wyszukiwanie konwersacyjne (conversational information seeking, CIS) dotyczy sekwencji interakcji między jednym lub wieloma użytkownikami a systemem informacyjnym, przy czym interakcje opierają się głównie na dialogu w języku naturalnym, choć mogą też obejmować kliknięcia, dotyk i gesty1. Wyjaśnianie intencji (search clarification) definiuje się w tym kontekście jako wieloturnową interakcję między użytkownikiem a systemem2.
Jak to działa
Koordynacja tego procesu wymaga mechanizmów zarządzania kolejnością głosu: unikania nakładania się wypowiedzi i minimalizowania przerw między turami34. W systemach CIS odpowiedzi mają być zwięzłe, płynne, stanowe (stateful) i świadome kontekstu (context-aware), a inicjatywa może należeć naprzemiennie do użytkownika i systemu (mixed-initiative)5.
Aby system mógł poprawnie interpretować kolejne tury, musi przechowywać kontekst poprzednich wymian — służą temu dwa rodzaje pamięci: pamięć konwersacji (conversation memory), śledząca preferencje użytkownika i długoterminowy kontekst sesji, oraz pamięć tury (turn memory), zachowująca stan bieżącej wymiany6. W podejściu opartym na wyszukiwaniu (RAG), przed każdą turą formułowane jest zapytanie łączące bieżące wejście użytkownika z istotnymi elementami historii dialogu, które następnie przeszukuje zewnętrzną bazę wiedzy7.
Dlaczego to ważne
Liczba tur na sesję pozwala odróżnić sesje, w których użytkownik stopniowo doprecyzowuje złożoną potrzebę informacyjną, od sesji, w których wysoka liczba tur wynika z tarć UX lub nieskuteczności systemu — jak zauważa serwis Agnost.ai, sesja dziesięcioturowa zakończona potwierdzeniem sukcesu jest pożądana, natomiast sesja, w której użytkownik trzykrotnie wkleja ten sam komunikat o błędzie, sygnalizuje niezdolność systemu do posunięcia problemu naprzód8.
Jak mierzyć
Przy pomiarze tej metryki kluczowe jest precyzyjne zdefiniowanie jednostek: tura (turn), wiadomość (message), wymiana (exchange), rozmowa (conversation) i sesja (session) muszą być rozróżnione, a raportowanie powinno uwzględniać platformę, wersję lub okres, zastosowanie, geografię, populację, reguły włączenia, wielkość próby, jednostkę, limit czasu sesji (timeout), ewentualny cap oraz to, które wiadomości są liczone9. Serwis Agnost.ai wskazuje, że przy analizie śladów sesji (session traces) wysoka średnia liczba tur może maskować dwa różne zjawiska: głębokość eksploracyjną (exploratory depth), gdy użytkownik używa systemu jako partnera myślowego bez konkretnego celu, oraz głębokość utknięcia (stuck depth), gdy kolejne tury powtarzają ten sam problem bez postępu10.
Jako punkt odniesienia serwis Agnost.ai podaje, że w aplikacjach towarzyszących (AI companions) 10–20 i więcej tur na sesję uznaje się za zdrowy poziom zaangażowania, przy czym kluczowym kryterium jest to, czy każda tura posuwa zadanie naprzód, a nie czy liczba tur jest wysoka sama w sobie8.
Przykłady
- Serwis Agnost.ai relacjonuje, że użytkownicy Character.AI spędzają według dostępnych danych ponad 17 minut na sesję, a aktywni użytkownicy osiągają sesje znacznie dłuższe8.
- W aplikacjach dla deweloperów sesja dziesięcioturowa zakończona komunikatem potwierdzającym rozwiązanie problemu jest oceniana jako optymalna, natomiast ta sama liczba tur z trzykrotnym powtórzeniem tego samego błędu wskazuje na nieskuteczność systemu8.
- W aplikacjach towarzyszących i tutorach AI wysoka liczba tur przy braku konkretnego celu jest klasyfikowana jako głębokość eksploracyjna — otwarta i charakterystyczna dla sytuacji, gdy relacja użytkownik–system działa poprawnie10.
- Systemy CIS obsługują nie tylko wymianę tekstową, ale też kliknięcia, dotyk i gesty, co oznacza, że definicja „tury” może obejmować różne modalności interakcji1.
Częste błędy i mity
- Mit: wysoka średnia liczba tur zawsze oznacza wysokie zaangażowanie użytkownika — w rzeczywistości serwis Agnost.ai wskazuje, że wysoka liczba tur może być objawem utknięcia (stuck depth), które jedynie wygląda jak zaangażowanie10.
- Błąd: proste sklejanie całego historycznego kontekstu dialogu w celu uwzględnienia wszystkich poprzednich tur — w rzeczywistości takie podejście wprowadza zbędne i szumiące tury, pogarszając skuteczność systemu11.
- Mit: metryka liczby tur jest jednoznaczna i nie wymaga dodatkowych definicji — w rzeczywistości poprawna interpretacja wymaga precyzyjnego rozróżnienia między turą, wiadomością, wymianą, rozmową i sesją oraz udokumentowania reguł pomiaru9.
Powiązane hasła
Źródła i odwołania
-
Conversational Information Seeking
Conversational information seeking (CIS) is concerned with a sequence of interactions between one or more users and an information system. Interactions in CIS are primarily based on natural language dialogue, while they may include other types of interactions, such as click, touch, and body gestures.
-
A Survey of Conversational Search
Conversational retrieval is a crucial part of a conversational search system. In the retrieval process, search clarification is defined as the multi-turn interaction between the user and the system.
-
While the structure is generally universal, that is, overlapping talk is generally avoided and silence between turns is minimized, turn-taking conventions vary by culture and community. Conventions vary in many ways, such as how turns are distributed, how transitions are signaled, or how long the average gap is between turns.
-
Turn-taking in Conversational Systems and Human-Robot Interaction: ...
The taking of turns is a fundamental aspect of dialogue. Since it is difficult to speak and listen at the same time, the participants need to coordinate who is currently speaking and when the next person can start to speak. Humans are very good at this coordination, and typically achieve fluent turn-taking with very small gaps and little overlap.
-
Conversational Information Seeking
Definition 3. A Conversational Information Seeking (CIS) system is a system that satisfies the information needs of one or more users by engaging in information seeking conversations (cf. Def. 2). CIS responses are expected to be concise, fluent, stateful, mixed-initiative, context-aware, and personalized.
-
Enhancing Multi-Turn Conversations: Ensuring AI Agents Provide ...
Two types of memory—conversation and turn memory—preserve dialogue context effectively. Conversation memory maintains the overall session state, tracking user preferences, previous decisions, and long-term context.
-
Multi-turn conversation — Grokipedia
In the workflow of RAG for dialogues, the process begins with query formulation, where the current user input is combined with relevant elements from the dialogue history to create an effective retrieval query. This query is then used to search an external vector database or knowledge corpus, retrieving the most pertinent documents or snippets based on semantic similarity.
-
The Conversation Depth Benchmark: How Deep Do Users Actually Go?
A 10-turn session that ends with “okay it works, thanks” is perfect. A 10-turn session where the dev pastes the same error message three times is your AI failing to move the problem forward. The distinction is whether each turn is advancing the task or retreading the same ground. AI companions: 10-20+ turns per session is healthy. Circular depth is not. Character.AI users reportedly spend over 17 minutes per session on average, and active users hit sessions dramatically longer than that.
-
How Many Turns in an AI Conversation? Four Systems Compared
Compare turns per AI conversation across search, support, education, and social-companion systems using accessible datasets or published aggregates. Define turn, message, exchange, conversation, and session; never imply access to private platform-wide logs. Record platform, version/period, application, geography, population, inclusion rules, sample size, unit, timeout, cap, and counted messages.
-
The Conversation Depth Benchmark: How Deep Do Users Actually Go?
When we look at session traces on Agnost for products reporting high average turn counts, stuck depth is almost always the culprit. It looks like engagement on the surface. It isnt. Exploratory depth. User meanders without a specific goal, using the AI as a thinking partner, a creative sounding board, a companion. Neither productive nor stuck. It’s genuinely open-ended. Most common in companion apps and AI tutors when the relationship is working.
-
A Survey of Conversational Search
Simply concatenating all historical context would inject unnecessary and noisy turns and thus degrade the performance of the system.
Każde zdanie powyżej odsyła do dosłownego cytatu ze źródła. Daty to daty publikacji lub pobrania źródła.
Źródła faktów
- In the TREC CAsT dataset, eighty information seeking dialogues averaged 9 to 10 questions long.
- SEO/references/geo/REFS-GEO-R14-Conversational-Query-Phrasing.md