Wirtualna asystentka Apple, która zadebiutowała w iPhonie 4S została poddana wnikliwym testom na precyzyjność w zakresie rozumienia zadawania pytań i udzielanych odpowiedzi. W krzyżowym ogniu 1600 testów przeprowadzonych przez amerykańskiego analityka Gene Munstera, Siri nie zachwyciła, choć o rozczarowaniu też mowy nie ma.
- zrozumiała 83% pytań zadanych na ruchliwej ulicy
- i 89% zadanych w cichym pokoju
- Na zewnątrz dokładność jej odpowiedzi wyniosła 62%
- w pomieszczeniu 68%
- po powtórzeniu pytania, poprawność odpowiedzi wzrastała średnio do 86%.
Dla porównania firma badawcza przetestowała też skuteczność wyszukiwarki Google, która
- zrozumiała 100% zadanych pytań (tu wynik nie mógł być inny, do ich zadawania użyto klawiatury)
- odpowiedziała z precyzją 86%
W wyniku testów obu narzędziom wyszukiwania przyznano oceny: Apple otrzymało D, a Google B+ (w naszej skali będzie to "trójka" i "piątka z plusem").
No dobrze, a skąd Siri czerpie wiedzę, by precyzyjnie odpowiedzieć na nasze pytania? To też zanalizowano dokładnie:
- w odpowiedzi Siri 60% danych pochodzi od Google
- 20% ze strony publikującej rekomendacje Yelp
- 14% z silnika Wolfram Alpha,
- 4% z Yahoo
- 2% z Wikipedii
Ponadto Google odpowiada za 100% wyników nawigacyjnych, 61% informacyjnych, 48% komercyjnych i 42% wyników lokalnych.
Wkrótce jednak dane o lokalizacji będą pochodzić od samego Apple, który wraz z systemem iOS6 wprowadza do urządzeń przenośnych własne mapy. Zmniejszy to uzależnienie od danych Google z 60 do 48%.
Jakie pytania nastręczały Siri najwięcej problemów? Nie była w stanie podać trasy dojazdu z punktu A do B, jeśli jeden z nich nie pokrywał się z aktualną lokalizacją pytającego. Nie radzi sobie także z gramatyką. Na pytanie: Where is Elvis buried? ("Gdzie pochowany jest Elvis") próbowała wyszukać wiadomości o nieistniejącej postaci "Elvis Buried".
Należy zadać pytanie, czy test nie był zbyt restrykcyjny. Trudno oczekiwać od jakiegokolwiek oprogramowania, aby wyłapywało subtelne różnice w języku zmieniające w istotny sposób cały sens zdania. Z drugiej strony Apple promuje swój produkt klipami wideo, na których widzimy ludzi, którzy z Siri dogadują się swobodnie i zdawać by się mogło na każdy temat. Niestety, rzeczywistość jest nieco bardzo rozczarowująca.
W Stanach Zjednoczonych doszło nawet do pozwu złożonego przez Franka M. Fazio, który twierdzi, że wirtualna asystentka Apple w ogóle go nie rozumie i wciąż się myli, a to właśnie Siri sprawiła, że pan Fazio zdecydował się na drogiego iPhona.
