Case study · Computer vision / desktop
AirHand Mouse
Sterowanie kursorem w Windows jedną dłonią i zwykłą kamerą internetową, w całości lokalnie, bez chmury i kluczy API.
- 01Problem
- Sterowanie dłonią musi być przewidywalne i dać się natychmiast zatrzymać, także po utracie śledzenia.
- 02Rozwiązanie
- Aplikacja Windows rozpoznaje gesty ze zwykłej kamery, przetwarza je lokalnie i zapewnia awaryjne wyłączenie.
- 03Rezultat
- Wydany, otwarty projekt w wersji 0.2.1. Sterowanie kursorem działa bez chmury i kluczy API.
01 · Kontekst
Po co to istnieje.
Sterowanie kursorem gestem dłoni jest demem od lat. Demo pokazuje, że model rozpoznaje rękę; produkt musi działać na cudzej kamerze, w cudzym oświetleniu i z cudzą dłonią.
Najważniejszy warunek był prosty: nie da się kliknąć przycisku „stop” kursorem, który właśnie oszalał. Dlatego aplikacja ma globalny skrót wyłączający, bez niego się nie uruchamia i puszcza przycisk myszy, gdy dłoń zniknie z kadru.
02 · Co zbudowałem
Co jest w środku.
- Pięć gestów: ruch, lewy i prawy klik, przeciąganie i przewijanie, odporne na drżenie dłoni na granicy gestu.
- Kalibracja w czterech krokach, dopasowana do Twojej dłoni i kamery.
- Ustawienia pogrupowane według tego, co chcesz zmienić, bez możliwości wpisania wartości, która by nie zadziałała.
- Podgląd diagnostyczny: płynność, opóźnienie i to, co aplikacja widzi w danej chwili.
- Instalator dla Windows (około 80 MB), bez instalowania Pythona i bez praw administratora.
03 · Decyzje
Decyzje, które zaważyły.
Najpierw zmierzyłem, co spowalnia, zanim cokolwiek optymalizowałem.
DlaczegoWąskim gardłem okazała się kamera, a nie model. Właściwe ustawienie kamery podniosło płynność z 16–20 do 30 klatek na sekundę, a sam model pozwoliłby na około 110.
Kalibracja opiera się na najsłabszym geście, nie na najlepszym.
DlaczegoDłoń dryfuje, a kamera gubi klatki. Próg dopasowany do najczystszego szczypnięcia chybiałby wszystkie pozostałe, więc jest liczony z najgorszej z kilku prób.
Produkt dostał nazwę „AirHand Mouse”.
DlaczegoPrzy starej nazwie odinstalowanie aplikacji kasowałoby folder z zapisaną kalibracją użytkownika, której nic innego nie odtworzy. Zmiana nazwy była najprostszym sposobem, żeby ją ocalić.
04 · Status
Gdzie to jest teraz.
Wersja 0.2.1 jest dostępna w GitHub Releases jako instalator dla Windows 10+, na licencji MIT. Obsługuje jedną dłoń i jeden monitor, działa tylko na Windows i nie ma jeszcze wyboru kamery. Dalej w planie: własne gesty, wiele monitorów i sterowanie multimediami.
