Wszystkie projekty

Case study · Computer vision / desktop

AirHand Mouse

Sterowanie kursorem w Windows jedną dłonią i zwykłą kamerą internetową, w całości lokalnie, bez chmury i kluczy API.

Rola
Founder / Product engineer
Rok
2026
Status
Wydany, open source
Technologie
Python, MediaPipe, Tauri, React
Zobacz repozytorium (nowa karta)
Kursor prowadzony dłonią, w prawdziwych aplikacjachNagranie z ekranu · bez dźwięku
Co widać na nagraniu

Nagranie zaczyna się na pulpicie aplikacji: silnik zgłasza się jako połączony w wersji 0.2.1, a pasek u dołu pokazuje na żywo 30 FPS, opóźnienie około 12 ms, otwartą kamerę i stan śledzenia. Dłoni jeszcze nie ma w kadrze, więc podgląd - w aplikacji celowo rozmyty - mówi „no hand detected".

Potem wchodzi zakładka Diagnostyka i widać, z czego bierze się klasyfikacja: obie odległości szczypca wobec progów zamknięcia i otwarcia, kąt zgięcia każdego z pięciu palców i skala dłoni 0,090, względem której liczone są wszystkie pozostałe odległości. Sterowanie kursorem zostaje włączone - panel zmienia się na „cursor control is ACTIVE" i przypomina o wyłączniku Ctrl + Alt + Space, który działa nawet wtedy, gdy wskaźnik jest nie do opanowania.

Dalej kursor pracuje już poza aplikacją: obraca glob w Google Earth otwartym w przeglądarce, a na stronie Wikipedii otwiera menu kontekstowe prawym przyciskiem. Nagranie wraca na koniec do pulpitu, gdzie na rozmytym podglądzie rysuje się zielona siatka 21 punktów dłoni, a pasek u dołu melduje rozpoznaną prawą dłoń i gest „Move".

01Problem
Sterowanie dłonią musi być przewidywalne i dać się natychmiast zatrzymać, także po utracie śledzenia.
02Rozwiązanie
Aplikacja Windows rozpoznaje gesty ze zwykłej kamery, przetwarza je lokalnie i zapewnia awaryjne wyłączenie.
03Rezultat
Wydany, otwarty projekt w wersji 0.2.1. Sterowanie kursorem działa bez chmury i kluczy API.

01 · Kontekst

Po co to istnieje.

Sterowanie kursorem gestem dłoni jest demem od lat. Demo pokazuje, że model rozpoznaje rękę; produkt musi działać na cudzej kamerze, w cudzym oświetleniu i z cudzą dłonią.

Najważniejszy warunek był prosty: nie da się kliknąć przycisku „stop” kursorem, który właśnie oszalał. Dlatego aplikacja ma globalny skrót wyłączający, bez niego się nie uruchamia i puszcza przycisk myszy, gdy dłoń zniknie z kadru.

02 · Co zbudowałem

Co jest w środku.

  • Pięć gestów: ruch, lewy i prawy klik, przeciąganie i przewijanie, odporne na drżenie dłoni na granicy gestu.
  • Kalibracja w czterech krokach, dopasowana do Twojej dłoni i kamery.
  • Ustawienia pogrupowane według tego, co chcesz zmienić, bez możliwości wpisania wartości, która by nie zadziałała.
  • Podgląd diagnostyczny: płynność, opóźnienie i to, co aplikacja widzi w danej chwili.
  • Instalator dla Windows (około 80 MB), bez instalowania Pythona i bez praw administratora.

03 · Decyzje

Decyzje, które zaważyły.

  1. Najpierw zmierzyłem, co spowalnia, zanim cokolwiek optymalizowałem.

    DlaczegoWąskim gardłem okazała się kamera, a nie model. Właściwe ustawienie kamery podniosło płynność z 16–20 do 30 klatek na sekundę, a sam model pozwoliłby na około 110.

  2. Kalibracja opiera się na najsłabszym geście, nie na najlepszym.

    DlaczegoDłoń dryfuje, a kamera gubi klatki. Próg dopasowany do najczystszego szczypnięcia chybiałby wszystkie pozostałe, więc jest liczony z najgorszej z kilku prób.

  3. Produkt dostał nazwę „AirHand Mouse”.

    DlaczegoPrzy starej nazwie odinstalowanie aplikacji kasowałoby folder z zapisaną kalibracją użytkownika, której nic innego nie odtworzy. Zmiana nazwy była najprostszym sposobem, żeby ją ocalić.

04 · Status

Gdzie to jest teraz.

Wersja 0.2.1 jest dostępna w GitHub Releases jako instalator dla Windows 10+, na licencji MIT. Obsługuje jedną dłoń i jeden monitor, działa tylko na Windows i nie ma jeszcze wyboru kamery. Dalej w planie: własne gesty, wiele monitorów i sterowanie multimediami.