Jinsi ya Kutumia Mshale Mkubwa Kuwaongoza Wanadamu Katika Mitiririko ya Kazi ya Mac Inayoendeshwa na AI

big-arrow-on-the-screen hufanya nini

big-arrow-on-the-screen, pia huitwa bigarrow, ni zana ya mstari wa amri ya macOS inayochora mshale na ishara inayoonekana wazi juu ya kila dirisha. Imeundwa kwa ajili ya mawakala wa AI wanaoweza kufanya kazi nyingi za kompyuta, lakini lazima warudishe maamuzi fulani kwa binadamu.

Kwa mfano, wakala anaweza kuelekeza kwenye kitufe cha Allow katika System Settings, kutambua dirisha sahihi la kivinjari, au kumwongoza mtu kupitia mtiririko wa hatua nyingi. Mtumiaji hubaki na udhibiti: bigarrow habofyi, haandiki, wala hainakili skrini.

Jalada huonyeshwa juu ya madirisha ya kawaida, mazungumzo, programu za skrini nzima na Spaces, huku likiacha umakini wa kibodi katika programu ambayo tayari inayo. Mibofyo kwenye lengwa hupita hadi kwenye programu iliyo chini yake. Mshale pia hujiondoa kiotomatiki muda wake unapoisha au mchakato wa mmiliki wake unapotoka.

Wakala wako anaweza kueleza cha kufanya, kisha kuweka kidole kinachoonekana kwenye kidhibiti halisi ambacho binadamu anahitaji kutumia.

Wakati wa kuitumia

bigarrow ni muhimu wakati wowote wakala wa AI anapomhitaji binadamu kufanya uamuzi au kukamilisha kitendo. Mifano ya kawaida ni pamoja na maombi ya ruhusa, skrini za idhini ya OAuth, uthibitishaji wa hatua mbili, CAPTCHAs, passkeys, malipo, sahihi na uthibitisho wa kisheria.

Pia inaweza kufanya maagizo yaeleweke zaidi wakati madirisha au vidhibiti kadhaa vinavyofanana vinaonekana. Wakala anaweza kuchagua programu, dirisha au kichupo maalum cha kivinjari badala ya kumwomba mtumiaji atafute kati ya madirisha mengi yaliyo wazi.

Matumizi mengine ni pamoja na kumfundisha mtu jinsi ya kutumia programu, kutoa msaada wa mbali, kuangazia vidhibiti wakati wa screencast, na kuangalia kama viwianishi vilivyorejeshwa na zana nyingine ya otomatiki ni sahihi.

Sakinisha kwenye macOS

Mradi huu unaunga mkono macOS 14 au mpya zaidi. Njia rahisi zaidi ya kusakinisha ni Homebrew:

brew install franzenzenhofer/tap/bigarrow

Ikiwa unataka Claude Code na Codex zijue wakati na jinsi ya kutumia zana hii, sakinisha pia ujuzi wake wa wakala:

bigarrow install-skill

Hii husakinisha ujuzi huo kwa Claude Code chini ya ~/.claude/skills na kwa Codex chini ya ~/.agents/skills. Unaweza pia kuendesha bigarrow moja kwa moja kutoka kwenye shell bila kusakinisha ujuzi huo.

Jenga kutoka kwenye msimbo wa chanzo

Ili kukompile mradi huu mwenyewe, tumia Xcode 16 au mpya zaidi:

swift build -c release

Binary inayotokana hupatikana kwenye .build/release/bigarrow. Programu yenyewe imeandikwa kwa Swift. Faili za shell na Python katika scripts/ hutumika kwa picha za skrini na majaribio.

Amri zako za kwanza za kuelekeza

Mifumo mitatu ya msingi ni kuelekeza kwenye kipengele cha ufikivu, kuelekeza kwenye viwianishi, na kuweka mshale uonekane hadi uuzime.

Elekeza kwenye kidhibiti kilicho na lebo

bigarrow point --element "Allow" --app "System Settings" --text "Franz, click Allow: Ghostty may control your Mac"

--element hulinganisha kidhibiti kwa kutumia lebo yake, huku --app ikitambulisha programu iliyo nacho. Ishara hiyo hueleza mtumiaji anachoombwa kufanya.

Elekeza kwenye viwianishi

bigarrow point --at 760,500 --text "Franz, click HERE"

Viwianishi hutumia nukta za kimantiki za kimataifa kutoka juu kushoto, nafasi ileile ya viwianishi inayoripotiwa na macOS Accessibility, CGWindowList na Peekaboo. Unaweza pia kuelekeza kwenye mstatili:

bigarrow point --rect 600,400,240,80 --text "This is the area to review"

Weka mshale uonekane hadi hatua inayofuata

bigarrow start --window "Safari:Inbox" --text "This window"
bigarrow stop

start hurudi mara moja na kuacha mshale ukiwa unaonekana. Tumia stop kuondoa mshale wa sasa au stop --all kuondoa mishale yote.

Amri ya mara moja ya point hudumu sekunde nane kwa chaguo-msingi. Badilisha muda huo kwa --duration; start huwa na chaguo-msingi la sekunde 300. Tumia --duration 0 bila kikomo cha muda.

Chagua lengwa linalofaa

bigarrow inaunga mkono vyanzo kadhaa vya malengo:

• --at X,Y huelekeza kwenye kiwianishi.
• --rect X,Y,W,H huangazia eneo la mstatili.
• --mouse huelekeza kwenye mahali pa sasa pa kipanya.
• --window App[:title] huelekeza kwenye dirisha.
• --element Label --app App hutafuta kipengele cha ufikivu.
• --peekaboo ID --snapshot see.json hutumia kitambulisho cha kipengele kutoka kwenye matokeo ya see --json ya Peekaboo.

Ili kukagua vidhibiti ambavyo programu inaweka wazi, endesha:

bigarrow elements --app "System Settings"

Kwa skrini nyingi, --display N hufanya thamani za viwianishi na mistatili ziwe za skrini moja. Viwianishi hasi vya kimataifa vinaungwa mkono kwa skrini zilizowekwa upande wa kushoto au juu ya skrini kuu.

Lenga dirisha au kichupo sahihi cha kivinjari

Unapotoa --app App[:window or tab title] au --window, bigarrow inaweza kuleta programu, dirisha au kichupo cha Chrome/Safari husika mbele kabla ya kuchora. Hii huzuia mshale sahihi kuonekana juu ya dirisha lisilo sahihi linaloonekana.

bigarrow point --app "Google Chrome:Pull request" --text "Review this pull request"

Tumia --no-raise unapotaka kuacha madirisha ya mtumiaji yalipo hasa. Ikiwa programu nyingine itafunika lengwa baadaye, mshale utafichwa hadi lengwa lionekane tena.

Fanya mishale iwe wazi na yenye manufaa

Unaweza kubinafsisha umbo, mtindo, ukubwa, pembe, rangi na tabia ya mshale:

• --shape bend|straight|zigzag|spiral huchagua njia ya mshale.
• --style arrow|ring|box huchagua mshale wa kawaida, duara lenye mpaka pekee, au kisanduku chenye mpaka pekee.
• --size S|M|L hubadilisha ukubwa.
• --corners round|sharp hudhibiti pembe za alama.
• --color red|orange|yellow|green|teal|blue|purple|pink|black|white|#RRGGBB huweka rangi kuu.
• --border shadow|white-black|black hubadilisha mwonekano wa mpaka.
• --border-color, --text-color, na --edge-color hubinafsisha rangi binafsi.
• --close-button huongeza X inayoweza kubofya kwenye alama.

Kwa mfano, amri hii huchora kisanduku kijani kinachoonekana wazi kuzunguka lengwa:

bigarrow point --at 760,500 --style box --color green --text "Review this control"

Kitufe cha kufunga huwashwa kwa hiari na humpa mtu njia ya moja kwa moja ya kuondoa kidirisha cha juu:

bigarrow start --element "Save" --app "TextEdit" --close-button --text "Click Save when ready"

Chaguo muhimu za mwingiliano

Chaguo kadhaa husaidia kuunganisha kidirisha cha juu na mtiririko wa kazi unaoongozwa:

• --follow husogeza mshale pamoja na dirisha au kipengele.
• --until-click hukomesha mshale baada ya kubofya lengwa.
• --say husoma alama kwa sauti, jambo linalofaa wakati mtumiaji huenda asiwe anatazama skrini.
• --json hutoa matokeo yanayoweza kusomwa na mashine kwa mawakala na hati.

Kwa hivyo, mfuatano unaoongozwa unaweza kuelekeza kwenye kidhibiti kimoja, kusubiri mtumiaji achukue hatua, kusimamisha mshale, kisha kuelekeza kwenye kidhibiti kinachofuata. Zana yenyewe haibofyi.

Elewa ruhusa

Kuchora kidirisha cha juu hakuhitaji ruhusa za macOS za Screen Recording au Accessibility. Hata hivyo, baadhi ya njia za kutafuta au kuwezesha lengwa zinahitaji ruhusa.

• --at, --rect, --mouse, --window App, --peekaboo, na --app App hazihitaji ruhusa.
• --element, elements, --until-click, na --app App:title zinahitaji Accessibility.
• --window App:title inahitaji Screen Recording ili kusoma vichwa vya madirisha na Accessibility ili kuinua dirisha, isipokuwa utumie --no-raise.

macOS hutoa ruhusa hizi kwa programu iliyoanzisha bigarrow, kama vile Terminal, iTerm2, Ghostty, VS Code, au Claude, badala ya binary ya bigarrow yenyewe.

Endesha amri ya uchunguzi ili kuona ruhusa husika, programu inayomiliki, na skrini zilizounganishwa:

bigarrow doctor

Ruhusa inayohitajika inapokosekana, amri hutoka ikiwa na msimbo wa hali 4 na hutaja programu pamoja na kidirisha cha mipangilio kinachohusika.

Tumia usafishaji wa kiotomatiki kwa usalama

Mishale imeundwa isibaki baada ya wakala kumaliza. Amri ya point yenye kipima muda hujiondoa kiotomatiki. Mshale pia huisha mchakato wa wakala ulioiunda unapotoka, kwa kutumia CLAUDE_PID au BIGARROW_OWNER_PID zinapopatikana.

Kwa mtiririko wa kazi wa Claude Code, bigarrow stop --hook inaweza kutumika kama hook ya UserPromptSubmit ili kuondoa mishale ya kipindi hicho wakati mtu anapojibu. Amri za wazi za usafishaji ni:

bigarrow stop
bigarrow stop --all

Hatua hizi za ulinzi ni muhimu kwa mawakala ambao wanaweza kukatizwa au kubadilishwa kabla hawajafikia hatua yao ya kawaida ya usafishaji.

Tumia JSON na misimbo ya kutoka katika mtiririko wa kazi wa mawakala

Kila amri inakubali --json, hivyo kurahisisha ukaguzi wa matokeo kwa njia ya programu. Misimbo ya kutoka iliyoandikwa ni:

• 0: amri imekamilika kwa mafanikio.
• 2: ingizo batili.
• 3: lengwa halijapatikana.
• 4: ruhusa inayohitajika haipo.

Wakala anaweza kutumia matokeo haya kuamua kujaribu tena kwa njia nyingine ya kulenga, kumuomba mtumiaji ruhusa, au kueleza kuwa kidhibiti kilichoombwa hakikuweza kupatikana.

Utatuzi wa kina wa kulenga

Ikiwa huna uhakika kama viwianishi kutoka Accessibility, Peekaboo, au zana nyingine ni sahihi, tumia uendeshaji wa majaribio:

bigarrow point --at 760,500 --dry-run --json

Hii huripoti mahali ambapo zana ingeonyesha bila kuchora kidirisha cha juu. Ni muhimu kwa kuthibitisha mabadiliko ya viwianishi, uteuzi wa skrini, na matokeo ya uendeshaji otomatiki kabla ya kumuonyesha mtumiaji chochote.

Peekaboo inaweza kutoa chanzo kingine cha lengwa. Nasa snapshot ya JSON ya Peekaboo, kisha pitisha kitambulisho cha kipengele kinacholingana:

bigarrow point --peekaboo ELEMENT_ID --snapshot see.json --text "Kagua kipengele hiki"

Kwenye Chrome, vipengele vya ukurasa vinaweza kuhitaji bendera ya Chrome ya --force-renderer-accessibility au VoiceOver. Upau wa zana wa Chrome wenyewe bado unapatikana kupitia njia ya kawaida ya ufikivu. Maudhui ya ukurasa yasipofichuliwa, tumia viwianishi badala yake.

Jinsi mawakala wanavyopaswa kutumia ujuzi huu

Ujuzi uliojumuishwa unaauni Claude Code na Codex kupitia SKILL.md moja inayooana na Agent Skills, ikiwa na metadata ya Codex katika agents/openai.yaml. Unamfundisha wakala wakati wa kuelekeza, jinsi ya kuchagua lengwa, jinsi ya kuandika sentensi kamili kwenye kibao, wakati wa kutumia --say, na wakati wa kusitisha baada ya mtumiaji kuchukua hatua.

Mfuatano wa kawaida wa wakala unaonekana hivi:

1. Tambua kitendo kinachohitaji uthibitisho au usaidizi wa binadamu.
2. Chagua lebo, dirisha, kichupo, kiwianishi, mstatili, au lengwa la Peekaboo.
3. Andika kibao kinachoeleza kwa usahihi kile mtumiaji anapaswa kufanya na sababu yake.
4. Inua programu lengwa isipokuwa kuhifadhi mpangilio wa sasa ni muhimu.
5. Subiri binadamu achukue hatua au ajibu.
6. Sitisha mshale kabla ya kuendelea na hatua inayofuata.

Kile ambacho zana haifanyi

bigarrow imewekewa mipaka kimakusudi. Si zana ya watu ya kuweka maelezo kwenye skrini, roboti ya kubofya, wala zana ya kupiga picha ya skrini. Haibofyi, haiandiki, wala kunasa skrini. Lengo lake ni kufanya maagizo ya programu yaonekane huku uamuzi na kitendo vikibaki kwa binadamu.

Mitindo ya pete na kisanduku hutumia mistari ya nje ili lengwa libaki linaonekana. Kibao huwekwa mbali na lengwa panapokuwa na nafasi, na kitufe cha kufunga, kinapowashwa, humruhusu binadamu kuondoa mshale. Chaguo hizi za muundo huifanya zana ifae kwa vitendo nyeti kama vile ruhusa, uthibitishaji, malipo na utoaji.

Hitimisho

bigarrow huwapa mawakala wa AI wanaotumia macOS njia rahisi ya kumrudishia mtu udhibiti bila kutumia jumbe zisizo wazi za terminali. Isakinishe kwa Homebrew, ongeza ujuzi wa Claude Code au Codex ikihitajika, kisha tumia point kwa vidokezo vifupi au start na stop kwa michakato inayoongozwa.

Ikiwa na malengo ya lebo, dirisha, kiwianishi, mstatili, kipanya na Peekaboo, pamoja na mitindo inayoweza kubinafsishwa, matamshi, matokeo ya JSON, usafishaji wa kiotomatiki na usaidizi wa skrini nyingi, zana hii hubadilisha “tafadhali bofya hapa” kuwa mwongozo sahihi unaoonekana kwenye skrini huku hatua ya mwisho ikidhibitiwa na binadamu.