20 июня 2017 в 14:35

CameraTablet - как сделать графический планшет при помощи веб-камеры

• Python ,
• Обработка изображений

Здравствуйте, меня зовут Дмитрий. Здесь я хочу рассказать о том, почему меня не устраивает мышка, и как я пытаюсь ее заменить. Я разрабатываю CAE-программы для инженеров (расчет статики и динамики механических систем), треть рабочего времени я работаю как project manager, а в остальное время я - системный архитектор, разработчик и тестер в своем и в чужих проектах. У меня всегда открыты десять-двадцать окон, между которыми мне приходится постоянно прыгать:

1. Visual Studio – собственно, софт, обычно три-четыре разных solution
2. SourceSafe – версионирование.
3. Outlook
4. Skype
5. Total Commander – файлы, файлы.
6. Internet-Explorer – планирование софта, мониторинг продвижения по проекту, doxygen документация и т.д.
7. Word, Excel – список задач, протоколы заседаний, требования к проекту, быстрое построение графиков и т.д.
8. PowerPoint – презентации для менеджмента.
9. Notepad++ - просмотр промежуточных результатов, конфиги, и т.д.
10. CAE soft наш – тестовая и основная версия.
11. CAE soft других фирм – для тестов

В итоге мне каждый день приходится пользоваться кучей разных программ. У каждой программы свой единственный и неповторимый графический интерфейс. А у каждого интерфейса шорткатов либо вовсе нет, либо они свои, единственные и неповторимые, которые мне запомнить нереально.

В итоге весь мой рабочий день – это постоянное метание между мышкой и клавиатурой:

• Мышка: открыть документ, пролистать,
• Клавиатура: написать три-четыре строчки.
• Мышка: нажать на кнопку, переместиться в другую программу, нажать на кнопку
• Клавиатура: в появившемся окне написать 2-3 значения.
• Мышка: отрыть другое окно. Нажать на кнопку. Выбрать пункт меню. Потом пункт в под-меню. Потом в под-под-меню. Клик! Новое окно!

В один прекрасный момент моя правая рука сказала: «Извини, хозяин, но что-то нагрузка для меня великовата». Кисть болела почти два месяца, сначала слабо, потом все сильнее. В итоге я купил вертикальную мышку, выучил побольше шорткатов в Visual Studio и перешел на Total Commander.

Теперь рука не болит, но проблема с мышкой осталась. Не знаю, как вам, но мне не нравится это постоянные движения слева направо, чтобы схватить мышку, и справа налево, чтобы вернуться обратно к клавиатуре. Мышка в компьютерах 1981 года, прошло уже больше тридцати лет, и с тех пор почти ничего не изменилось.

Ни одна из стандартных альтернатив мышке мне не нравится: PointStick (пипка в центре клавиатуры для ноутбуков), тачпад, графический планшет – у всех либо точность плохая, либо все равно надо дергать руку с клавиатуры.

Есть еще программы и железо для трекинга глаз, вроде Camera Mouse или Tobii Eye Trackers. Честно, тратить сотню баксов на Tobii Eye Tracker не хотелось, а Camera Mouse очень плохо распознавало положение глаз (подозреваю, что виноваты мои очки).

Программа CameraTablet

В итоге я решил писать софт сам, благо веб-камера есть всегда. Идея простая: превратить часть клавиатуру в графический планшет. По шорткату камера начинает отслеживать положение указательного пальца и перемещать мышку в соответствующее место на экране, еще пара шорткатов – эмуляция левой и правой кнопки мыши. Вот видео, как это примерно работает.

Как сделан CameraTablet

Писать программу я решил в Python, якобы на этом языке очень быстро можно разрабатывать прототипы. Самое забавное, что в итоге CameraTablet получилась очень небольшим. Больше всего времени понадобилось, чтобы понять, как opencv распознает образы. Плюс немного пришлось повозиться, чтобы найти нормальный скрипт для эмуляции мыши. В остальном благодаря массе библиотек на Python удалось довольно быстро сделать все, что хотелось. Что мне понадобилось в итоге:

1. opencv
   • распознавание пальца на видео
   • сохранение файла с фотографией пальца
   • калибровка камеры
2. keyboard – обработка горячих клавиш
3. TkInter - пять кнопок для GUI.

Единственная более-менее математическая проблема с которой я столкнулся – как вычислить позицию курсора на экране, если известно расположение пальца. Палец перемещается внутри неравностороннего четырехугольника, а курсор движется внутри прямоугольного экрана. Так что проблема сводится к проекции произвольного четырехугольника на прямоугольник. Получилось, хоть и не с первой попытки, но довольно неплохо.

Что дальше

В настоящий момент программа работает стабильно. Точности хватает для того, чтобы переключаться между окнами и выбирать пункты меню.

Фич, которых на данный момент нет, но которые очень хочется сделать:

1. Поддержка нескольких мониторов
2. Эмуляция MouseDown und MouseUp (необходимо для выделения текста)
3. Поддержка Linux

И тут наступил самый тяжелый момент, когда самое вкусные 20% дела уже сделаны, а в одиночку дальше пилить 80% не хочется. Тогда я и решил, что пришла пора все выложить на

Преимущества графического заключаются в возможности вводить рукописный текст и подобную информацию. При использовании современных компьютерных мышей можно получить достаточно высокую точность перемещения указателя. Но ее бывает недостаточно для построения сложных схем и для создания определенных рисунков. Возможности графического планшета позволяют считывать шаг пера до 200 линий на 1 мм.

Дело в том, что у есть еще такая полезная особенность, как чувствительность к силе нажима пера, позволяющая регулировать толщину и прозрачность линий или мазков кисти, так же как это происходит при рисовании, например, обычным карандашом. Таким образом цифровые работы приобретают живость и выразительность, да и сам процесс рисования становится более творческим и приятным. У разных моделей планшетов степень чувствительности к нажиму отличается. Логично, что модели, предназначенные для детского творчества, имеют меньшую чувствительность, нежели те, которыми пользуются опытные профессиональные художники. Более того, этот параметр может регулироваться в настойке драйвера - не всем художникам нравится, когда кисть реагирует на малейшее изменение нажатия, а кому-то наоборот, нужна наивысшая чувствительность пера.

Проба пера

Часто начинающий художник, в первый раз попробовав рисовать , оказывается разочарован: перо не слушается, линии оказываются неровными, а иногда - о ужас, планшет просто не силы нажима! Но в этом случае не стоит расстраиваться: найдите на сайте производителя вашей модели планшета информацию о его настройке и калибровке, проверьте, установлены ли на вашем компьютере нужные драйвера. И, конечно, очень многое решает привычка руки к . Не у всех сразу получается соразмерять силу нажима и скорость движения руки. Да и рисовать, глядя на монитор, а не на ту поверхность, которой касается перо - поначалу непривычно. Поэтому не планируйте сразу же создать гениальное полотно, вначале потренируйтесь, делая упражнения, которые можно найти на сайтах для художников. Кроме того, очень многое зависит от настроек вашего графического редактора. Во многих программах для рисования гладкость линии можно настроить искусственно: тогда ваши работы приобретут более аккуратные контуры.

Выбираем планшет

Очень важно правильно выбрать подходящую для вас модель планшета и ее параметры. Например, размер. Конечно, формат А4 дает больший простор для творчества, чем А6. Но если вы планируете брать планшет с собой в поездки, носить его с собой на работу или в учебное заведение, есть смысл подумать о более компактной модели. На самом деле, даже на формата А5 можно создавать полноценные художественные работы. При выборе планшета продумайте и тот момент, насколько удобно вы сможете расположить его на вашем рабочем месте.

Ведущим специалистом по производству графических планшетом является фирма Wacom. Она выпускает достаточно большую линейку различных моделей, которые постоянно обновляются. На сайте фирмы можно ознакомится со всеми параметрами ее продукции, и выбрать именно то, что вам подойдет. Там можно выбрать как небольшой планшет с минимумом функций для ребенка, который хочет «порисовать на компьютере», так и профессиональный инструмент для опытного художника.

Современные художники нередко предпочитают рисовать с помощью планшетов. У этого способа есть много преимуществ, перед аналоговым. Гораздо проще исправлять рисунок, не нужно мучиться с оцифровкой картины, для графического скетча и для живописного сложного пейзажа нужен один и тот же инструмент.

Профессиональные художники, понятное дело, выберут хорошие дорогие графические планшеты, которые подсоединяются к компьютеру или мощные 24-дюймовые самостоятельные устройства. А вот если вы хотите рисовать для себя, иметь поменьше гаджетов или же просто попробовать, то можно обойтись обычным планшетным компьютером.

Можно ли рисовать на обычном планшете

Любой планшетный компьютер годится для того, чтобы на нем рисовали. Разумеется, сложные работы будет изготовить трудно, но зато для схем и набросков планшета хватит «с головой». Также очень удобно рисовать быстрые скетчи и зарисовки. Пришла идея в голову - сразу же хватаете планшет и рисуете. И неважно где вы находитесь: за рабочим местом, дома, в кафе или в парке. Планшет устройство удобное и всегда под рукой.

AnjelikaGr /

Все, что надо для рисования - это программное обеспечение и стилус.

Для графического планшета необходим Photoshop или же другой редактор для графики и вы просто устанавливаете необходимую программу на свой компьютер.

Несколько видеоуроков помогут вам освоиться с рисованием. С обычным планшетным компьютером все обстоит намного интереснее.

Как рисовать на планшете: программы и приложения

Для любого планшета придется скачивать приложения. Их можно очень условно поделить на две категории.

• Первая категория - это простые программки для скетчей, где ограниченный набор кистей и, как правило, один слой. Они недорогие или же вовсе бесплатные.
• Ко второй группе относятся как бы упрощенные и ограниченные версии Photoshop. Там есть и регулировка нажима и прозрачности кисти и слои.

Вы любите рисовать и постоянно используете графический планшет? А не хотите превратить в него свой любимый iPad? Astropad позволит вам рисовать в любом графическом редакторе, установленном на вашем Mac, подключаясь по Wi-Fi или USB.

Astropad разработали два бывших инженера Apple — Мэт Ронж и Джованни Донелли. Приложение прекрасно работает со всеми самыми популярными моделями стилусов и позволяет рисовать во всех графических редакторах на Mac.

Чтобы запустить Astropad, вам нужно два приложения, одно — под iPad с установленной iOS 8, второе — под Mac с Mavericks или Yosemite.

Конечно же, я не могла пройти мимо такого приложения и тут же его опробовала. При установке программы на Mac и iPad, у вас появляется связь между двумя устройствами, и вы сразу же видите на iPad выделенную область экрана Mac.

В Astropad вы просто управляете курсором с iPad. Поэтому достаточно запустить Photoshop или Pixelmator и начать рисовать или редактировать фотографию. Художник из меня не очень, но, во всяком случае, могу вас заверить, приложение работает просто отлично, без зависаний и недопониманий.

Дабы ускорить работу, вы можете быстро менять инструменты при помощи мыши и тут же продолжить рисовать на iPad. А чтобы изменить область рисования, нужно выбрать пункт «move & zoom» в левом нижнем углу. Если вам мешает панель инструментов Astropad, закрывающая часть экрана, достаточно просто нажать на кружок, который постоянно находится на экране iPad.

Так как стилуса у меня в наличии нет, я не смогла опробовать этот инструмент в программе. Зато такая возможность есть у вас, нужно просто скачать два приложения. Вы сможете пользоваться бесплатно Astropad в течение 7 дней, затем, если приложение пришлось по душе, купить его за 50 долларов (20 долларов для студентов).