docs: control of the drone by the power of thought (#158)

This commit is contained in:
MariaS2000
2019-09-03 00:43:57 +03:00
committed by Oleg Kalachev
parent 588ccaf314
commit c711446e49
5 changed files with 51 additions and 0 deletions

BIN
docs/assets/bioecho.jpg Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 90 KiB

BIN
docs/assets/cortex1.jpg Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 41 KiB

BIN
docs/assets/cortex2.jpg Normal file

Binary file not shown.

After

Width:  |  Height:  |  Size: 73 KiB

View File

@@ -82,6 +82,7 @@
* [Модель аэротакси в городе](bigchallenges.md)
* [Шаровая защита коптера](shield.md)
* [Распознавание лиц](face_recognition.md)
* [Управление дроном силой мысли](control_emotions.md)
* [Подсчет количества объектов c камеры](object_counting.md)
* [Пульт на Андроид](android.md)
* [Блочный конструктор полета](clever_blocks.md)

View File

@@ -0,0 +1,50 @@
# Управление дроном силой мысли
## Введение
Нейронные сети и дроны достаточно быстро развиваются в мире технологий. В управлении квадрокоптером за основу была взята искусственная нейронная сеть, состоящая из искусственных нейронов (программируемая система, которая имитирует подобие биологических нейронов).
Нейронная сеть разделяется на несколько слоев:
1. входной слой;
2. скрытый слой;
3. выходной слой.
Целью данного проекта было создание управления Клевер 4 с помощью нейрошлема от компании «NEUROBOTICS». Мы использовали NeuroPlay-8M с 8-ми канальной системой беспроводной регистрации ЭЭГ данных человека на (гелевых) электродах. Программное обеспечение имеет поддержку устройств серии Нейробелт с интерфейсом Bluetooth 4.0 (BLE).
Видеодемонстрация:
<iframe width="560" height="315" src="https://www.youtube.com/embed/uLR5NNcekfA" frameborder="0" allow="accelerometer; autoplay; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>
## Установка
Для начала нужно установить необходимые программы:
1. Cortex.
2. BioEcho.
## Использование
Программное обеспечение Cortex: классифицирует сигнал мозга в эмоцию.
<img src="../assets/cortex1.jpg">
<img src="../assets/cortex2.jpg">
Программное обеспечение BioEcho: эмуляция физической клавиатуры.
<img src="../assets/bioecho.jpg">
Далее данные поступают на клавиатуру с помощью BioEcho и предаются в ROS.
Основной код работает на Raspberry Pi и передает команды в ROS, имитируя нажатие соответствующих клавиш. Для управления дроном оператор использует устойчивые внутренние физиологические и психологические реакции, при которых произвольное внимание концентрируется на том или ином процессе и состоянии. В рамках реализации проекта были использованы следующие состояния:
1. Напряжение вперед (клавиша «w»).
2. Радость yaw на 90° (клавиша «s»).
3. Расслабление удержание позиции (клавиша «o»).
Для корректного перехода между эмоциями мы использовали «нейтральное» состояние, в качестве которого может выступить любой эмоциональный процесс, который не был задействован в управлении дроном. Также нужно запомнить, что оператор не использует мышцы и движение глаз. Скорость переключения между эмоциями оператора составляет около секунды, а между командами движения более двух секунд.
## Код
Код для управления квадрокоптером, написанный на языке Python, [находится на сайте GitHub](https://github.com/hany606/COEX-Internship19/tree/master/projects/NeuroHelmet).