物联网架构按层级来划分可分为3个层级： 感知层、网络层、应用层。以 下将对它们在物联网系统中扮演的的角色及作用进行阐述。
首先底层是用来感知数据的感知层，感知层包括传感器等数据采集设备，包括数据接入到网关之前的传感器网络。感知层是物联网发展和应用的基础，RFID技术、传感和控制技术、短距离无线通信技术是感知层涉及的主要技术，其中又包括芯片研发、通信协议研究、RFID材料、智能节电供电等细分技术。
第二层是数据传输的网络层，物联网的网络层将建立在现有的移动通信网和互联网基础上。网络层中的感知数据管理与处理技术是实现以数据为中心的物联网的核心技术，其包括传感网数据的存储、查询、分析、挖掘、理解及基于感知数据决策和行为的理论和技术。云计算平台作为海量感知数据的存储、分析平台，将是物联网网络层的重要组成部分。
最上层是应用层，物联网的应用层利用经过分析处理的感知数据为用户提供丰富的特定服务，可分为监控型（物流监控、污染监控）、查询型（智能检索、远程抄表）、控制型（智能交通、智能家居、路灯控制）、扫描型（手机钱包、高速公路不停车收费）等。应用层是物联网发展的目的，软件开发、智能控制技术将会为用户提供丰富多彩的物联网应用。
如果以人的神经网络做类比，那么人的感觉器官就是物联网的感知层，如眼睛能采集视觉信息，鼻子采集气味信息，嘴巴采集味道信息，而耳朵采集声音信息。这些信息通过神经元传递到大脑中枢，那么这些神经元形成的神经传输通道就相当于物联网中的网络层，它的作用是把信息传送到处理中心。那么人的大脑就相当于应用层了，当它接受到来自眼睛，鼻子、嘴巴、耳朵等信息后，它可以综合去得出一些有用的结论，例如判断现在是否有危险，能够读书看电影等，这就相当于它应用了来自感知层的信息并产生了价值。