11. IT 前沿技术 笔记
1 云计算
- 云计算定义与比喻
- 比喻解释: 将“云”比喻电信网、互联网及底层基础设施
- 实际概念: 集结大量分布式计算资源, 形成可按需获取的计算与存储资源池
- 特性: 如同水电煤气, 使用方便、费用低廉, 通过互联网提供服务
- 云计算的特点
- 超大规模: 谷歌、亚马逊、IBM 等拥有百万台以上服务器, 提供了极高的运算能力
- 虚拟化: 用户无需关心应用运行的具体位置, 只需终端设备即可访问所需计算资源
- 高可靠性: 数据冗余、容错计算确保服务稳定
- 通用性: 不针对特定应用,使资源的利用率大幅提升
- 可扩展性: 根据需求动态调整计算资源
- 廉价性: 自动化管理减少数据中心运维成本
- 云计算的潜在风险
- 数据安全与隐私: 数据由第三方云服务商持有, 存在安全与隐私泄露风险
- 服务垄断: 云计算服务集中在少数大型企业手中, 可能影响社会信用与服务公正性
- 云计算服务模式
- 基础设施即服务(IaaS): 提供计算、网络、存储资源, 如亚马逊 AWS、微软 Azure、阿里云、腾讯云
- 平台即服务(PaaS): 提供开发、测试、运行应用程序的环境, 如亚马逊 AWS、微软 Azure、阿里云、新浪云、腾讯云
- 软件即服务(SaaS): 通过互联网提供软件应用, 用户无需安装即可使用, 如谷歌、金蝶和用友等
- 云计算部署方式
- 公有云: 服务提供商面向公众开放, 用户通过互联网访问服务
- 私有云: 专为企业内部使用, 可自行管理或第三方托管, 强调数据安全与隐私
- 社区云: 多个目标相似的组织共享基础设施, 共同分担成本
- 混合云: 结合公有云与私有云的优势, 实现资源的灵活调配与管理
- 总结
- 云计算通过互联网提供按需计算资源, 具有超大规模、虚拟化、高可靠性、通用性、可扩展性及廉价性等特点
- 面临数据安全、服务垄断等潜在风险
- 服务模式包括 IaaS、PaaS、SaaS, 部署方式有公有云、私有云、社区云和混合云
2 大数据
- 大数据定义与历史
- 定义: 无法在一定时间内用常规软件工具进行捕捉、管理和处理的数据集合
- 特点:
- volumn 大量数据量
- velocity 高速处理速度
- variety 多样化的数据类型
- veracity 真实性
- 历史背景
- 1980 年, 阿尔文·托夫勒提出大数据概念
- 计算机与网络技术限制曾阻碍其发展
- 随着互联网、移动设备普及, 数据量爆炸性增长
- 大数据技术
- 云计算技术
- 分布式处理
- 虚拟化技术
- 海量数据存储与管理
- 感知技术
- 传感器技术
- 指纹识别
- RFID 技术
- 坐标定位
- 云计算技术
- 大数据特点
- 数据量大: 如百度每日处理 PB 级数据, Facebook 每日生成 TB 级日志数据
- 处理速度快: 实时分析大型数据集
- 数据类型多样: 结构化、非结构化和半结构化数据
- 真实性: 数据客观、真实
- 大数据应用领域
- 互联网
- 搜索引擎应用
- 商业机构交易数据与信用数据分析
- 社交网站用户关系与行为分析
- 政府
- 智慧城市交通管理
- 智慧医疗、环保、城市规划
- 企业
- 成本降低与效率提升
- 新产品开发与业务决策优化
- 个人
- 可穿戴设备与植入芯片采集个人信息
- 运动、购物数据授权给第三方服务进行处理和使用
- 互联网
- 大数据时代转变
- 数据为核心: 计算模式从流程为中心转向数据为中心
- 数据更有价值: 从功能价值转变为数据价值
- 全数据样本思维: 从抽样到全样本分析
- 效率与相关性思维: 更关注数据使用效率, 超越因果关系至相关性分析
- 实例与总结
- 实例: 社交网络统计显示特定用户群体偏好
- 总结: 大数据改变生活与理解世界方式, 推动各行各业采用数据驱动思维
3 物联网
- 物联网概念
- 由麻省理工学院 Auto-ID 研究中心于 1999 年提出
- 利用 RFID、二维码等信息传感设备将所有物品与互联网连接
- 实现智能化识别和管理功能的网络
- 物联网关键技术
- 射频识别技术(RFID)
- 无线通讯技术,通过无线电信号识别特定目标并读取数据
- 包括 RFID 标签和读写器,标签可附着于物品上
- 应用于汽车生产线追踪、宠物识别、商品自动辨别和跟踪、门禁系统等
- 传感器技术
- 获取自然信息源的相关信息并进行处理和识别的多学科交叉技术
- 由传感器、通讯、网络和信息处理器构成
- 实现实时数据采集、监督、控制、信息共享、存储管理等功能
- 包括光感、声感、压力、温度、加速度定位等多种传感器
- 纳米技术
- 在 0.1 纳米到 100 纳米尺度空间操作电子、原子、分子的高技术学科
- 包括纳米物理学、纳米电子学等领域
- 目标是按人类意志直接操作单个原子制造特定功能产品
- 通过纳米传感技术与 RFID 结合,实现小物体的能量获取和集成化
- 智能技术
- 指物体的智能,实现物体与物体、物体与人之间的智能交互
- 射频识别技术(RFID)
- 物联网特征
- 全面感知:利用 RFID、传感器、二维码等获取物体信息
- 可靠传递:通过电信网络与互联网融合实时传递物体信息
- 智能处理:利用云计算、模糊识别等技术分析和处理海量数据
- 物联网应用领域
- 智能家居
- 智能交通
- 数字化医疗
- 智能电力
- 智慧农业
- 物联网体系架构
- 感知层:负责采集物体信息
- 网络层:负责信息的传输
- 应用层:实现物联网的具体应用
4 机器学习
- 什么是机器学习
- 定义: 让计算机从数据中学习规律和模型, 对新数据进行预测
- 模拟人类学习过程: 通过实践获得经验和技能
- 核心: 利用数据训练模型, 实现预测和决策
- 机器学习的应用实例
- 手机拍照人脸识别
- 语音拨号
- 新闻个性化推送
- 淘宝找相似商品
- 交通违章自动识别
- 基于历史数据预测未来趋势
- 机器学习问题类型
- 分类问题
- 根据特征判断样本属于哪个已知类别
- 应用: 邮件识别、信用卡欺诈检测、语音识别
- 算法: 逻辑回归、支持向量机、朴素贝叶斯、深度学习、随机森林
- 回归问题
- 根据特征预测连续值
- 应用: 股票价格预测、电影票房预测、房价预测
- 算法: 线性回归、最小二乘回归、逐步回归、多元自适应回归样条
- 聚类问题
- 在未知类别的情况下, 根据相似性划分数据集
- 应用: 用户群体划分、文档分类、生物种族划分
- 算法: K-means、学习向量量化、高斯混合模型、密度聚类
- 规则学习
- 提取数据中隐含的规律和规则
- 应用: 超市商品摆放优化
- 算法: prise, cn2, ripper
- 分类问题
- 机器学习方式的划分
- 监督学习
- 利用已知类别的样本调整分类器的参数
- 需要带标签的数据作为训练集
- 应用: 分类问题、回归问题
- 无监督学习
- 根据类别未知的样本推断数据内在结构
- 应用: 模式识别、聚类、规则学习
- 半监督学习
- 结合监督和无监督学习, 利用少量带标签和大量无标签数据
- 应用: 分类问题、回归问题
- 强化学习(增强学习)
- 动态学习方法, 通过试错调整行为策略
- 应用: 动态系统控制、机器人控制
- 监督学习
- 机器学习技术的应用领域
- 计算机视觉: 人脸识别、车牌识别、手势识别
- 自然语言处理: 文本理解、情感分析
- 社会网络分析: 热点发现、引文分析、人际关系
- 个性化推荐: 电影、音乐、新闻推荐
- 总结
- 机器学习通过数据驱动的方式, 解决复杂问题, 改善生活质量
- 不同类型的问题对应不同的学习方法和算法
- 机器学习与多领域技术结合, 推动智能领域进步
5 人工智能
- 人工智能概述
- 定义:研究和开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统
- 目标:使计算机能胜任一些过去只有人类智能才能完成的复杂工作
- 基础:对人类自身活动及其规律的深刻理解
- 人工智能发展史
- 关键事件
- 1950 年:阿兰·图灵提出“机器能思考吗?”及图灵测试
- 1956 年:达特摩斯会议,人工智能术语首次提出,标志着 AI 正式诞生
- 1997 年:IBM 的深蓝计算机战胜国际象棋大师,证明 AI 在特定领域的表现
- 2014 年:聊天程序尤金·古斯特曼通过图灵测试,成为首台“人类化”计算机
- 2016 年:AlphaGo 战胜世界围棋冠军,推动 AI 进入高速发展期
- 技术里程碑
- 图灵测试:评估机器智能的标准
- 验证码(CAPTCHA):防止自动化系统滥用网站的工具
- 深度学习:2006 年由杰弗里·辛顿等人提出,基于多层神经网络,用于特征提取和模式识别
- 关键事件
- 人工智能与机器学习、深度学习的关系
- 机器学习:人工智能的重要实现方式,通过数据学习模式和规律
- 深度学习:机器学习的新领域,通过多层神经网络实现复杂特征的自动提取和学习
- 三者关系:深度学习是机器学习的一部分,而机器学习是实现人工智能的关键技术
- 人工智能的未来
- 在云计算、大数据和移动互联网的推动下,人工智能迎来黄金时期
- 计算能力的提升和计算成本的下降,使得高复杂度的人工智能应用成为可能
- 无监督深度学习的发展,标志着人工智能从有监督学习向更自主学习的转变
- 技术间的联系
- 云计算提供强大的计算资源和存储能力
- 大数据为人工智能提供海量训练数据
- 物联网生成的实时数据丰富了人工智能的应用场景
- 人工智能通过深度学习等技术,为人类生活提供更智能化的服务
6 区块链技术
- 区块链概念
- 源自中本聪的论文
- 电子现金系统 (比特币)
- 基础技术: P2P 网络、加密技术、时间戳技术
- 注意: 区块链与虚拟数字货币的区别
- 全球管理视角: 区块链由区块和链构成
- 比特币区块系统示例
- 区块头: 包含上一区块哈希值、随机数、交易哈希结果
- 交易数据: 组织成默克尔树, 根存储在区块头
- 区块链特征
- 去中心化: 不依赖第三方管理,也是最突出最本质的特征
- 开放性: 数据对所有人公开, 接口可查询
- 独立性: 节点自动验证交换数据
- 安全性: 数据不可篡改, 避免主观数据变更
- 匿名性: 节点身份信息无需公开
- 核心技术
- 分布式账本: 所有节点保存完整数据
- 非对称加密: 实现匿名, 提供隐私保护
- 共识机制: 工作量证明机制(PoW)、权益证明机制(PoS)、股份授权证明机制(DPoS)等
- 智能合约: 自动执行预设规则和条款
- 区块链类型
- 公有链: 开放给任何人使用
- 私有链: 企业内部使用, 权限受限
- 联盟链: 若干机构联合发起, 部分去中心化
- 应用领域
- 人工智能: 实现点对点直接对接, 降低成本, 快速交易
- 物联网与物流: 降低物流成本, 追溯生产过程, 提升供应链管理
- 公共服务: 去中心化技术改造, 方便民众
- 数字版权: 作品认证, 确保权属真实唯一
- 保险: 智能合约自动理赔
- 公益: 数据透明公开, 方便社会监督